Mystery

By Stefan Pohl Date 2023-07-21 15:15

Peter Martan schrieb:

Haha, schon wieder überschnitten, alles klar, danke.

So, jetzt kann die neue Version heruntergeladen werden. Diese gibt jetzt auch noch Prozente aus...

Der Output sieht jetzt im Gamepairs_rating file so aus:

Code:


   # PLAYER       :  RATING  ERROR  PLAYED    W    D    L   (%)  CFS(%)
   1 Stockfish    :       0   ----     500  284  212    4  78.0     100
   2 Torch        :    -222     27     500    4  212  284  22.0     ---

White advantage = 0.00 +/- 0.00
Draw rate (equal opponents) = 50.00 % +/- 0.00

------------------------------------------------------------------- 
--- Number of all Gamepairs          : 500 
--- Number of drawn Gamepairs overall: 212 (= 42.40%) 
--- Number of 1:1 drawn Gamepairs    : 51 (= 10.20%) 
--- Number of 2-draws drawn Gamepairs: 161 (= 32.20%) 
-------------------------------------------------------------------

By Stefan Pohl Date 2023-07-21 15:16

Wenn ich die 55000 Partien meiner UHO-Top10 Rangliste (ein 11 Engine RoundRobin Turnier) durchlaufen lasse, siehe:
https://www.sp-cc.de/uho_ratinglist.htm

Dann kommen diese Zahlen heraus:

Code:


------------------------------------------------------------------- 
--- Number of all Gamepairs          : 27500 
--- Number of drawn Gamepairs overall: 7934 (= 28.85%) 
--- Number of 1:1 drawn Gamepairs    : 3708 (= 13.48%) 
--- Number of 2-draws drawn Gamepairs: 4226 (= 15.37%) 
-------------------------------------------------------------------

Nur 13.48% 1:1 Paare, trotz der etwas höheren UHO-Eval Stufe (UHO_2022_6mvs_+120_+129 openings). Das finde ich auch einen exzellent niedrigen Wert!

By Peter Martan Date 2023-07-21 18:11 Edited 2023-07-21 18:14

Aber irgendwas mache ich noch falsch damit.
Die entscheidenden Zeilen unter der Statistik


   # PLAYER                            :  RATING  ERROR  PLAYED    W    D    L   (%)  CFS(%)
   1 RubiChess-20230410_x86-64-bmi2    :    3500   ----     250   86  115   49  57.4     100
   2 igel-x64_bmi2_avx2_3_5_0          :    3448     31     250   49  115   86  42.6     ---

White advantage = 0.00 +/- 0.00
Draw rate (equal opponents) = 50.00 % +/- 0.00

fehlen in Gamepairs_rating.txt
.
Kann's daran liegen, dass ich eine .pgn genommen habe, bei der cutechess die Eröffnungszüge immer schon abgeschnitten hat und erst mit der Stellung nach dem Buch mit den ersten Engine- Zügen beginnt? Ich hab' das versucht, dadurch zu kompensieren, dass ich in der Batch- Datei die opening plies auf 0 gesetzt habe, so schaut meine .bat aus in den Anteilen, die man editieren soll:

Zitat:

set opening_plies=0
set games=match.pgn
set reference_eng="RubiChess-20230410_x86-64-bmi2"
set /A reference_elo=3500

Die cutechess- Zusammenfassung des Matches hatte so ausgesehen:

Zitat:

Score of RubiChess-20230410_x86-64-bmi2 vs igel-x64_bmi2_avx2_3_5_0: 142 - 103 - 255 [0.539]
... RubiChess-20230410_x86-64-bmi2 playing White: 137 - 6 - 107 [0.762] 250
... RubiChess-20230410_x86-64-bmi2 playing Black: 5 - 97 - 148 [0.316] 250
... White vs Black: 234 - 11 - 255 [0.723] 500
Elo difference: 27.2 +/- 21.3, LOS: 99.4 %, DrawRatio: 51.0 %
500 of 500 games finished.

By Stefan Pohl Date 2023-07-22 06:08 Edited 2023-07-22 06:47 Upvotes 1

Peter Martan schrieb:

Aber irgendwas mache ich noch falsch damit.
Die entscheidenden Zeilen unter der Statistik
<code>
   # PLAYER : RATING ERROR PLAYED W D L   (%) CFS(%)
   1 RubiChess-20230410_x86-64-bmi2 : 3500   ----    250   86 115   49 57.4    100
   2 igel-x64_bmi2_avx2_3_5_0 : 3448    31    250   49 115   86 42.6    ---

White advantage = 0.00 +/- 0.00
Draw rate (equal opponents) = 50.00 % +/- 0.00
</code>
fehlen in Gamepairs_rating.txt
.
Kann's daran liegen, dass ich eine .pgn genommen habe, bei der cutechess die Eröffnungszüge immer schon abgeschnitten hat und erst mit der Stellung nach dem Buch mit den ersten Engine- Zügen beginnt? Ich hab' das versucht, dadurch zu kompensieren, dass ich in der Batch- Datei die opening plies auf 0 gesetzt habe, so schaut meine .bat aus in den Anteilen, die man editieren soll:

Zitat:

set opening_plies=0
set games=match.pgn
set reference_eng="RubiChess-20230410_x86-64-bmi2"
set /A reference_elo=3500

Ja, daran liegt es. So funktioniert es nicht. Das Tool ist sehr primitiv und funktioniert gerade über die Eröffnungszüge: Das Tool schneidet nämlich alle Partien nach den Eröffnungszügen ab und arbeitet dann nur mit diesen Partieanfängen. Setzt man opening_plies also auf 0, dann geht es voll in den Eimer...
Die Eröffnungsvorgaben müssen also Teil der Partien sein. Leider. Sonst kann man das Tool nicht benutzen. Tut mir leid. Denn das ist der "Trick", den ich in dem Tool benutze: pgn-extract hat eine Partien-Doubletten-Suche Funktion. Mit dieser finde ich später im Tool dann zusammengehörige Gamepairs. Das geht aber natürlich nicht mit den kompletten Partien, weil ja Hin- und Rückspiel mit der identischen Eröffnung keine identischen Partien ergibt. Diese würden also nie von pgn-extract als zusammengehöriges Gamepair erkannt werden. Das klappt aber sehr wohl, wenn man alle Partien einfach nach der Eröffnungsvorgabe abschneidet. Dann erkennt pgn-extract 2 Partien als identisch, wenn die Eröffnung gleich war...

Dies ist der Anfang des Tools, die allererste Befehlszeile:
REM *** Cut all games after the opening-moves, and delete comments and useless tags ***
pgn-extract --quiet -C -N -V --seven --plylimit %opening_plies% ../%games% --output cut.pgn

pgn-extract schneidet hier alle Partien der Ausgangs-Datenbank (%games%) nach den Eröffnungszügen ab, mit diesem Befehl: --plylimit %opening_plies%
Danach enthält die pgn-Datenbank, mit der dann weitergearbeitet wird (cut.pgn) nur noch die Partieanfänge bis zum Ply, den man mit der Variable opening_plies spezifiziert hat. Ist opening_plies=0, dann enthält die cut.pgn gar keine Züge mehr...

Die Partien der pgn-Datenbank, die man vom Tool verarbeiten läßt, müssen also komplett sein und alle immer mit Zug 1 in der Grundstellung beginnen. Und (das steht dann auch in der ReadMe), die Vorgabeeröffnungen müssen alle gleich lang sein (und diese (immer gleiche) Länge gibt man dann in der Variable opening_plies an.). Wer also heute noch z.B. die LittleBlitzerGUI benutzt (warum?), welche immer die Eröffnungszüge abschneidet, kann das Tool leider nicht benutzen.

Für meine UHO-Top10 Rangliste nehme ich ja meine UHO_2022_6mvs_+120_+129 Eröffnungen. Wie im Namen schon ersichtlich, sind diese Eröffnungslinien alle 6 Züge tief (=12 plies). Somit sehen bei mir die Parameter folgendermassen aus:
set opening_plies=12
set games=UHO_Ratinglist_games.pgn
set reference_eng="Stockfish 16 230630"
set /A reference_elo=0

Die Partien, die bei chesscom gespielt werden, nutzen meine 8 Züge tiefen UHO-Eröffnungen. Dort setzt man dann logischerweise opening_plies auf 16 (=8 Züge).

Nochmals: Tut mir leid, daß das Tool nur so funktioniert. Aber, wenn man einen fremden pgn-Parser benutzt, so wie ich pgn-extract benutze, dann muß man sich danach richten, was dieser Parser an Befehlen ermöglicht...

By Peter Martan Date 2023-07-22 10:00

Ok, das war ja ohnehin irgendwie klar, dass die Anfangszüge drin sein müssen, hab' schnell noch ein Match gestartet statt von der .epd von der .pgn aus.
Leider trotzdem nix, 12 plies vorgegeben in der Batch- Datei, so schauts in cutechess aus:

Zitat:

Score of stockfish_23071120_x64_avx2 vs ShashChess33-x86-64-bmi2: 25 - 19 - 59 [0.529]
... stockfish_23071120_x64_avx2 playing White: 25 - 0 - 27 [0.740] 52
... stockfish_23071120_x64_avx2 playing Black: 0 - 19 - 32 [0.314] 51
... White vs Black: 44 - 0 - 59 [0.714] 103
Elo difference: 20.3 +/- 44.0, LOS: 81.7 %, DrawRatio: 57.3 %
118 of 500 games finished.

Und das ist die neue Gamepairs_rating.txt:


   # PLAYER                         :  RATING  ERROR  PLAYED    W    D    L   (%)  CFS(%)
   1 stockfish_23071120_x64_avx2    :    3500   ----      51   16   25   10  55.9      89
   2 ShashChess33-x86-64-bmi2       :    3459     65      51   10   25   16  44.1     ---

White advantage = 0.00 +/- 0.00
Draw rate (equal opponents) = 50.00 % +/- 0.00

Keine weiteren Zeilen.

By Stefan Pohl Date 2023-07-22 10:16 Edited 2023-07-22 10:18

Bist du sicher, daß du die neue Version des Tools (1.5) benutzt???

Diese Zusatzzeilen müssen drin sein...

Der Download von meiner Website ist in Ordnung, ich hab es gerade mal selber heruntergeladen, es ist V1.5

By Peter Martan Date 2023-07-22 13:16 Edited 2023-07-22 13:20

Ich hatte wohl geglaubt, mit STRG-F5 den Browser- Cache (der Download- Site) vor dem neuen Runterladen gelöscht zu haben, anscheinend aber doch nicht wirklich, jetzt hab' ich's noch einmal übers Browser- Menü gemacht und tatsächlich danach die Version 1.5 bekommen.

   
-------------------------------------------------------------------
--- Number of all Gamepairs          : 51
--- Number of drawn Gamepairs overall: 25 (= 49.02%)
--- Number of 1:1 drawn Gamepairs    : 9 (= 17.65%)
--- Number of 2-draws drawn Gamepairs: 16 (= 31.37%)
-------------------------------------------------------------------