rofChade 3.0

By Peter Martan Date 2022-05-14 18:26 Edited 2022-05-14 18:30

http://talkchess.com/forum3/viewtopic.php?p=925735#p925735

Mit den hier gelisteten Stellungen

https://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=153648#pid153648

und mit 30 Threads der 16x3.5GHz- CPU und mit der 3070ti GPU für die NN- Engines, 2G Hash, 6men Syzygys und 15"/Stellung, landet rofChade in diesem Feld auf Platz 14:


    Program                                    Elo   +/-  Matches  Score   Av.Op.   S.Pos.   MST1    MST2   RIndex

  1 BlueMPB15.1                              : 3581    8   1499    63.5 %   3485    92/128    2.6s    6.1s   0.73
  2 Crystal251221                            : 3580    9   1529    63.1 %   3487    93/128    2.8s    6.1s   0.64
  3 ShashChess22-GoldDigger+Tal              : 3576    8   1525    62.8 %   3484    95/128    3.3s    6.3s   0.66
  4 CorChess3230422                          : 3573    8   1476    62.4 %   3485    92/128    2.9s    6.3s   0.64
  5 Stockfish15                              : 3563    9   1425    60.7 %   3488    87/128    3.0s    6.8s   0.64
  6 Stockfish030522                          : 3562    9   1442    60.6 %   3487    87/128    3.1s    6.9s   0.63
  7 Ceres0.97RC3-ap-mish-2000000             : 3557    9   1431    59.6 %   3489    83/128    3.1s    7.3s   0.61
  8 Lc0v0.30.0-dev-mish-2000000              : 3542   10   1344    56.8 %   3495    74/128    2.7s    7.9s   0.59
  9 Dragon3byKomodoChess64-bit               : 3527   10   1337    54.2 %   3498    72/128    3.8s    8.7s   0.50
 10 Koivisto8.4                               : 3436   11   1109    38.2 %   3520    37/128    4.1s   11.9s   0.29
 11 RubiChess20220223(bmi2)                   : 3419   11   1111    35.9 %   3520    38/128    5.8s   12.3s   0.19
 12 Rebel15                                   : 3405   12   1043    33.5 %   3524    30/128    3.6s   12.3s   0.24
 13 Seer2.5.0                                 : 3392   12   1040    31.4 %   3528    27/128    4.6s   12.8s   0.18
 14 rofChade3.0BMI2AVX2                       : 3360   11   1012    27.3 %   3530    21/128    5.3s   13.4s   0.13
 15 Fritz15                                   : 3357   12   1018    26.9 %   3531    18/128    4.8s   13.6s   0.14
 16 Wasp5.50                                  : 3336   12    991    24.3 %   3533    14/128    4.3s   13.8s   0.12

MST1  : Mean solution time (solved positions only)
MST2  : Mean solution time (solved and unsolved positions)
RIndex: Score according to solution time ranking for each position

By Reinhold Stibi Date 2022-05-15 07:04

Hallo Peter,

in deiner Liste fehlt noch Swordfish 15.1. Dieser spielt taktisch und positionell sehr gut.

Vielleicht kann man da auch schon das neueste Stockfish-Netz einbauen.

By Peter Martan Date 2022-05-15 08:47

Das mach mal wieder du, Reinhold, Swordfish zusätzlich zu BlueM sind mir zuviele zu ähnliche Fische. Eine Liste braucht einerseits eine gewisse Vielfalt und andererseits dürfen natürlich auch nicht zu viele zu unterschiedliche Engines mit zu großem Abstand drin sein. Der Rahmen, so wie er jetzt ist, gefällt mir ganz gut, in dieser Art kann man's ausbauen, dabei werd' ich jetzt auch ein Weile bleiben, bis die 256 Stellungen, an denen ich als Sammlung arbeite, wirklich auch das einheitliche Schwere- Niveau haben wie jetzt die 128.

By Reinhold Stibi Date 2022-05-15 09:22 Upvotes 1

Danke Peter für deine schöne aussagekräftige Liste.

Bei mir laufen z.Zt. die Stellungstest mit Swordfish 15.1 avx2.

Z. Zt. ist Swordfish 15.1 meine Lieblingsengine und habe damit auch
im praktischen Spiel auf Schach.de erfolgreich abgeschnitten.

By Peter Martan Date 2022-05-15 14:41

Hat mich natürlich doch auch nicht ruhen lassen.

Das ist aber noch mit dem vorletzten grünen SF- Netz, das beim Swordfish 15.1 eingebettet ist. (Das letzte grüne lässt sich bei mir nicht runterladen, hab's gestern und heute schon 2x probiert, immer 404 not found.


    Program                                    Elo   +/-  Matches  Score   Av.Op.   S.Pos.   MST1    MST2   RIndex

  1 BlueMPB15.1                              : 3575    8   1707    62.2 %   3488    92/128    2.6s    6.1s   0.72
  2 Crystal251221                            : 3573    8   1747    61.8 %   3490    93/128    2.8s    6.1s   0.63
  3 Swordfish15.1-avx2                       : 3570    8   1696    61.6 %   3488    92/128    2.9s    6.3s   0.70
  4 ShashChess22-GoldDigger+Tal              : 3569    8   1739    61.6 %   3488    95/128    3.3s    6.3s   0.64
  5 CorChess3230422                          : 3567    8   1680    61.1 %   3488    92/128    2.9s    6.3s   0.63
  6 Stockfish15                              : 3556    8   1626    59.3 %   3491    87/128    3.0s    6.8s   0.63
  7 Stockfish140522                          : 3555    8   1639    59.1 %   3491    87/128    3.4s    7.1s   0.61
  8 Ceres0.97RC3-ap-mish-2000000             : 3551    8   1624    58.4 %   3492    83/128    3.1s    7.3s   0.62
  9 Ceres0.97RC3-783257                      : 3545    9   1559    57.2 %   3495    77/128    2.5s    7.5s   0.62
 10 Lc0v0.30.0-dev-mish-2000000               : 3535    9   1525    55.5 %   3496    74/128    2.7s    7.9s   0.59
 11 Dragon3byKomodoChess64-bit                : 3520    9   1530    52.8 %   3500    72/128    3.8s    8.7s   0.49
 12 Koivisto8.4                               : 3427   11   1283    37.0 %   3519    37/128    4.1s   11.9s   0.29
 13 RubiChess20220223(bmi2)                   : 3412   10   1299    35.0 %   3520    38/128    5.8s   12.3s   0.18
 14 Rebel15                                   : 3396   11   1212    32.5 %   3523    30/128    3.6s   12.3s   0.23
 15 Seer2.5.0                                 : 3384   11   1215    30.6 %   3527    27/128    4.6s   12.8s   0.18
 16 rofChade3.0BMI2AVX2                       : 3353   10   1188    26.7 %   3529    21/128    5.3s   13.4s   0.12
 17 Fritz15                                   : 3350   11   1191    26.2 %   3530    18/128    4.8s   13.6s   0.14
 18 Wasp5.50                                  : 3330   11   1164    23.9 %   3532    14/128    4.3s   13.8s   0.12

MST1  : Mean solution time (solved positions only)
MST2  : Mean solution time (solved and unsolved positions)
RIndex: Score according to solution time ranking for each position

By Peter Weise Date 2022-05-16 20:57

Das sieht sehr komisch aus. Überall konnte ich bisher rofchade3nn (sehr) deutlich besser sehen bezgl. des Rankings/Ratings?!

By Frank Quisinsky Date 2022-05-16 21:05 Edited 2022-05-16 21:07

Hallo Peter,

ich habe z. B. auch einen Stellungstest in dem nun ca. 60 Stellungen enthalten sind.
Da liegt z. B. Wasp 5.53 NN dev. zeitlich vor Fritz 18 NN (Gingko) ... schon etwas deutlicher!
Der Test ist bislang sehr taktisch und da ist Wasp sehr sehr stark.

Aber im Grunde habe ich das gleiche Problem!!
Der Test sagt nichts über wirkliche Spielstärken aus.
Bei mir liegt z. B. rofChade 2.321 NN dev (ca. gleich zur Release Version 3) auch deutlicher vor Koivisto 8.8.

Muss wirklich dazu sagen, das in diesem Test keine Endspielstellungen drin sind.
Wirklich nur sehr taktische Mittelspielstellungen mit vielen Figuren auf dem Brett.

Wäre es ein Endspielstest würde Koivisto wahrscheinlich zeitlich deutlich vor rofChade 2.321 NN dev. liegen.
Wenn ich mal mehr gute Stellungen haben, auch mehr Stellungen die nicht zu einer eindeutigen Lösung führen werde ich sicherlich veröffentlichen.
Aber das wird noch lange dauern, zur Zeit komme ich nicht dazu!
Zu viele andere interessante Dinge laufen hier!

Viele Grüße
Frank

By Peter Martan Date 2022-05-16 21:10 Edited 2022-05-16 21:21

Im game playing ist er sicher besser und die Stellungen sind für die Hardware- Zeit wirklich schwer bis sehr schwer. Je weniger gelöst werden, desto ungenauer ist das Ergebnis, das Rating gilt sowieso nur für den einzelnen Test und das einzelne Teilnehmerfeld und das Ranking hängt unten auch erst recht stark davon ab, welche Vergleichsengines man nimmt. Auch musst du sehen, dass die Stärksten überrepräsentiert sind, weil mich die halt mehr interessieren und es mir bei denen mehr auf die Genauigkeit der Reihung ankommt.
Aber überhaupt in dieses Feld reinzupassen ist schon eine nicht zu unterschätzende taktische Leistung, sieh's so, dann ist das Glas gleich halb voll.