Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Neue Engine Versionen 2024 im Test ...
- - By Frank Quisinsky Date 2024-01-11 16:53 Edited 2024-01-11 17:31 Upvotes 1
Hallo zusammen,

in erster Linie geht es mir darum zu schauen, wie sich der Züge-Durchschnitt entwickelt bzw. bei neuen Programmen oder Programm Versionen einzuschätzen ist.
In zweiter Linie der Spielstil, kann man auch im Blitz einiges ablesen.
In dritter Linie wie sich Wasp entwickelt.

Insofern teste ich ein wenig die neuen Release Versionen, damit ich den Überblick behalte.
Es werden sicher immer mehr Programme verfügbar sein, die sich mit Neural-Network direkt bei 3200 - 3300 Elo oder höher einsortieren.

In TalkChess habe ich hierzu einen Thread eröffnet.
Möchte nicht alles immer doppelt posten, werde neben meinen Job dafür kaum die Zeit finden.
Aber ich finde es außerordentlich interessant, dass sich so viele mit Schachprogrammierung beschäftigen und gerade jüngere Programmierer recht schnell aufrücken.

Wer das beobachten möchte:
http://talkchess.com/forum3/viewtopic.php?f=6&t=83157&sid=4e6a58d6fc95ad66c27f6255350b1750

Da Wasp 6.50 NN einen perfekten Züge Durchschnitt hat und auch ordentlich aggressiv zu Werke geht, dient Wasp 6.50 NN als Referenz mit 3300 Elo für die Elo-Berechnung.
Wasp 6.50 NN sollte mithin auch die gute Mitte bilden (wichtig wenn mit einer Referenz-Engine gearbeitet wird).

Ansonsten wäre zu sagen:
Ich teste ich auf einem i7 der elften Generation, Dell-Ultrabook mit 3.0 Ghz (nur 18w Stromverbrauch bei 4 Cores, ist mein Lieblings-Computer), mit 6+3 und wenn es zu viel wird schalte ich einen i9-10900k mit 10 Cores und 4.4Ghz bei 4+2 hinzu.
Die beiden Maschinen sind dann ca. auf einem Level hinsichtlich Geschwindigkeit. Das Dell Gerät wurde von 2.8Ghz auf 3.0Ghz angehoben weil es eine sehr spezielle Kühlung hat. Die Temperatur liegt bei 68Grad wenn alle 4Cores mit 3.0Ghz laufen.
Für ein Ultrabook eine sehr gute Performance.

Überlege derzeit ob es notwendig ist einen Download für diese Aktion ins Leben zu rufen?
Denke aber nicht, sind nur Blitzpartien.

Kleine Aktion ungeachtet von meinem laufenden Turnier mit 66+6.

Auch kann ich nicht alles testen was neu erscheint. Die Grenze nach unten ist ca. 3150 Elo.
50 Partien pro Match!

Auch macht es kaum Sinn bis zum Exzess zu testen.
Also maximal 21 Engines in einem Turnier, bevor ich dann das nächste Turnier starte.
Mithin erspielen dann die neuen Engines je 1.000 Partien, das reicht bei 20 Gegnern für eine grobe Einschätzung zu dies und jenes.

Viele Grüße
Frank

Die ersten Ergebnisse sind in dem TalkChess Thread online!
Und wie gesagt, nur Programme die neu herausgekommen ist ... das ging 2024 los mit Akimbo 0.8.0 NN.
Dann mal schauen was das Jahr so bringt.
Den Engines wünsche ich einen guten Rutsch durch die Turniere bei einem erträglichen Züge-Durchschnitt!
Parent - - By Frank Quisinsky Date 2024-01-11 17:43 Edited 2024-01-11 17:46
Junge, Junge, Junge ...
Heute kam Caissa 1.16 NN ...
Legt gegen die bisherigen Engines im Turnier los wie ein Weltmeister.
Die armen 6 die schon drin sind ...

Da kommt die Schachgöttin mit der Sense!
300 Partien bei nur 4 laufenden Partien ... auch wenn Blitz ... das dauert natürlich.
Bin mal gespannt!

Habe mal grob kalkuliert.
Im letzten Jahr kamen im Monat durchschnittlich 9 Engines (neue oder Updates), die sich in den TOP-60 einreihen könnte.
Mithin wurde der Rekord aus dem Jahr 2021 gebrochen (da waren es 8 Engines).
Bin echt Banane was ich so alles statistisch festhalte.

Gehe davon aus der Durchschnitt bleibt, auch wenn viele neue Programme hinzu kommen werden und einige sicherlich oft upgedatet werden.
Denn bei den ganzen Engines die sich schon oben einreihen konnten werden die Zuwächse immer geringer ausfallen.
Gehe nicht davon aus das irgend eine Engine im Jahr 2024 an Stockfish vorbeiziehen wird.
Wäre ein bissel viel Wunschdenken!
Parent - - By Frank Quisinsky Date 2024-01-13 12:17 Edited 2024-01-13 12:21 Upvotes 1
Hallo zusammen,

es ist viel los auf den Rechnern der Programmierer zu Jahresbeginn.
Heute ist der 13.01.2024 und schon 10 Updates der TOP-75.
Wo soll das hinführen ... glaube der Rekord war mal 16 in einem Monat.

Da denkt man oft, die verlieren selbst ein wenig die Lust bei den ansteigenden Remisquoten oder irgendwann ist Neural-Network langweilig wenn weniger selbst beeinflusst werden kann.
Bin von meiner neuen Idee (neue Engines in ein Turnier zu packen) nicht absolut begeistert aber man muss das jetzt mal ne Zeit durchziehen und schauen ob sinnvoll oder nicht.

Im Detail ...
Wir haben 10 Updates und Wasp dienst als Referenz für die Elo-Berechnung:

Code:

A)  Wasp 6.50 NN                                         released   = February 28th, 2023    Reference = 3300 Elo
B)  Wasp 6.63 NN dev                                     executable = December 02nd, 2023    Last dev

01. Akimbo 0.8.0 NN                                      executable = January 02nd, 2024     Test on Wasp-2
    https://github.com/jw1912/akimbo
02. Starzix 3.0 NN                                       executable = January 03rd, 2024     Test on Wasp-2
    https://github.com/zzzzz151/Starzix
03. Lizard 10.0 NN                                       released   = January 04th, 2024     Test on Wasp-2
    https://github.com/liamt19/Lizard
04. Clarity 4.1.0 NN                                     executable = January 07th, 2024     Test on Wasp-2
    https://github.com/Vast342/Clarity
05. Caissa 1.16 NN                                       executable = January 11th, 2024     Test on Wasp-2
    https://github.com/Witek902/Caissa
06. Counter 5.5 NN                                       released   = January 12th, 2024     Test on Wasp-1
    https://github.com/ChizhovVadim/CounterGo/
07. Pawn 3.0 NN
    https://github.com/ruicoelhopedro/pawn               executable = January 12th, 2024     Test on Wasp-1 = v7
08. Texel 1.11 NN
    https://github.com/peterosterlund2/texel             executable = January 12th, 2024     Test on Wasp-1 = still running
09. RubiChess 20240112 NN
    https://github.com/Matthies/RubiChess/               executable = January 12th, 2024     Test on Wasp 1 = soon
10. Avalanche 2.1.0 NN
    https://github.com/SnowballSH/Avalanche              executable = January 13th, 2024     Test on Wasp 2 = still running


sieben der 10 habe ich schon im Turnier eingepickt, zwei laufen ...

Code:

         Name                 Games     Win     Draw     Lose       Pts         S-B         %    wins-55m  lost-55m  AV-wins  AV-draws  AV-all

01. Caissa 1.16 NN         :   400  :  215+  :  183=  :    2-  :   306.5  :  56458.75  :  76.63%    12        0        86        84       85
02. Pawn 3.0 NN            :   400  :   86+  :  265=  :   49-  :   218.5  :  41014.00  :  54.63%     3        4        83        89       88
03. Akimbo 0.8.0 NN        :   400  :   84+  :  261=  :   55-  :   214.5  :  40209.75  :  53.63%     3        6        93        92       90
04. Starzix 3.0 NN         :   400  :   76+  :  272=  :   52-  :   212.0  :  39688.50  :  53.00%     1        5        94        92       91
05. Wasp 6.63 NN dev       :   400  :   75+  :  260=  :   65-  :   205.0  :  38536.50  :  51.25%     8        1        81        83       84
06. Wasp 6.50 NN           :   400  :   64+  :  260=  :   76-  :   194.0  :  36391.25  :  48.50%    12        0        80        80       83
07. Lizard 10.0 NN         :   400  :   34+  :  264=  :  102-  :   166.0  :  31960.25  :  41.50%     3        9        94       100       95
08. Clarity 4.1.0 NN       :   400  :   32+  :  253=  :  115-  :   158.5  :  30515.50  :  39.63%     0        8        90        84       85
09. Counter 5.5 NN         :   400  :   20+  :  210=  :  170-  :   125.0  :  24622.50  :  31.25%     1       10        92       100       95

White Wins =    447 ( 24.83% )
Draws      =  1.114 ( 61.89% )
Black Wins =    239 ( 13.28% )
Average    = 176.59 ( 88,29 moves )


Sehr erfreulich ...
Bei Akimko hat sich einiges getan. Keine 107 Züge mehr bei dem Durchschnitt der Gewinnpartien.
Kommt der sehr aggressive und eigenwillige Spielstil auch besser zum Ausdruck, interessantes Programm!

Code:

   # Player              :      Elo  Games  Score%  won  draw  lost  Points  Draw%  Error   OppAvg   OppE   OppD
   1 Caissa 1.16 NN      :  3502.60    400    76.6  215   183     2   306.5   45.8  22.63  3287.17  17.53    8.0
   2 Pawn 3.0 NN         :  3340.88    400    54.6   86   265    49   218.5   66.3  17.93  3307.39  18.12    8.0
   3 Akimbo 0.8.0 NN     :  3334.18    400    53.6   84   261    55   214.5   65.3  17.37  3308.23  18.19    8.0
   4 Starzix 3.0 NN      :  3330.00    400    53.0   76   272    52   212.0   68.0  16.96  3308.75  18.24    8.0
   5 Wasp 6.63 NN dev    :  3318.32    400    51.3   75   260    65   205.0   65.0  17.12  3310.21  18.22    8.0
   6 Wasp 6.50 NN        :  3300.00    400    48.5   64   260    76   194.0   65.0  16.82  3312.50  18.26    8.0
   7 Lizard 10.0 NN      :  3253.03    400    41.5   34   264   102   166.0   66.0  16.94  3318.37  18.24    8.0
   8 Clarity 4.1.0 NN    :  3240.23    400    39.6   32   253   115   158.5   63.3  17.01  3319.97  18.23    8.0
   9 Counter 5.5 NN      :  3180.74    400    31.3   20   210   170   125.0   52.5  20.10  3327.40  17.85    8.0

White advantage = 45.43 +/- 4.89
Draw rate (equal opponents) = 74.58 % +/- 1.37


Bin gespannt wie sich dieses Turnier entwickelt.
Zur Zeit läuft Texel 1.11 NN mit einem fantastischen Züge-Durchschnitt von 75 nach ca. 100 Partien.

Viele Grüße
Frank
Parent - - By Frank Quisinsky Date 2024-01-16 23:14
Hallo zusammen,

hier mal wieder ein Zwischenstand der neuen Releases aus dem Jahr 2024.
So langsam füllt sich das Turnier und da alles abgestetet was neu kam nehme ich noch die letzten Releases aus dem letzten Jahr hinzu.
Bevor die mit einem langen Bart sauer in der Ecke verweilen.

Man könnte sagen ...
RubiChess zieht ne Nummer ab.
Move-Average TOP, Anzahl der schnellen Gewinne ist just fantastico.

Mal schauen wie sich das alles entwickelt.
Bin selbst gespannt, habe lange nicht mehr Blitz getestet, nur mal hier und da schnell bei Test-Set Optimierungen.

Bekommt man natürlich schon schnell etwas zusammen aber letztendlich schaue ich doch lieber auf längere Bedenkzeiten.
Zumal die Taktiker auch ganz andere Ergebnisse produzieren!

Wie dem auch ist ...
Bekomme die Anhaltspunkte die ich mir wünsche hinsichtlich ...
Welche Engines eigenen sich für einen Test mit längeren Bedenkzeiten.

Schaut mal auf den Zügedurchschnitt der Taktik-Boliden, und im Detail mal auf die 79er Nummer die RubiChess bei einem ausgeglichenen Buch
ohne Aufgabefaktor sich erdreistet an den Tag zu legen.



Das geht schon fast in Richtung ... Urknall!

Gruß
Frank

Code:

A)  Wasp 6.50 NN                                         released   = February 28th, 2023    Reference = 3300 Elo
B)  Wasp 6.63 NN dev                                     executable = December 02nd, 2023    Last dev
    John Stanback, USA
------------------------------------------------------------------------------------------------------------------------------------------

12/2023 - 2024

16. Peacekeeper 2.20 NN                                  executable = December 24th, 2023    Test on Wasp-2 = still running, need a while
    Kyle Zhang (USA)
    https://github.com/Sazgr/peacekeeper

15. Seer 2.8.0 NN                                        executable = December 31st, 2023    Test on Wasp-1 = still running
    Connor McMonigle (USA)
    https://github.com/connormcmonigle/seer-nnue/

------------------------------------------------------------------------------------------------------------------------------------------

14. Arasan 24.1 NN                                       executable = January 14th, 2024     Test on Wasp-1 = v14
    Jon Dart, USA
    https://www.arasanchess.org/index.shtml
    https://github.com/jdart1/arasan-chess

13. Renegade 1.0.0 NN                                    executable = January 13th, 2024     Test on Wasp-1
    Krisztián Peőcz (HUN)
    https://github.com/pkrisz99/Renegade/

12. Minic 3.40 NN                                        executable = January 14th, 2024     Test on Wasp-1
    Vivien CLAUZON, FRA
    https://github.com/tryingsomestuff/Minic

11. Lizard 10.1 NN                                       released   = January 13th, 2024     Test on Wasp-1
(2) Lizard 10.1 NN replaced Lizard 10.0 NN
    Liam McGuire, USA
    https://github.com/liamt19/Lizard

10. Avalanche 2.1.0 NN                                   executable = January 13th, 2024     Test on Wasp 2
    Yinuo Huang, CHN
    https://github.com/SnowballSH/Avalanche

09. RubiChess 20240112 NN                                executable = January 12th, 2024     Test on Wasp 1
    Andreas Matthies, GER
    https://github.com/Matthies/RubiChess/

08. Texel 1.11 NN                                        executable = January 12th, 2024     Test on Wasp-1
    Peter Österlund, SWE
    https://github.com/peterosterlund2/texel

07. Pawn 3.0 NN                                          executable = January 12th, 2024     Test on Wasp-1
    Rui Coelho, POR
    https://github.com/ruicoelhopedro/pawn

06. Counter 5.5 NN                                       released   = January 12th, 2024     Test on Wasp-1
    Vadim Chizhov, RUS
    https://github.com/ChizhovVadim/CounterGo/

05. Caissa 1.16 NN                                       executable = January 11th, 2024     Test on Wasp-2
    Michal Witanowski, POL
    https://github.com/Witek902/Caissa

04. Clarity 4.1.0 NN                                     executable = January 07th, 2024     Test on Wasp-2
    Joseph Pasfield, USA
    https://github.com/Vast342/Clarity

03. Lizard 10.0 NN                                       released   = January 04th, 2024     Test on Wasp-2
(1) Liam McGuire, USA
    https://github.com/liamt19/Lizard

02. Starzix 3.0 NN                                       executable = January 03rd, 2024     Test on Wasp-2
    Ricardo Pinto, POR
    https://github.com/zzzzz151/Starzix

01. Akimbo 0.8.0 NN                                      executable = January 02nd, 2024     Test on Wasp-2
    Jamie Whiting, GBR
    https://github.com/jw1912/akimbo


Code:

              Name                 Games     Win     Draw     Lose       Pts         S-B         %    wins-55m  lost-55m  AV-wins  AV-draws  AV-al

01. RubiChess 20240112 NN       :   700  :  343+  :  353=  :    4-  :   519.5  : 171039.25  :  74.21%    42         0       79       79       79    
02. Caissa 1.16 NN              :   700  :  327+  :  369=  :    4-  :   511.5  : 167789.50  :  73.07%    20         0       85       80       82
03. Arasan 24.1 NN              :   700  :  201+  :  443=  :   56-  :   422.5  : 139147.00  :  60.36%    24         3       84       83       83
04. Minic 3.40 NN               :   700  :  141+  :  467=  :   92-  :   374.5  : 123572.50  :  53.50%     5        15       95       92       91
05. Pawn 3.0 NN                 :   700  :  137+  :  465=  :   98-  :   369.5  : 121424.25  :  52.79%     5         7       82       88       87
06. Akimbo 0.8.0 NN             :   700  :  148+  :  438=  :  114-  :   367.0  : 119294.50  :  52.43%     5        13       93       92       91
07. Starzix 3.0 NN              :   700  :  123+  :  467=  :  110-  :   356.5  : 116097.75  :  50.93%     3        13       92       91       89
08. Wasp 6.63 NN dev            :   700  :  115+  :  452=  :  133-  :   341.0  : 112196.00  :  48.71%    15         3       81       80       82
09. Texel 1.11 NN               :   700  :  119+  :  442=  :  139-  :   340.0  : 111162.75  :  48.57%    19         1       75       90       88
10. Lizard 10.1 NN              :   700  :  112+  :  450=  :  138-  :   337.0  : 110429.75  :  48.14%     7        13       87       96       92
--------------------------------------------------------------------------------------------------------------------------------------------------
11. Wasp 6.50 NN                :   700  :  113+  :  447=  :  140-  :   336.5  : 108947.00  :  48.07%    27         0       77       81       83
12. Renegade 1.0.0 NN           :   700  :   74+  :  428=  :  198-  :   288.0  :  94812.50  :  41.14%     2        20       91      100       94
13. Clarity 4.1.0 NN            :   700  :   51+  :  440=  :  209-  :   271.0  :  90018.25  :  38.71%     0        14       95       85       85
14. Avalanche 2.1.0 NN          :   700  :   42+  :  339=  :  319-  :   211.5  :  70424.25  :  30.21%     0        53       91       86       82
15. Counter 5.5 NN              :   700  :   34+  :  340=  :  326-  :   204.0  :  68648.75  :  29.14%     3        22       84      102       95

White Wins =  1.369 ( 26.08% )
Draws      =  3.170 ( 60.38% )
Black Wins =    711 ( 13.54% )
Average    = 173.30 ( 86,65 moves )


Code:

   # Player                   :      Elo  Games  Score%  won  draw  lost  Points  Draw%  Error   OppAvg   OppE   OppD
   1 RubiChess 20240112 NN    :  3498.21    700    74.2  343   353     4   519.5   50.4  17.36  3301.18  14.43   14.0
   2 Caissa 1.16 NN           :  3488.24    700    73.1  327   369     4   511.5   52.7  16.70  3301.89  14.47   14.0
   3 Arasan 24.1 NN           :  3388.03    700    60.4  201   443    56   422.5   63.3  14.54  3309.05  14.63   14.0
   4 Minic 3.40 NN            :  3338.52    700    53.5  141   467    92   374.5   66.7  13.98  3312.59  14.67   14.0
   5 Pawn 3.0 NN              :  3333.44    700    52.8  137   465    98   369.5   66.4  14.04  3312.95  14.66   14.0
   6 Akimbo 0.8.0 NN          :  3330.90    700    52.4  148   438   114   367.0   62.6  13.85  3313.13  14.68   14.0
   7 Starzix 3.0 NN           :  3320.26    700    50.9  123   467   110   356.5   66.7  13.21  3313.89  14.72   14.0
   8 Wasp 6.63 NN dev         :  3304.56    700    48.7  115   452   133   341.0   64.6  13.76  3315.01  14.68   14.0
   9 Texel 1.11 NN            :  3303.55    700    48.6  119   442   139   340.0   63.1  14.15  3315.09  14.66   14.0
  10 Lizard 10.1 NN           :  3300.51    700    48.1  112   450   138   337.0   64.3  13.49  3315.30  14.70   14.0
  11 Wasp 6.50 NN             :  3300.00    700    48.1  113   447   140   336.5   63.9  13.44  3315.34  14.71   14.0
  12 Renegade 1.0.0 NN        :  3250.39    700    41.1   74   428   198   288.0   61.1  14.47  3318.88  14.63   14.0
  13 Clarity 4.1.0 NN         :  3232.61    700    38.7   51   440   209   271.0   62.9  14.71  3320.15  14.62   14.0
  14 Avalanche 2.1.0 NN       :  3167.15    700    30.2   42   339   319   211.5   48.4  15.60  3324.83  14.55   14.0
  15 Counter 5.5 NN           :  3158.39    700    29.1   34   340   326   204.0   48.6  16.04  3325.46  14.52   14.0

White advantage = 50.06 +/- 2.84
Draw rate (equal opponents) = 74.52 % +/- 0.81
Parent - By Frank Quisinsky Date 2024-01-16 23:20 Edited 2024-01-16 23:27
Das auch eine Engine, die zwischenzeitlich weiter hinten einsortiert (Wasp 6.50 NN) immer noch keine einzige Partie schnell verloren hat schaut ungewöhnlich aus.
Nun ja, über die Stärke von Wasp muss man im Grunde auch nichts mehr schreiben.
Nur John wird das sicherlich nicht gerne sehen das die aktuellen Entwicklungen eher nach hinten los gehen.
Gerade der Spielstil bei Wasp ist wichtiger als die Elo.

Muss unbedingt Velvet sehen ...
Gehe bei den Releases bis Velvet zurück.

Denke beim Züge Durchschnitt der Gewinnpartien auf Platz 1 (der TOP-100) und bei den schnellen Gewinnen mehr als Wasp 6.50 NN auf ca. vergleichbaren Level.
Kann Texel getoppt werden, ich denke also wenn überhaupt kann es Velvet.

Da liegen aber noch Mida und Drofa dazwischen.

Kommt Zeit kommt Rat.
Up Topic Hauptforen / CSS-Forum / Neue Engine Versionen 2024 im Test ...

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill