Neue MCTS-Engine Monty

By Peter Martan Date 2024-05-30 00:31 Edited 2024-05-30 01:12

Im Fritz läuft die Engine zwar ebenso wie in Shredder und Arena, automatische Testsuite geht aber dort (in Fritz) nicht, da hängt sich die Engine auf. Eine direkte Einordnung in die entsprechenden EloStatTS- Listen gelingt also nicht, (das wäre aber so weit unter den bisher Letzten ohnehin auch nicht viel aussagekräftiger als die Lösungszahlen allein) In Shredder werden von den 256 Stellungen

https://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=169029#pid169029

64 gelöst, das ist für single thread mit 5"/Stellung doch noch deutlich unter dem momentanen Schlusslicht dieser meiner entsprechenden Liste, Houdini 6.03 mit 92 (Tactical 115). Die guten lösen mit dieser Hardware- TC (single thread und 5"/pos.) knapp über 200 von diesen 256.

monty 1.0.00
Bisher gelöst: 64 von 256  ;  16:42m

         1   2   3   4   5   6   7   8   9  10  11  12  13  14  15  16  17  18  19  20
 -------------------------------------------------------------------------------------
   0 |   0   0   -   -   -   -   0   -   4   -   0   0   0   -   -   0   0   -   1   0
  20 |   0   0   4   -   -   -   -   0   -   -   0   -   -   -   -   0   -   -   -   1
  40 |   -   4   0   0   -   0   0   0   -   -   0   -   -   -   -   -   0   -   0   2
  60 |   -   -   -   -   0   -   0   0   0   -   0   -   0   -   -   3   -   -   -   0
  80 |   -   -   -   -   -   -   -   -   -   0   -   0   -   0   0   0   -   -   -   4
 100  |   -   -   0   -   -   -   -   -   -   -   -   -   0   0   -   0   -   0   0   -
 120  |   -   -   -   -   -   1   -   -   -   -   -   0   0   -   -   -   -   0   -   -
 140  |   0   -   -   -   -   -   2   -   -   -   -   -   -   -   -   -   -   -   -   -
 160  |   -   -   -   -   -   -   -   0   -   0   -   -   -   -   -   -   -   -   -   -
 180  |   -   -   0   -   -   -   -   -   0   -   -   -   -   -   -   -   -   -   -   -
 200  |   -   -   -   0   -   -   -   -   -   0   -   -   -   -   -   -   -   -   -   -
 220  |   -   -   -   -   -   2   -   -   -   -   -   -   -   -   -   -   -   -   -   -
 240  |   -   -   -   -   -   0   -   -   -   -   0   -   -   -   0   -

  K/s: 272.980  
  TotTime: 21:19m    SolTime: 16:42m

Also eine Granate im Stellungstest ist die Engine nicht, was diese eine Screening- Suite angeht, aber das sagt ja noch nicht viel. Gegen welchen ersten Gegner ich sie im game playing antreten lassen soll, weiß ich auch nicht recht, weil auf github keine Elo angegeben werden, aber ich werde vielleicht mal ein Match gegen die freie Dragon- Version 1 und deren MCTS- Modus starten.

Edit: Das hab' ich nach 100 Partien wieder abgebrochen, da ist noch zu viel Unterschied für einen sinnvollen Vergleich:

Score of Dragon1MCTS vs monty1.0: 86 - 0 - 16 [0.922]
Elo difference: 428.0 +/- 90.7, LOS: 100.0 %, DrawRatio: 15.7 %
102 of 500 games finished.

Eröffnungen waren UHO 2024 6mvs. 900-990cp, single thread, 3'+1".

Mal sehen, welchen Gegner ich sonst noch auf der Festplatte finde, Chiron 5.01 und Fritz 15 (Rybka) werden wohl auch noch zu stark sein. Vielleicht warte ich auch mit dem nächsten Match ein bisschen, was der Autor selbst so angibt oder ob die Engine schon irgendwo in einer Liste auftaucht.

By Peter Martan Date 2024-05-30 08:15 Edited 2024-05-30 09:10 Upvotes 1

Zitat:

Chiron 5.01 und Fritz 15 (Rybka) werden wohl auch noch zu stark sein.

Richtig vermutet:

Score of Chiron5.01 vs monty-1.0: 46 - 6 - 6 [0.845]
Elo difference: 294.4 +/- 121.5, LOS: 100.0 %, DrawRatio: 10.3 %
58 of 500 games finished.

Score of Fritz15 vs monty-1.0: 112 - 25 - 22 [0.774]
Elo difference: 213.4 +/- 58.8, LOS: 100.0 %, DrawRatio: 13.8 %
189 of 500 games finished.

Bei den 189 gegen Fritz sind noch 30 ohne Ergebnis dabei, weil ich zuerst abgebrochen und dann erst kopiert habe.

Was ist eigentlich aus deinen eigenen SF- MCTS- Versuchen geworden, Jörg?

Edit: an passender Gegnerschaft in Stellungstest und game playing mittlerweile doch noch was gefunden, scheint mir, Zappa Mexico 2 schlägt sich bei den 256 Stellungen single thread ähnlich wie monty und ein 3'+1"- Match läuft auch wieder.

By Peter Martan Date 2024-05-30 10:15 Edited 2024-05-30 10:18 Upvotes 1

Zitat:

Zappa Mexico 2 schlägt sich bei den 256 Stellungen single thread ähnlich wie monty und ein 3'+1"- Match läuft auch wieder.

Zur Halbzeit schaut's im Match so aus:

Score of ZappaMexicoII vs monty-1.0: 79 - 128 - 50 [0.405]
Elo difference: -67.1 +/- 38.8, LOS: 0.0 %, DrawRatio: 19.5 %
257 of 500 games finished.

Und der direkte Vergleich im Shredder- GUI mit den 256 Stellungen wie oben (in der gleichen Lösungstabelle wie der von von monty), wieder 5"/pos. single thread:

Zappa Mexico II 
Bisher gelöst: 38 von 256  ;  18:09m

         1   2   3   4   5   6   7   8   9  10  11  12  13  14  15  16  17  18  19  20
 -------------------------------------------------------------------------------------
   0 |   -   0   -   -   -   0   -   -   2   -   0   -   0   -   -   -   -   -   -   -
  20 |   -   0   -   -   -   -   -   2   -   -   -   -   -   -   0   -   -   -   -   3
  40 |   -   -   -   0   -   0   -   -   -   -   -   0   -   -   -   -   -   -   0   0
  60 |   -   -   -   -   -   0   -   4   -   -   -   -   -   -   -   -   0   -   -   -
  80 |   -   -   -   0   -   -   -   -   -   0   -   -   1   -   -   4   -   -   -   -
 100  |   -   -   -   -   -   -   -   -   1   -   -   -   -   -   -   -   -   0   -   -
 120  |   -   -   0   4   -   -   -   -   -   -   -   3   -   -   -   -   -   4   -   -
 140  |   -   -   0   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -
 160  |   -   -   -   -   -   -   -   0   -   4   -   -   -   -   -   -   -   2   -   -
 180  |   -   -   -   -   -   -   -   -   -   0   -   -   0   -   -   -   -   -   0   -
 200  |   -   -   -   -   -   -   -   -   -   1   -   -   -   -   -   -   -   -   -   -
 220  |   -   -   -   -   -   -   -   -   -   -   -   -   -   -   3   -   -   -   -   -
 240  |   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0   -

  K/s: 1.574.331  
  TotTime: 19:32m    SolTime: 18:09m

Und wenn man das anhand der Lösungszeiten in Sekunden in WDL umrechnet und in EloStat eingibt aus der Sicht von monty gezählt:

Wins   = 51
Draws  = 188
Losses = 17
Av.Op. Elo = 2700

Result     : 145.0/256 (+51,=188,-17)
Perf.      : 56.6 %
Margins    :
 68 %       : (+  1.6,-  1.5 %) -> [ 55.1, 58.2 %]
 95 %       : (+  3.1,-  3.0 %) -> [ 53.6, 59.7 %]
 99.7 %     : (+  4.7,-  4.5 %) -> [ 52.1, 61.3 %]

Elo        : 2746
Margins    :
 68 %       : (+ 11,- 11) -> [2736,2758]
 95 %       : (+ 22,- 21) -> [2725,2768]
 99.7 %     : (+ 34,- 32) -> [2715,2780]

2700 hab' ich als Ausgangswert genommen, weil es das ist, was Zappa Mexico 2 in der CEGT all versions 40/20- Liste single thread ungefähr hat (2711).

By Jörg Oster Date 2024-05-30 10:55

Danke für deine Tests, lieber Peter.

Diese Engine steht ja noch am Anfang der Entwicklung.
Da schon gleich Spitzenniveau zu erwarten, ist etwas viel verlangt.
Eine Performance so um die 2600 Elo wäre gar nicht schlecht für den Anfang.

Was mir aufgefallen ist, dass Monty im Analysemodus nicht auf das 'stop' Kommando reagiert.
Positiv zu vermerken ist, dass Monty komplett auf der CPU läuft. Also nix mit teurer Grafikkarte.

Wie gesagt, ich bin gespannt auf die weitere Entwicklung.

By Peter Martan Date 2024-05-30 11:14 Edited 2024-05-30 11:23

Ich hab' kein Spitzenniveau erwartet, wenn man gar keinen Anhaltspunkt hat, muss man irgendwo mit möglichen Vergleichsgegnern anfangen und zunächst wollte ich mal sehen, wie sich das gegen den MCTS- Modus der freien Dragon- Version verhält und bin dann schrittweise mit der Gegnerschaft zurück gegangen. Vielleicht gönne ich mir, mit mehr Vorkenntnis mittlerweile, noch einen run gegen einen frühen KomodoMCTS, da müsste ich mir aber eigens einen dazu neu runterladen.

Mit Zappa macht der Vergleich sowohl im Match als auch im Stellungstest durchaus Sinn, wie man sieht. Auch in letzterem (Stellungstest) kommt's außer auf die Stellungen und die Hardware- TC natürlich auch immer auf die Gegnerschaft an. Gelöste Stellungen kann man zahlenmäßig immer beliebig vergleichen, aber was die Ergebnisse bei welcher Hardware- TC an Relevanz haben, das richtet sich auch nach den Teilnehmern.
So ist' nach 500 Partien gegen Zappa ausgegangen:

Score of ZappaMexicoII vs monty-1.0: 157 - 237 - 106 [0.420]
Elo difference: -56.1 +/- 27.3, LOS: 0.0 %, DrawRatio: 21.2 %
500 of 500 games finished.

Wenn ich noch einmal wie oben nachfragen darf

Zitat:

Was ist eigentlich aus deinen eigenen SF- MCTS- Versuchen geworden, Jörg?

By Jörg Oster Date 2024-06-05 19:22 Upvotes 1

Peter Martan schrieb:

...
Wenn ich noch einmal wie oben nachfragen darf

Zitat:

Was ist eigentlich aus deinen eigenen SF- MCTS- Versuchen geworden, Jörg?

Sorry für die späte Antwort ...
Der Versuch ist quasi in den Kinderschuhen stecken geblieben und ich weiß zur Zeit nicht,
ob ich da überhaupt noch Zeit investieren soll.