Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Neue MCTS-Engine Monty
- - By Jörg Oster Date 2024-05-29 22:51
Ist aber schon das 2. Release, Version 1.0.0, siehe https://github.com/jw1912/monty/releases/tag/v1.0.0

Monty verwendet ein Policy-Netz für die Zugprioritäten und ein Value-Netz für die Bewertung,
wenn ich das richtig verstehe. Geschrieben ist Monty in Rust.

Auf Tests und Analysen mit dieser Engine sowie auf die weitere Entwicklung bin ich sehr gespannt.
Parent - - By Peter Martan Date 2024-05-30 00:31 Edited 2024-05-30 01:12
Im Fritz läuft die Engine zwar ebenso wie in Shredder und Arena, automatische Testsuite geht aber dort (in Fritz) nicht, da hängt sich die Engine auf. Eine direkte Einordnung in die entsprechenden EloStatTS- Listen gelingt also nicht, (das wäre aber so weit unter den bisher Letzten ohnehin auch nicht viel aussagekräftiger als die Lösungszahlen allein) In Shredder werden von den 256 Stellungen

https://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=169029#pid169029

64 gelöst, das ist für single thread mit 5"/Stellung doch noch deutlich unter dem momentanen Schlusslicht dieser meiner entsprechenden Liste, Houdini 6.03 mit 92 (Tactical 115). Die guten lösen mit dieser Hardware- TC (single thread und 5"/pos.) knapp über 200 von diesen 256.

monty 1.0.00
Bisher gelöst: 64 von 256  ;  16:42m

         1   2   3   4   5   6   7   8   9  10  11  12  13  14  15  16  17  18  19  20
-------------------------------------------------------------------------------------
   0 |   0   0   -   -   -   -   0   -   4   -   0   0   0   -   -   0   0   -   1   0
  20 |   0   0   4   -   -   -   -   0   -   -   0   -   -   -   -   0   -   -   -   1
  40 |   -   4   0   0   -   0   0   0   -   -   0   -   -   -   -   -   0   -   0   2
  60 |   -   -   -   -   0   -   0   0   0   -   0   -   0   -   -   3   -   -   -   0
  80 |   -   -   -   -   -   -   -   -   -   0   -   0   -   0   0   0   -   -   -   4
100  |   -   -   0   -   -   -   -   -   -   -   -   -   0   0   -   0   -   0   0   -
120  |   -   -   -   -   -   1   -   -   -   -   -   0   0   -   -   -   -   0   -   -
140  |   0   -   -   -   -   -   2   -   -   -   -   -   -   -   -   -   -   -   -   -
160  |   -   -   -   -   -   -   -   0   -   0   -   -   -   -   -   -   -   -   -   -
180  |   -   -   0   -   -   -   -   -   0   -   -   -   -   -   -   -   -   -   -   -
200  |   -   -   -   0   -   -   -   -   -   0   -   -   -   -   -   -   -   -   -   -
220  |   -   -   -   -   -   2   -   -   -   -   -   -   -   -   -   -   -   -   -   -
240  |   -   -   -   -   -   0   -   -   -   -   0   -   -   -   0   -

  K/s: 272.980 
  TotTime: 21:19m    SolTime: 16:42m

Also eine Granate im Stellungstest ist die Engine nicht, was diese eine Screening- Suite angeht, aber das sagt ja noch nicht viel. Gegen welchen ersten Gegner ich sie im game playing antreten lassen soll, weiß ich auch nicht recht, weil auf github keine Elo angegeben werden, aber ich werde vielleicht mal ein Match gegen die freie Dragon- Version 1 und deren MCTS- Modus starten.

Edit: Das hab' ich nach 100 Partien wieder abgebrochen, da ist noch zu viel Unterschied für einen sinnvollen Vergleich:

Score of Dragon1MCTS vs monty1.0: 86 - 0 - 16 [0.922]
Elo difference: 428.0 +/- 90.7, LOS: 100.0 %, DrawRatio: 15.7 %
102 of 500 games finished.

Eröffnungen waren UHO 2024 6mvs. 900-990cp, single thread, 3'+1".

Mal sehen, welchen Gegner ich sonst noch auf der Festplatte finde, Chiron 5.01 und Fritz 15 (Rybka) werden wohl auch noch zu stark sein. Vielleicht warte ich auch mit dem nächsten Match ein bisschen, was der Autor selbst so angibt oder ob die Engine schon irgendwo in einer Liste auftaucht.
Parent - - By Peter Martan Date 2024-05-30 08:15 Edited 2024-05-30 09:10 Upvotes 1
Zitat:

Chiron 5.01 und Fritz 15 (Rybka) werden wohl auch noch zu stark sein.

Richtig vermutet:

Score of Chiron5.01 vs monty-1.0: 46 - 6 - 6 [0.845]
Elo difference: 294.4 +/- 121.5, LOS: 100.0 %, DrawRatio: 10.3 %
58 of 500 games finished.

Score of Fritz15 vs monty-1.0: 112 - 25 - 22 [0.774]
Elo difference: 213.4 +/- 58.8, LOS: 100.0 %, DrawRatio: 13.8 %
189 of 500 games finished.

Bei den 189 gegen Fritz sind noch 30 ohne Ergebnis dabei, weil ich zuerst abgebrochen und dann erst kopiert habe.

Was ist eigentlich aus deinen eigenen SF- MCTS- Versuchen geworden, Jörg?

Edit: an passender Gegnerschaft in Stellungstest und game playing mittlerweile doch noch was gefunden, scheint mir, Zappa Mexico 2 schlägt sich bei den 256 Stellungen single thread ähnlich wie monty und ein 3'+1"- Match läuft auch wieder.
Parent - - By Peter Martan Date 2024-05-30 10:15 Edited 2024-05-30 10:18 Upvotes 1
Zitat:

Zappa Mexico 2 schlägt sich bei den 256 Stellungen single thread ähnlich wie monty und ein 3'+1"- Match läuft auch wieder.


Zur Halbzeit schaut's im Match so aus:

Score of ZappaMexicoII vs monty-1.0: 79 - 128 - 50 [0.405]
Elo difference: -67.1 +/- 38.8, LOS: 0.0 %, DrawRatio: 19.5 %
257 of 500 games finished.

Und der direkte Vergleich im Shredder- GUI mit den 256 Stellungen wie oben (in der gleichen Lösungstabelle wie der von von monty), wieder 5"/pos. single thread:

Zappa Mexico II
Bisher gelöst: 38 von 256  ;  18:09m

         1   2   3   4   5   6   7   8   9  10  11  12  13  14  15  16  17  18  19  20
-------------------------------------------------------------------------------------
   0 |   -   0   -   -   -   0   -   -   2   -   0   -   0   -   -   -   -   -   -   -
  20 |   -   0   -   -   -   -   -   2   -   -   -   -   -   -   0   -   -   -   -   3
  40 |   -   -   -   0   -   0   -   -   -   -   -   0   -   -   -   -   -   -   0   0
  60 |   -   -   -   -   -   0   -   4   -   -   -   -   -   -   -   -   0   -   -   -
  80 |   -   -   -   0   -   -   -   -   -   0   -   -   1   -   -   4   -   -   -   -
100  |   -   -   -   -   -   -   -   -   1   -   -   -   -   -   -   -   -   0   -   -
120  |   -   -   0   4   -   -   -   -   -   -   -   3   -   -   -   -   -   4   -   -
140  |   -   -   0   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -
160  |   -   -   -   -   -   -   -   0   -   4   -   -   -   -   -   -   -   2   -   -
180  |   -   -   -   -   -   -   -   -   -   0   -   -   0   -   -   -   -   -   0   -
200  |   -   -   -   -   -   -   -   -   -   1   -   -   -   -   -   -   -   -   -   -
220  |   -   -   -   -   -   -   -   -   -   -   -   -   -   -   3   -   -   -   -   -
240  |   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0   -

  K/s: 1.574.331 
  TotTime: 19:32m    SolTime: 18:09m

Und wenn man das anhand der Lösungszeiten in Sekunden in WDL umrechnet und in EloStat eingibt aus der Sicht von monty gezählt:

Wins   = 51
Draws  = 188
Losses = 17
Av.Op. Elo = 2700

Result     : 145.0/256 (+51,=188,-17)
Perf.      : 56.6 %
Margins    :
68 %       : (+  1.6,-  1.5 %) -> [ 55.1, 58.2 %]
95 %       : (+  3.1,-  3.0 %) -> [ 53.6, 59.7 %]
99.7 %     : (+  4.7,-  4.5 %) -> [ 52.1, 61.3 %]

Elo        : 2746
Margins    :
68 %       : (+ 11,- 11) -> [2736,2758]
95 %       : (+ 22,- 21) -> [2725,2768]
99.7 %     : (+ 34,- 32) -> [2715,2780]

2700 hab' ich als Ausgangswert genommen, weil es das ist, was Zappa Mexico 2 in der CEGT all versions 40/20- Liste single thread ungefähr hat (2711).
Parent - - By Jörg Oster Date 2024-05-30 10:55
Danke für deine Tests, lieber Peter.

Diese Engine steht ja noch am Anfang der Entwicklung.
Da schon gleich Spitzenniveau zu erwarten, ist etwas viel verlangt.
Eine Performance so um die 2600 Elo wäre gar nicht schlecht für den Anfang.

Was mir aufgefallen ist, dass Monty im Analysemodus nicht auf das 'stop' Kommando reagiert.
Positiv zu vermerken ist, dass Monty komplett auf der CPU läuft. Also nix mit teurer Grafikkarte.

Wie gesagt, ich bin gespannt auf die weitere Entwicklung.
Parent - - By Peter Martan Date 2024-05-30 11:14 Edited 2024-05-30 11:23
Ich hab' kein Spitzenniveau erwartet, wenn man gar keinen Anhaltspunkt hat, muss man irgendwo mit möglichen Vergleichsgegnern anfangen und zunächst wollte ich mal sehen, wie sich das gegen den MCTS- Modus der freien Dragon- Version verhält und bin dann schrittweise mit der Gegnerschaft zurück gegangen. Vielleicht gönne ich mir, mit mehr Vorkenntnis mittlerweile, noch einen run gegen einen frühen KomodoMCTS, da müsste ich mir aber eigens einen dazu neu runterladen.

Mit Zappa macht der Vergleich sowohl im Match als auch im Stellungstest durchaus Sinn, wie man sieht. Auch in letzterem (Stellungstest) kommt's außer auf die Stellungen und die Hardware- TC natürlich auch immer auf die Gegnerschaft an. Gelöste Stellungen kann man zahlenmäßig immer beliebig vergleichen, aber was die Ergebnisse bei welcher Hardware- TC an Relevanz haben, das richtet sich auch nach den Teilnehmern.
So ist' nach 500 Partien gegen Zappa ausgegangen:

Score of ZappaMexicoII vs monty-1.0: 157 - 237 - 106 [0.420]
Elo difference: -56.1 +/- 27.3, LOS: 0.0 %, DrawRatio: 21.2 %
500 of 500 games finished.

Wenn ich noch einmal wie oben nachfragen darf
Zitat:

Was ist eigentlich aus deinen eigenen SF- MCTS- Versuchen geworden, Jörg?
Parent - By Jörg Oster Date 2024-06-05 19:22 Upvotes 1
Peter Martan schrieb:

...
Wenn ich noch einmal wie oben nachfragen darf
Zitat:

Was ist eigentlich aus deinen eigenen SF- MCTS- Versuchen geworden, Jörg?



Sorry für die späte Antwort ...
Der Versuch ist quasi in den Kinderschuhen stecken geblieben und ich weiß zur Zeit nicht,
ob ich da überhaupt noch Zeit investieren soll.
- - By Peter Martan Date 2025-12-02 09:18 Edited 2025-12-02 10:06
Ein neues Prerelease:

https://github.com/official-monty/Monty/releases/tag/prerelease-latest

Eine um einen Tag jüngere Version spielt übrigens gerade im TCEC S29 Category 1 Playoff mit.
Parent - By Peter Martan Date 2025-12-02 11:36
Uho 2024 900-990cp 6mvs., single thread (3.5GHz) 3'+1":

Score of Monty251201 vs Wasp7.07: 117 - 172 - 211 [0.445]
Elo difference: -38.4 +/- 23.2, LOS: 0.1 %, DrawRatio: 42.2 %
500 of 500 games finished.

Sowohl in diesem head to head match gegen Wasp als auch im Stellungstest ein kleiner Fortschritt, in letzterem werden von den 256 Stellungen 3 mehr gelöst (100 statt 97), die +10 StatTS- Elo bei +-2 error kommen also hauptsächlich von den besseren solution time values und zum Teil wohl auch vom etwas schnelleren compile (v4 statt v3) und der 4.3GHz CPU statt der 3.5, diese ältere hat hingegen im Match gegen Wasp noch einmal gespielt, weil ich von der Engine kein avx512- compile habe.
Parent - - By Peter Martan Date 2025-12-05 12:27 Edited 2025-12-05 12:30
Zitat:

Eine um einen Tag jüngere Version spielt übrigens gerade im TCEC S29 Category 1 Playoff mit.

Gleich die erste Partie daraus:

https://tcec-chess.com/live.html#div=cat1p&game=1&season=29

Mit eingefügter Gegenpartie (Zitieren oder C8):

Event:
Ort:
Datum:

Weiss:
Schwarz:

Ergebnis
Board


Torch spielt in diesem Match übrigens auch erstmals auf TCEC mit.
Parent - - By Jörg Oster Date 2025-12-05 15:24
Wobei besonders auffällt, dass Monty schon sehr früh, hier im 15. Zug, eine Gewinnbewertung von +50.00 ausspuckt.
Monty 'weiß' also schon sehr früh, dass die Partie gewonnen ist.

Ob das jeder so gut findet, vermag ich nicht zu beurteilen,
es schaut aber schon ziemlich spektakulär aus ... 

Von Torch darf man wohl erwarten, dass sie ganz oben mitspielt.
Parent - By Peter Martan Date 2025-12-05 15:57 Edited 2025-12-05 16:09
Jörg Oster schrieb:

Wobei besonders auffällt, dass Monty schon sehr früh, hier im 15. Zug, eine Gewinnbewertung von +50.00 ausspuckt.
Monty 'weiß' also schon sehr früh, dass die Partie gewonnen ist.

Ob das jeder so gut findet, vermag ich nicht zu beurteilen,
es schaut aber schon ziemlich spektakulär aus ... 

Naja, vor dem 14...Db4+? waren's bei Monty auch "erst" 3.10 Bauern und bei SF 1.91, danach sind 50 vielleicht schon "etwas überdeutlich formuliert" (), aber SF springt auch noch ein bisschen auf 2.38. Lc0 mit BT5 ist ebenfalls stärker begeistert, von 2.16 auf 5.22, könnte schon sein, dass sich hier eine gewisse Verwandtschaft zwischen PUCT von Lc0 und MCTS von Monty in der Eval bemerkbar macht.
Jörg Oster schrieb:

Von Torch darf man wohl erwarten, dass sie ganz oben mitspielt.

Alles andere wäre eine herbe Enttäuschung für chess.com, denke ich.
Up Topic Hauptforen / CSS-Forum / Neue MCTS-Engine Monty

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill