Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Komodo-Dragon 3 (Review)
- - By Walter Eigenmann Date 2022-05-27 08:21
.

Ich habe mir ein paar Gedanken gemacht über den neuen Komodo-Dragon 3 von Chessbase - und sie hier niedergeschrieben:
https://glarean-magazin.ch/2022/05/27/computerschach-komodo-dragon-3-bei-chessbase-erschienen-schachrezensionen-engine-programme/

Die mitgelieferten "Personalities" sind interessant.
Ich habe mich erst mit "Endgame" beschäftigen können - und das hat mich (bis jetzt) nicht vom Hocker gehauen:
https://glarean-magazin.ch/2022/05/27/computerschach-komodo-dragon-3-bei-chessbase-erschienen-schachrezensionen-engine-programme/#Exkurs-Die-Personality-8222Endgame8220

Hat's hier evtl. Komodo-3-Anwender, die schon Tests mit diesen acht Dragon-"Personalities" gemacht haben und berichten können?

Ein kleines Turnierchen mit dem jüngsten Dragon wurde ebenfalls aufgesetzt:
https://glarean-magazin.ch/2022/05/27/computerschach-komodo-dragon-3-bei-chessbase-erschienen-schachrezensionen-engine-programme/#Dragon-3-gegen-den-Rest-der-Engine-Welt



Gruss: Walter

.
Parent - - By Klaus Ellers Date 2022-05-28 09:28 Upvotes 1
Hallo Walter,

auch wenn es nicht exakt zu deiner Frage (Dragon 3) passt, ist dieser Link vielleicht ja trotzdem von Interesse:

https://www.sp-cc.de/experiments.htm
Stephan Pohl hat dort die Personalities von Dragon 2.5 einem Test unterzogen, siehe Abschnitt:

2021/11/24 Experimental RoundRobin tournament with 6 different playing-styles of KomodoDragon 2.5 (Default, Defensive, Positional, Human, Active, Aggressive), each style combined with MCTS on and off = 12 engine-settings.


Nach meinem amateurhaften Bauchgefühl: vermutlich sind die Unterschiede in Bezug auf die personalities von 2.5 zu 3.0 nicht besonders groß.
Da ich keinen Dragon besitze, habe ich selbst noch keine Untersuchungen machen können.
Parent - By Walter Eigenmann Date 2022-05-28 10:00
Ja, interessant - v.a. die erdrückende Dominanz der Default-Einstellungen.
Mit Engine-Turnieren ist allerdings nicht viel herauszukriegen im Hinblick
auf die schachlichen Herangehensweisen der einzelnen Personalities.
Hier müsste deren Analyse-Verhalten in vielen konkreten Stellungen
herangezogen werden, um ihre Unterschiede zu einzuordnen.
Parent - By Chess Player Date 2022-05-28 10:38
Danke für den Link. Stefan hat sich hier leider zurückgezogen. 
Parent - - By Peter Martan Date 2022-05-28 09:52 Edited 2022-05-28 10:19
Danke, Walter!

Was mich an deinem Turnier- Ergebnis eigentlich überrascht (innerhalb eines statistischen Überraschungs- Fensters): dass die Agressive Personality sogar vor Default liegt, weil ja jede dieser Personalities die NNUE- Eval außer Kraft setzt. Aus der Readme von Dragon 3:

Zitat:
When in a non-default Personality, Dragon uses the traditional evaluation and not the NNUE evaluation.


Hab' auf die Schnelle keinen Download- Link zu den Partien gesehen, hättest du vielleicht einen?

Wie auch immer, prima Rezension!

Edit: Ich persönlich finde den buchlosen Match- Ansatz durchaus einen sehr interessanten, die Zeiten, in denen das verpönt war, sollten meiner Meinung nach auch schon lange wieder vorbei sein, erstens hat sich bei wirklich großen Partiemengen ohnehin noch kaum mal jemand die Partien wirklich angesehen, und zweitens (eigentlich erstens) sind's, auch meiner Erfahrung nach, heutzutage eher viel weniger Dublettten als früher, vor allem seit NN und NNUE und wenn man entsprechend zahlreiche und verschieden Engines spielen lässt.
Und wenn in großen Partiezahlen thematische Dubletten vorkommen: so what, muss man sich nur um das weniger einzelne Partien anschauen

Dementsprechend aus deinem Artikel dazu:
Zitat:
Interessant ist, dass dieses Turnier nur gerade mal zwei Partie-Doubletten generierte, obwohl keine Opening Books im Spiel waren, die das Eröffnungsverhalten der Motoren gespreizt hätten. Trotzdem verzeichnet die Eröffnungs-Palette einen überraschend weiten ECO-Range:


Das mit dem Spreizen der Elo, das der Tester liebstes Kind ist mittlerweile, sehe ich persönlich beim Match von der Grundstellung auch sogar eher gegeben als bei einem von wirklich ausgeglichenen Eröffnungsstellungen aus, ist in der Grundstellung doch der Anzugsvorteil von Weiß noch vorhanden, nach ein paar Buchzügen, die nicht absichtlich eine Seite bevorteilen, ist er teilweise ausgeglichen und damit die Remishäufigkeit eher noch größer als von der Grundstellung aus.
Parent - - By Walter Eigenmann Date 2022-05-28 10:23
Peter Martan schrieb:
Was mich an deinem Turnier-Ergebnis eigentlich überrascht (innerhalb eines statistischen Überraschungs- Fensters): dass die Agressive Personality sogar vor Default liegt, weil ja jede dieser Personalities die NNUE- Eval außer Kraft setzt.

Hoppala - ohne es zu wissen hast du jetzt einen fetten Käfer beim "Fritz"-GUI aufgescheucht!

Denn das hat mich auch überrascht, nun schaute ich nochmals genauer hin und sehe:
Der User kann zwar die acht zusätzlichen mitgelieferten/installierten Personalities direkt im Engine-Fenster (!) namentlich laden,
aber untersucht man dann die Einstellungen der betr. Engine (---> Rechtsklick auf Engine-Namen
im Berechnungsfenster ---> "Erweitert"), ist zu sehen, dass "Personalty" immer noch auf "Default" steht...

Bis das CB berichtigt hat, ist also halt die Default-Engine zu laden und dann die gewünschte Personality explizit einzustellen...

Für mich ist das persönlich erst recht nervig: Jetzt kann ich meinen entspr. "Exkurs" im Artikel umschreiben...
https://glarean-magazin.ch/2022/05/27/computerschach-komodo-dragon-3-bei-chessbase-erschienen-schachrezensionen-engine-programme/#Exkurs-Die-Personality-8222Endgame8220

... und das Turnier nochmals aufsetzen
https://glarean-magazin.ch/2022/05/27/computerschach-komodo-dragon-3-bei-chessbase-erschienen-schachrezensionen-engine-programme/#Turnier-mit-16-Top-Engines

Danke fürs genaue Beobachten - Gruss: Walter

.
Parent - - By Peter Martan Date 2022-05-28 10:34 Edited 2022-05-28 10:59
Ja, tut mir leid, dass ich dir Arbeit gemacht habe, Walter, aber auch aus meinen eigenen Erfahrungen sind die Personalities im statistisch signifikanten Test eben schon um NNUE- Auswirkung schlechter (siehe auch Stefan Pohls Experimente, zu denen es auch schon einen Link hier gab), außer bei ganz bestimmten einzelnen Stellungen. Und ich habe wirklich viel mit Settings probiert, wie du weißt, gerade auch mit komodo, das ist bei dieser Engine ja eine schöne und lustige Spielwiese für sich.

Vor der Dragon- Ära hatte das noch mehr Sinn als danach, weil da ja auch die default- Eval "nur" eine hard coded one war. Heute sind all die hübschen Parameter, die sich direkt auf die Eval auswirken, nicht mehr wirksam , wenn man NNUE- Eval haben will.

Dafür hat Dragon mit seinen Contempt- Einstellungen etwas, was den Fischen seit NNUE fehlt, der von Dragon wirkt sich auch gemeinsam mit NNUE aus, die jüngeren SF dev.s haben gar keinen mehr als UCI- Option, weil er nur außerhalb des NNUE (Hybrid-)- Eval- Fensters wirken würde, wo er nur mehr eine geringe Rolle spielt, weil da die Eval ohnehin schon eine eines starken Vor- oder Nachteils ist.
Edit:
Walter Eigenmann schrieb:

Bis das CB berichtigt hat, ist also halt die Default-Engine zu laden und dann die gewünschte Personality explizit einzustellen...

Wenn du ein bestimmtes Setting für ein Engine- Match definiert hast (da kannst du ja mit Erweitert beim Wählen der Engine noch alles mögliche von default auf beliebig ändern, also ein Match- Setting definieren), bleibt's bei Dragon bei mir im Fritz 17 (14 übrigens auch, einen anderen hab' ich jetzt nicht extra probiert) schon mit dem Match- Einstellungen gespeichert und wirksam, so lange ich's nicht wieder ändere.
Parent - - By Walter Eigenmann Date 2022-05-28 10:53
.

Beim Turniere-Ausspielen mit Dragon-Personalities wird man keine Erkenntnisse gewinnen über letztere,
ausser dass sie (ohne NN) klar schlechter performen. Da müsste schon eine Fülle von entspr. Test-Stellungen her.
Was bei "Endgame" wahrscheinlich noch am einfachsten ist. Und für "Positional" gäbe es evtl. die "STS-Strategy" (?)

Daran sieht man mal wieder, wie dringend die Computerschach-Welt einen spezifischen, ausgeklügelten
Stellungstest bräuchte, der nicht statistische, sondern schachliche Einordnungen erlaubte...
Denn wer untersucht schon abertausende Partien - ausser natürlich Test-Autoren, die daraus ein paar hundert
repräsentative Aufgaben extrahieren...

.
Parent - By Chess Player Date 2022-05-28 10:58
Kräftig auf die Schulter klopf...
Parent - - By Walter Eigenmann Date 2022-05-28 11:03
Ja, wenn die Personality dann mal explizit bei "Erweitert" gewählt ist, bleibt sie auch - wäre ja noch schöner...

.
Parent - By Peter Martan Date 2022-05-28 12:18 Edited 2022-05-28 12:21
Ich meinte, über das Turnier hinweg, in dem du die Engine mit ihrem Setting gespeichert hast, auch wenn du's unterbrichst und unter demselben gespeicherten Matchnamen wieder startest.
Parent - - By Rainer Maikowski Date 2022-05-28 11:10
Übrigens funktioniert die Elo-Einstellung bei Dragon 3 überhaupt nicht. Hier ein Beispiel einer Partie gegen Stockfish 15 4`2".
Dragon 3 mit 10 Elo und 1 Threat, Stockfish default 14 Threats:
Event:
Ort:
Datum:

Weiss:
Schwarz:

Ergebnis
Board
Parent - - By Peter Martan Date 2022-05-28 12:32 Edited 2022-05-28 12:41
Wenn du eine Personality wählst, überschreibt die alle anderen Einstellungen, die du sonst so vornimmst, ich nehme also an auch die UCI- Elo, nur für den Fall, dass du eine Personality zusätzlich zu den Elo auch noch im Setting hattest.
Parent - - By Rainer Maikowski Date 2022-05-28 12:51
Hatte ich nicht! Nur die Veränderung der Elozahl auf 10.
So ist das jedenfalls keine Option!
Parent - - By Peter Martan Date 2022-05-28 12:57 Edited 2022-05-28 13:46
10 ist aber vielleicht auch eine Einstellung, die die Engine schon schlecht interpretieren kann. Habe keine Erfahrung mit diesem Feature.
Wieder aus der Readme:
Zitat:
The elo levels are based on self-play, play against rated engines, and some human data, but should not be assumed to be highly accurate, especially at lower levels since FIDE ratings don’t even go below 1000.


Und dass dir nicht am Ende derselbe Überseher passiert ist wie Walter, hast du die UCI- Elo eigens im für das Match neu zu definierenden Engine- Setting eingestellt, ja? Sonst lädt, wenn du auch vorher mit einem bestimmten Setting gespielt hast, das GUI die Engine aufs Neue mit ihren default- Einstellungen im Match.

Edit: das hat mich jetzt nicht ruhen lassen, hab auch mal eine Partie Dragon Elo 10 gegen SF dev. laufen lassen. Da fängt Dragon schon gleich mal mit 1.h4 an und nach 11 Zügen hat's das GUI adjudiziert

[Event "AMD, Blitz 10.0min+2.0sek"]
[Site "Dort"]
[Date "2022.05.28"]
[Round "1"]
[White "Dragon 3 by Komodo Chess, 64-bit"]
[Black "Stockfish 140522"]
[Result "0-1"]
[ECO "A00"]
[PlyCount "22"]
[TimeControl "600+2"]

1. h4 {-2.61/1 0 Beide letzter Buchzug} e5 {-0.79/39 40} 2. c3 {3.63/1 0 (c4)}
d5 {-0.64/37 15} 3. f3 {4.18/1 0 (d4)} Nf6 {-2.89/31 15} 4. b4 {1.52/1 0 (h5)}
Nh5 {-4.77/34 14} 5. Qc2 {2.53/1 0 (d3)} Be7 {-6.26/29 11} 6. g4 {2.07/1 0
(Nh3)} Bxh4+ {-9.89/29 9} 7. Kd1 {-2.57/1 0} Ng3 {-9.88/32 12} 8. Rxh4 {
1.44/1 0 (Bg2)} Qxh4 {-10.75/34 13} 9. Bb2 {1.54/1 0 (Bh3)} Qh1 {-12.86/33 35}
10. Ke1 {0.36/1 0 (Qd3)} Qxg1 {-18.62/24 9} 11. a4 {-11.43/1 0 (d3)} Qxf1# {
-#1/245 0} 0-1

Bei deiner Partie kann mit den 10 Elo was nicht gestimmt haben. Du hast auch nicht vergessen, das Häkchen bei UCI Limit Strength zu setzen? Das Einstellen des Elo- Wertes allein genügt nicht.
Parent - By Rainer Maikowski Date 2022-05-28 14:40 Upvotes 1
Danke für den Hinweis! Häckchen bei UCI Limit Strength - das habe ich vergessen!
Up Topic Hauptforen / CSS-Forum / Komodo-Dragon 3 (Review)

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill