Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Top-18-Engineturnier - Statistiken
- - By Klaus Wlotzka Date 2019-01-31 20:10 Edited 2019-01-31 20:37 Upvotes 4
Hallo Zusammen,

ich habe ein doppelrundiges Turnier mit 18 Top-Engines spielen lassen und einige Statistiken dazu erstellt welche den Turnierverlauf jeder Engine zeigen sowie individuelle Statistiken. Interessant ist die Statistik zu den Gewinnpartien.

Erwartungsgemäß konnte Stockfish das Turnier gewinnen  und das ohne Partieverlust, LC0 erreichte Platz 4 während Komodo nicht so richtig in Fahrt gekommen ist. Sehr stark spielt Etheral mit nur einer Niederlage. Hier mal die Schlusstabelle:



Gespielt wurde unter folgenden Testbedingungen



Hier ein paar grundsätzliche Turnierinformationen:



So sah es nach Beendigung der Hinrunde aus:



Wenn man nur die Ergebnisse der Rückrunde betrachtet ergibt sich folgendes Bild:



Sicher interessant, eine Rangliste für die Erfolgsquote als Anziehender und als Nachziehender. Zu erkennen ist deutlich, dass Stockfish und LC0 mit Weiß und Schwarz fast den gleichen Score erzielten:



Komodo startete schlecht und erreichte während des gesamten Turniers nicht sein Niveau, schön zu sehen an folgender Grafik:



Nachfolgend die Rangliste bezogen auf die frühe Gewinnführung. maßgebend ist die Anzahl der Züge ab dem ersten selbst errechneten Zug bis zur Anzeige einer Bewertung von +4.00 bzw. +20.00 bei LC0. Interessant das Etheral hier ganz oben liegt. Rückschlüsse lassen sich auch aus dem Wert von der Gewinnanzeige bis zum endgültigen Partieschluss ziehen. Dies werde ich bei Gelegenheit noch nachholen.



Viele Grüße

Klaus
Parent - - By Reinhold Stibi Date 2019-02-01 08:27
Hallo,

sehr schöne Gestaltung !

Lc0 könnte sich vielleicht mir einer stärkeren Grafikkarte noch weiter nach vorne platzieren.

Gruß
Reinhold
Parent - By Klaus Wlotzka Date 2019-02-01 16:16 Upvotes 1
Reinhold Stibi schrieb:

Hallo,

sehr schöne Gestaltung !

Lc0 könnte sich vielleicht mir einer stärkeren Grafikkarte noch weiter nach vorne platzieren.

Gruß
Reinhold


Hallo Reinhold,

ja , auf die Aufbereitung der Ergebnisse lege ich immer besonderen Wert.

Nun LC0 war mit einer Leela-Ratio von 0,38 vielleicht etwas im Nachteil. Aber so ist es nun mal, ich werde sicher nicht meine Hardware wegen einer einzigen Engine aufrüsten.

Es ist ohnehin schwierig zu beurteilen, ob die Hardwarebedingungen zwischen NN- und AB-Engines ausgewogen sind. Ob das Leela-Ratio von 1 tatsächlich eine Ausgewogenheit wiedergibt, ist wohl eher eine grobe Annahme. Von daher nehme ich auf diesen Punkt nur bedingt Rücksicht. Ich habe die AB-Engines daher anstelle mit 4 Threads + Pondern nur mit 2 Threads + Pondern antreten lassen.

Viele Grüße

Klaus
Parent - - By Benno Hartwig Date 2019-02-02 06:10 Edited 2019-02-02 06:24
Thanx! Und tolle Präsentation hier!!

Interessant fand ich besonders auch die "Rangliste für frühe Gewinnführung".
Hier liegt ja Etherreal vor Stockfish.

Nachdem ich zunächst dachte:
"SF hat mehr gewonnen, da wird man ihm ja nicht vorwerfen können, dass dies nicht ganz so hoch geklappt hat!"
fand ich das dann aber eigentlich doch überraschend, denn Gewinnführungen und besonders schnelle Gewinnführungen erwarte ich doch vor allem dann, wenn eine Engine den Gegnern deutlich überlegen ist.
Und SF ist doch dem Durchschnitt seiner Gegner deutlicher Überlegen als Etherreal.

Eigentlich ist es wohl doch überraschend, dass Etherreal hier vorn lag, und dies mit durchschnittlich mehr als 5 Zügen vor SF!
Aber ok, was die Engine so als Bewertung anbietet, ist ihre Privatsache, und Lc0 wurde hier auch mit einer anderen Elle gemessen. Dass aber Etherreal ggf. auch eine deutlich abweichende Bewertungsscala haben könnte, war mir nie aufgefallen. Euch?

Benno

PS:
Interessant auch die "Züge bis Partieende" von Lc0:
Lc0 hat ja durchaus auch eine ganze Menge gewonnen! Sie hat dafür aber jeweils mehr als 15 Züge mehr(!) gebraucht als die anderen guten Engines.
Sie gibt gute Stellungen durchaus nicht leicht wieder her, ja, sie führt sie auch erfolgreich zum Sieg, ja, aber sie braucht schon manchmal recht lange, um aus ihnen wirklich Honig zu saugen.
Parent - - By Klaus Wlotzka Date 2019-02-02 10:54 Edited 2019-02-02 10:59
Benno Hartwig schrieb:

Thanx! Und tolle Präsentation hier!!

Interessant fand ich besonders auch die "Rangliste für frühe Gewinnführung".
Hier liegt ja Etherreal vor Stockfish.

Nachdem ich zunächst dachte:
"SF hat mehr gewonnen, da wird man ihm ja nicht vorwerfen können, dass dies nicht ganz so hoch geklappt hat!"
fand ich das dann aber eigentlich doch überraschend, denn Gewinnführungen und besonders schnelle Gewinnführungen erwarte ich doch vor allem dann, wenn eine Engine den Gegnern deutlich überlegen ist.
Und SF ist doch dem Durchschnitt seiner Gegner deutlicher Überlegen als Etherreal.

Eigentlich ist es wohl doch überraschend, dass Etherreal hier vorn lag, und dies mit durchschnittlich mehr als 5 Zügen vor SF!
Aber ok, was die Engine so als Bewertung anbietet, ist ihre Privatsache, und Lc0 wurde hier auch mit einer anderen Elle gemessen. Dass aber Etherreal ggf. auch eine deutlich abweichende Bewertungsscala haben könnte, war mir nie aufgefallen. Euch?

Benno

PS:
Interessant auch die "Züge bis Partieende" von Lc0:
Lc0 hat ja durchaus auch eine ganze Menge gewonnen! Sie hat dafür aber jeweils mehr als 15 Züge mehr(!) gebraucht als die anderen guten Engines.
Sie gibt gute Stellungen durchaus nicht leicht wieder her, ja, sie führt sie auch erfolgreich zum Sieg, ja, aber sie braucht schon manchmal recht lange, um aus ihnen wirklich Honig zu saugen.


Hallo Benno,

mir ist Ethereal schon beim Betrachten der Partie aufgefallen. Und die Bewertung von Ethereal ist sehr sicher, ich habe keine Partie gesehen, welche bei deutlich positiver Bewertung von Ethereal nicht zum Sieg geführt hat. Die Engine erkennt sehr früh verheißungsvolle Gewinnfortsetzungen, die Gegner tappen dann meist noch im Dunkeln. Dies wiederum erkennt man daran, dass Ethereal relativ lange braucht, um die Partie dann auch zu beenden. Dies liegt aber nicht an Ethereal sondern an den Gegner, weil sie eben erst viel später erkennen, dass es bereits zu Ende geht. Ethereal ist ebenfalls sehr schwer zu bezwingen, dies gelang Houdini erst in der 31. von 34. Runde.

Dieser Umstand war der Grund, warum ich die Statistik "Züge von Gewinn bis Partieende“ überhaupt eingepflegt habe.

LC0 ist auch so ein Kandidat und dies im besonders krassen Maße. LC0 hat schon längst erkannt, dass die Partie gewonnen ist. Laviert dann sehr lange herum und verbessert langsam aber sicher die Position. Manchmal ist es auch zuviel des Guten und der Gegner entweicht in ein Remis. Bei LC0 ist es aufgrund der hohen Bewertung schwierig auszumachen, wann für LC0 ein Gewinn unausweichlich ist. Ich habe den Wert mit etwa +20.00 ausgemacht. Dies ist der Zeitpunkt wo die Gegner meist bei -3.00 bis -4.00 liegen.

Man kann aus derartigen Statistiken sehr viel über die verschiedenen Engines erfahren. Mich interessiert nicht das reine Endresultat, meist ist es ohnehin klar, wie sich die Rangfolge einstellt. Viel interessanter ist die Auswertung des Turniers, dabei muss ich mir die Partien nicht mal unbedingt ansehen sondern nur ein paar bestimmte Daten daraus entnehmen. Derartige Statistiken werde ich noch weiter ausbauen um noch mehr Besonderheiten der Engines auszumachen.

Viele Grüße

Klaus
Parent - - By Klaus S. Date 2019-02-02 11:27
Super Arbeit Klaus, sehr schöne Präsentation.
Parent - By Klaus Wlotzka Date 2019-02-02 15:26
Klaus S. schrieb:

Super Arbeit Klaus, sehr schöne Präsentation.


Hallo Klaus,
Danke für die Blumen. Damit ich das in dieser Form präsentieren kann, habe ich mir ein universelles
Excelprogramm gebaut und werde es für weitere, vielleicht ähnlich interessante
Statistiken weiter ausbauen. Nächste Ausbaustufen gilt den Remispartien und den Partien, welche trotz deutlichen Vorteil nicht zum Sieg führten. Das Programm ist so aufgebaut, dass die Rundenpartien automatisch erstellt werden, zudem
wird nach jedem Spieltag eine Tabelle und alle Statistiken erstellt. So kann man das Turnier perfekt verfolgen.

Somit kann ich das Programm bei zukünftigen Turnieren für eine schnelle und umfassende
Analyse einsetzen. Ich muss während des Turniers nur einige Daten aus den Partien entnehmen.

Weitere Turniere mit zusätzlichen Statistiken folgen.

Grüße

Klaus
Up Topic Hauptforen / CSS-Forum / Top-18-Engineturnier - Statistiken

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill