Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / TCEC Superfinal: Falsche Settings für Allie
- - By Stefan Pohl Date 2019-10-06 15:59 Edited 2019-10-06 16:06 Upvotes 2
Der Allie-Autor ("Gonzochess") hat sich beklagt, daß die Settings für Allie im Superfinal falsch sind. Und er hat Recht. Siehe Discord, TCEC-Kanal:
https://discordapp.com/channels/479003439125495819/503252511134842885

Die Settings sollten sein: Hash=7168 und TreeSize=7168. Das wurde in den UCI-Optionen auch korrekt so gemacht. Aber leider wurden außerdem andere (falsche) Werte für diese beiden Parameter über die CommandLine an Allie übergeben (--hash 14336 --treeSize 4096) und diese Angaben "überschreiben" sozusagen die UCI-Optionen...
Das hat nun die fatale Folge, daß die TreeSize (für die lange TCEC-Bedenkzeit und die starke Hardware) zu klein ist. Ist das Memory für den Tree aber voll, dann zieht Allie. Und damit zieht Allie eben oft zu schnell. Das erklärt auch, warum Allie im Superfinal oft noch so viel Zeit auf der Uhr hat. Tja. Ob und wieviel Punkte das kostet, ist natürlich nicht so ohne weiteres klar. Trotzdem unschön.

Hier der Auszug aus dem config-file:

{
        "name": "AllieStein v0.5-dev_7b41f8c-n11",
        "command": "InBetween.exe",
        "restart": "on",
        "rating": "3813",
        "options": [
            {
                "name": "GPUCores",
                "value": "2"
            },
            {
                "name": "Hash",
                "value": "7168"
            },
            {
                "name": "MoveOverhead",
                "value": "2000"
            },
            {
               "name": "TreeSize",
                "value": "7168"
            },
            {
                "name": "MaxBatchSize",
                "value": "160"
            },
            {
                "name": "UseFP16",
                "value": "true"
            },
            {
                "name": "SyzygyPath",
                "value": "C:/Tb"
            },
            {
                "name": "CommandLineOptions",
                "value": "--gPUCores 2 --hash 14336 --treeSize 4096 --maxBatchSize 160 --useFP16 true --moveOverhead 2000 --syzygyPath C:/Tb"
            }
        ],
        "protocol": "uci",
        "workingDirectory": "C:/TCEC/Engines/AllieStein/",
        "checksum": [
            {
                "filename": "$command0",
                "md5": "2326770352ae30bffe3e340f7d0fdf3a"
            }
        ],
        "checksum_gpu": [
            {
                "filename": "allie.exe",
                "md5": "a600b4fa2378105d89d27ed836b643f5"
            },
            {
                "filename": "20x256SE-jj-9-swa-27500000.pb.gz",
                "md5": "3df08ee3286a9604c8868f5228012933"
            }
        ]
    },
Parent - - By Ingo Althöfer Date 2019-10-06 16:13
Hallo Herr Pohl,

danke für die Informationen. Das is ja wirklich schrecklich -
und nach Partie 60 liegt Allie mit 3-9 hinten.

Wer trägt denn die Verantwortung für die falschen Parameter?

Ingo Althöfer.
Parent - - By Stefan Pohl Date 2019-10-06 16:25 Edited 2019-10-06 16:37
Ingo Althöfer schrieb:

Hallo Herr Pohl,

danke für die Informationen. Das is ja wirklich schrecklich -
und nach Partie 60 liegt Allie mit 3-9 hinten.

Wer trägt denn die Verantwortung für die falschen Parameter?

Ingo Althöfer.


Also schrecklich ist sicherlich übertrieben, die TreeSize hat immer noch 57% der Größe, die vorgesehen war. Und die vorgesehene Größe war sicherlich mit etwas "Luft" kalkuliert (bzgl. der TCEC Superfinal Bedenkzeit plus Hardwaregeschwindigkeit). Insofern ist das m.E. keine Vollkatastrophe. Wie schon gesagt, es ist schwer abzuschätzen, wieviel Spielstärke dieser Lapsus wirklich kostet. Allie hätte das Superfinal m.E. sowieso verloren, auch mit korrekten Settings. Mein Testrun der Superfinal-Allie läuft ja inzwischen (ich hatte zunächst die ältere 0.5dev.exe irrtümlich getestet - auch ich mache Fehler) und nach nunmehr über 800 (von 3000) Partien sieht es so aus, als wenn Allie so bei ca. 3450 SPCC-Elo liegt (Vergleich: Stockfish 190622 (also nicht wirklich neue Version!) hat 3515 Elo, also +65 Elo mehr als Allie, die neueste Stockfish-Version sollte nochmal knapp +15 Elo besser sein - dann wären es schon ca. +80 Elo Differenz. Natürlich wird diese mit der langen TCEC-Bedenkzeit geringer, weil die Remisqouten viel höher sind, aber mit so einem Spielstärkeunterschied sollte es für Allie unmöglich sein, einen 100 Partien Wettkampf zu gewinnen):
https://www.sp-cc.de/lc0-testing.htm

Verantwortlich sind natürlich die TCEC-Veranstalter. Dort hätte auffallen müssen, daß die Paramter Hash und TreeSize sowohl über die UCI-Optionen als auch über die CommandLine gesetzt werden, was schon mal per se sinnlos ist (warum Parameter doppelt setzen?), und vor allem, daß die Werte voneinander abweichen.

PS: Gleich wird Allie wohl 3-10 hinten liegen...
Parent - By Ingo Althöfer Date 2019-10-06 16:41
Stefan Pohl schrieb:
Also schrecklich ist sicherlich übertrieben, ...
...Verantwortlich sind natürlich die TCEC-Veranstalter.
PS: Gleich wird Allie wohl 3-10 hinten liegen...


Vielleicht bin ich hysterisch, aber 3-10 nach 61 Partien
sehe ich schon als Katastrophe an. Auch in Partie 61 hat
nach 26 Zügen Allie noch 1h:47m Restzeit und Stockfish
nur 1h:15m.

Und Allie hat in etlichen Partien so viel taktischen Mist fabriziert.

Vielleicht sollte ich Baldrian-Tropfen nehmen und mich
ins Bett legen.

Ingo Althöfer.
Parent - - By Stefan Pohl Date 2019-10-06 16:43 Edited 2019-10-06 16:46
Schaut man sich den Zeitverbrauch von Allie im TCEC an, so gibt es dort diverse "Insta-Moves", also Züge, wo praktisch ohne Bedenkzeit von Allie gezogen wurde. In Partie 61, die jetzt gerade läuft, passiert das schon im zweiten berechneten Zug von Allie (9.Se2). Das kann aber kaum an der etwas zu kleinen TreeSize liegen. Und muß auch kein Bug sein - von Houdini kennt man ähnliches Verhalten.
Sehr seltsam ist aber, daß in dieser Partie Allie in Zug 13,14,15 und 16 am Stück quasi sofort gezogen hat. Das kann nun keinesfalls an der etwas zu geringen TreeSize liegen.
Parent - - By Benno Hartwig Date 2019-10-07 08:16
Waren denn gerade diese "Insta-Moves" die verlustbringenden Züge?
Dass  eine Engine meint "dieser Zug muss es sein, ein anderer macht überhaupt keinen Sinn!"  muss ja kein Fehler sein.
Immerhin hat sie ja den Speicher voll mit Analyseergebnissen zu Stellungen, die sie bei der letzten Zugberechnung betrachtete.
Parent - By Stefan Pohl Date 2019-10-07 09:38
Benno Hartwig schrieb:

Waren denn gerade diese "Insta-Moves" die verlustbringenden Züge?
Dass  eine Engine meint "dieser Zug muss es sein, ein anderer macht überhaupt keinen Sinn!"  muss ja kein Fehler sein.
Immerhin hat sie ja den Speicher voll mit Analyseergebnissen zu Stellungen, die sie bei der letzten Zugberechnung betrachtete.


Ja, schon. Wie gesagt, auch Houdini macht mal 1 oder auch 2 Züge hintereinander aus den Hashtables heraus gewissermaßen a tempo. Aber nicht 4 Züge in Folge. Das ist schon sehr merkwürdig.
Parent - - By Ingo Althöfer Date 2019-10-06 16:46
Frage: Werden denn die Settings vor Ende der 100 Partien
korrigiert werden?

Ingo Althöfer.
Parent - By Stefan Pohl Date 2019-10-06 16:49
Das glaube ich nicht. Bei Stockfish wurde in der Premier Division auch die nicht korrekte .dll-Datei bis zum Ende so belassen, sodaß ein dritter Crash zur Disqualifikation von Stockfish geführt hätte.
Parent - - By Michael Scheidl Date 2019-10-07 16:23 Edited 2019-10-07 16:25
Nach einer Auskunft die ich soeben im Chat erhalten habe, sind die Settings zwischen den Partien 44 und 45 korrigiert worden: --hash 14336 --treeSize 4096 (ersichtlich durch Mouseover über den Königsfigurinen bei den Enginelogos)

Das ist mir etwas unklar, da es ja bedeuten würden daß die 7168 / 7168 die eigentlich unerwünschten waren...
Parent - - By Ingo Althöfer Date 2019-10-07 17:12
Hallo Herr Scheidl, hallo Foristen,

Michael Scheidl schrieb:
Nach einer Auskunft die ich soeben im Chat erhalten habe, sind die Settings zwischen den
Partien 44 und 45 korrigiert worden: ...

in den Partien 45 bis 66 hat Stockfish 5 Partien gewonnen und
keine einzige verloren.

Was sagt uns das?
Ist die Korrektur falsch gelaufen?

Ingo Althöfer.
Parent - By Eduard Nemeth Date 2019-10-08 00:28 Upvotes 1
Man muss natürlich bedenken dass Allie noch sehr jung ist. Die Engine wurde erst im März 2019 offiziell vorgestellt.
Und sie wird aus Fehlern bestimmt lernen! Das Zeitmanagement wird bestimmt besser werden, und die taktischen Fehler
wird sich der Autor bestimmt auch anschauen. Also, ich finde es klasse wie diese Engine schon jetzt spielt. Lc0 ist
jedenfalls langweiliger geworden.
Parent - - By Peter Martan Date 2019-10-08 07:17 Upvotes 1
Und jetzt läuft ein "Superfinal 70 resume ", der Stand in der Tabelle wird mit 0 -0 angezeigt und die Runde 1.1.
Parent - - By Ingo Althöfer Date 2019-10-08 08:33
Peter Martan schrieb:
Und jetzt läuft ein "Superfinal 70 resume ", der Stand in der Tabelle wird mit 0 -0 angezeigt und die Runde 1.1.


Und vor allem spielen sie in Partie 1
Giuoco Pianissimo

Ob das ein Zeichen an der Wand ist?
Ingo  Althöfer.
Parent - By Peter Martan Date 2019-10-08 08:37
Naja, leisest ist aber durch sang- und klanglos noch zu überbieten.
Parent - - By Stefan Pohl Date 2019-10-08 08:46 Edited 2019-10-08 08:49
Peter Martan schrieb:

Und jetzt läuft ein "Superfinal 70 resume ", der Stand in der Tabelle wird mit 0 -0 angezeigt und die Runde 1.1.


Ja, es scheint so, als ob sie das Superfinale neu gestartet hätten. Auf discord steht dazu im TCEC Bereich bisher allerdings nichts. Merkwürdig.
Parent - - By Peter Martan Date 2019-10-08 08:54
Und die TC-Angabe ändert sich auch dauernd. Von 36'+10" über 29'+10", jetzt sind's gerade 105'+10". Ich hab' immer nur zu kurz geschaut, um sagen zu können, ob das vielleicht überhaupt jedes Mal neue Partien waren oder nicht. Das Ganze schaut mir nach einem Testlauf aus.
Parent - By Stefan Pohl Date 2019-10-08 09:11 Upvotes 1
Peter Martan schrieb:

Und die TC-Angabe ändert sich auch dauernd. Von 36'+10" über 29'+10", jetzt sind's gerade 105'+10". Ich hab' immer nur zu kurz geschaut, um sagen zu können, ob das vielleicht überhaupt jedes Mal neue Partien waren oder nicht. Das Ganze schaut mir nach einem Testlauf aus.


Lese live im TCEC-Chat, daß es wohl in der Nacht Vebindungsabbrüche zum GPU-Server gab und jetzt an der Stelle weitergespielt wird. Also wohl kein Neustart des Superfinals. Alles sehr verwirrend.
Parent - By Guenter Stertenbrink Date 2019-10-06 18:07 Edited 2019-10-06 18:45
Allie ist damit (3450 sp-cc Elo) 13 Elo besser in deiner Liste als Lc0-32930, welche im 14.Superfinale
mit 49.5:50.5 gegen Stockfish 190203 unterlag.
Der derzeitige StockFish ist laut https://github.com/glinscott/fishtest/wiki/Regression-Tests
27 Elo besser und nach https://nextchessmove.com/dev-builds etwa 15 Elo besser.
Das macht dann einen StockFish Vorteil von 5-17 Elo.

----------------------

Und 37 Elo schwaecher als Lc0-610, vom 15.Superfinale, welche 53.5-46.5 gegen
Stockfish 19050918 gewann (+24) , der aktuelle Fisch ist hier 18 bzw. 11 Elo besser
nach obigen Listen.Das macht einen StockFish Vorteil von 24-31 Elo
Im Durchschnitt also 19 Elo bei TCEC-Konditionen, angenommen Allie
scaled so wie Leela.

------------------------------

Und 27 Elo schwaecher als Lc0 mit demselben Netz nach http://ccrl.chessdom.com/ccrl/404/
Up Topic Hauptforen / CSS-Forum / TCEC Superfinal: Falsche Settings für Allie

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill