Testrun von Stockfish 141221 durch

By Kurt Utzinger Date 2014-12-26 08:03 Upvotes 1

Hallo Stefan

Super, wie du alles auf der Homepage aufbereitest.

Gruss
Kurt

By Stefan Pohl Date 2014-12-26 11:41 Upvotes 1

Kurt Utzinger schrieb:

Hallo Stefan

Super, wie du alles auf der Homepage aufbereitest.

Gruss
Kurt

Sehr nett. Danke.

By Andreas Aicher Date 2014-12-26 12:57 Upvotes 1

dem Lob von Kurt kann ich mich nur anschliessen, sehr schön und informativ.

Andreas

By Gysi Date 2014-12-27 12:42

Auch ich möchte mich anschließen. Der Dank wird sicherlich nicht nach jedem Update und jedem Test explizit gezollt, aber ich weiß die Arbeit zu schätzen und finde die Erfassung der Entwicklung hochinteressant.

By Stefan Pohl Date 2014-12-27 14:00

Gysi schrieb:

Auch ich möchte mich anschließen. Der Dank wird sicherlich nicht nach jedem Update und jedem Test explizit gezollt,

Das wäre ja auch völlig übertrieben!

Mache das Ganze ja auch aus Eigeninteresse und Spaß an der Sache.

Gruß - Stefan

By Benno Hartwig Date 2014-12-27 07:42

Thanx again, Stefan!
Ich bin mal gespannt, wann die "normale" Stockfish-Spielstärkeweiterentwicklung es schafft, den ominösen (mysteriösen?) High-Jump vom 12.November zu erreichen und dann zu überflügeln.
Das kann wohl schon noch ein wenig dauern.
Benno

By Stefan Pohl Date 2014-12-27 09:41 Upvotes 1

Benno Hartwig schrieb:

Wird man sehen. Im Moment sind ja keine functional changes in der Pipeline. Ich bin immer noch unsicher, ob es sich wirklich um einen statistischen Ausreißer handelt, oder danach doch eine Regression verbaut wurde. Im Endless RoundRobin spielt die Version vom 12.11. immer noch so stark, das sie 50 Elo von Komodo 8 liegt (siehe meine Website) und mittlerweile hat sie dort insgesamt immerhin schon 637 Partien gespielt (mit 15'+3" auf 4 Cores).

Wie auch immer, ich nutze die Wartezeit auf weitere Patches, indem ich unter StockfischTestrun Bedingungen ein großes RoundRobin mit Komodo 8, Houdini 4, Gull 3, Fire 4, Equinox 3.3 mit je 1000 Partien pro Einzelbegegnung ausspiele. Diese Partien nutze ich dann in Zukunft als Datenbasis für weitere Stockfish-Tests, sowie Eloberechnungen durch Ordo, und Stockfish wird dann in absehbarer Zukunft gegen diese 5 Gegner getestet. Fire 3 und Rybka fliegen dafür dann raus. Bisher hatte ich als Datenbasis für meine Ordo-Kalkulationen ja Partienmaterial von Andreas Strangmüllers Bullet-Liste genutzt, aber das sind nur 250 Partien pro Begegnung und auch andere Eröffnungsvorgaben, als in meinen Stockfishtests. Somit hoffe ich mit dieser Maßnahme meine Testqualität weiter zu verbessern und ich kann dann in Zukunft bei den Stockfish-Eloergebnislisten auch die Eloergebnisse der Testgegner (also Komodo 8, Houdni 4, Gull 3, Fire 4 und Equinox 3.3) mit angeben. Damit man die Stockfishergebnisse besser in Relation zu den 5 besten Engines, die als Gegner fungieren, setzen und sehen kann.
Brauche allerdings noch ca. 1-2 Wochen dafür. Denke aber, jetzt über den Jahreswechsel ist die Gelegnheit für solchen Zusatzaufwand ganz günstig.

Stay tuned!

Stefan

By Hauke Lutz Date 2014-12-27 20:00

Es gibt keinen rationalen Grund ein Ergebnis anzuzweifeln, wenn gegen 5 Gegnern mit relativ geringem Verwandtschaftsgrad jeweils 1000 Partien gespielt wurden und die Basis-Bedenkzeit mindestens 30 Sekunden pro Engine und Partie betragen hat.
Sollte es irrationale Gründe gegeben haben, sollten sich diese nach dem Ergebnis des 15+3"-Turniers doch bitte endlich verabschiedet haben.

Durch die Arbeit mit Stefan bei der Erstellung der SALC-Eröffnungssets weiß ich, dass er beim Testen im positiven Sinne pinselig ist und kann deswegen bei der m.M.n. unbegründeten Kritik seit Mitte November leider nur mit dem Kopf schütteln.

@Stefan Pohl: Das du die "Winterpause" für eine weitere Verbesserung deines Tests nutzen möchtest ist Lobenswert.

Gruß
Hauke

By Benno Hartwig Date 2014-12-27 20:33 Edited 2014-12-27 20:46

Welche Zweifel kommen oder auch nicht kommen können, ist ganz sicher unabhängig davon, und welche Zeitvorgabe gewählt wurde und vermutlich auch weitgehend davon, welcher Engine-Verwandtschaftsgrad besteht.

Falls hier eine Engine bei 5000 Partien zufällig um 9 ELO zu stark bewertet wurde (aufgrund realer Erfolge), so ist das zwar nicht unvorstellbar unwahrscheinlich, OK, es ist aber schon ein ziemlich seltenes und damit ungewöhnliches Ereignis, dem wir hier dann beiwohnen.
Ich würde dann auch nach anderen Erklärungen suchen wollen.
- Hatte die Engine ggf. irrtümlich 2 Kerne?
- War ein Gegner irregulär gehandicapt?
- ...
Man kann es drehen und wenden, aber irgendetwas sehr Ungewöhnliches, Unwahrscheinliches ist hier tatsächlich passiert!
Auch, dass die Engine tatsächlich deutlich stärker war als die 4 Nachfolger wäre für mich solch ein ungewöhnliches, seltenes Ereingnis.

Benno

By Hauke Lutz Date 2014-12-27 23:11

Der Stockfish hat gegen 3 von 4 Engines relativ konstant besser gescort.
Gegen Fire 3 sogar etwas schlechter.

Damit entfallen die Fehler die der Laptop und der Turnierleiter theo. machen können, weil hierbei eine/alle Engine/s relativ stark betroffen gewesen wäre/n.

Hauke

By Benno Hartwig Date 2014-12-28 00:18 Edited 2014-12-28 00:25

> Damit entfallen die Fehler die der Laptop und der Turnierleiter theo. machen können,

Deine Schlüsse sind sehr deutlich zu schnell, nach meinem Geschmack und meiner Erfahrung!
Benno

By sachista Date 2014-12-27 23:31

Benno Hartwig schrieb:

Falls hier eine Engine bei 5000 Partien zufällig um 9 ELO zu stark bewertet wurde (aufgrund realer Erfolge), so ist das zwar nicht unvorstellbar unwahrscheinlich, OK, es ist aber schon ein ziemlich seltenes und damit ungewöhnliches Ereignis, dem wir hier dann beiwohnen.
[...]
Man kann es drehen und wenden, aber irgendetwas sehr Ungewöhnliches, Unwahrscheinliches ist hier tatsächlich passiert!
Auch, dass die Engine tatsächlich deutlich stärker war als die 4 Nachfolger wäre für mich solch ein ungewöhnliches, seltenes Ereingnis.

Benno

Das sehe ich ehrlich gesagt ganz anders. Die Errorbars (+- 7 ELO), die Stefan auf seiner Seite angibt sagen doch soweit ich weiss nur, dass die "eigentliche" Spielstärke mit ~95% Wahrscheinlichkeit in einem Bereich von 7 ELO über oder unter dem jeweiligen Wert liegt. Das bedeutet aber auch, dass sie eben zu 5% außerhalb dieses +-7 ELO-Bereichs liegen kann und 9 ELO wäre dann keine all zu große Abweichung. 5% wiederum bedeutet (vereinfacht gesagt, afaik), dass bei 20 Messungen ein Ausreißer zu erwarten ist, der kann mal nach oben und oder nach unten sein - in diesem Fall war er nun mal nach oben. Stefan hat (wenn ich das richtig gezählt habe) 25 Messungen in der SPCC-Liste gemacht, also ist es nicht überraschend, dass auch mal eine starke Schwankung dabei ist. Somit ist hier mMn nichts "Ungewöhnliches, Unwahrscheinliches" passiert.

Wäre die Engine hingegen tatsächlich stärker als die 4 Nachfolger fände ich das wiederum schon ein ungewöhnliches, seltenes Ereignis, denn dann wäre ja tatsächlich durch eine Code-Änderung einmal sehr viel Spielstärke hinzugefügt und dann direkt wieder entfernt worden. Das wiederum halte ich aber für sehr unwahrscheinlich. Ich denke eher, dass man sich hier wundert, dass der "1 von 20"-Fall tatsächlich mal eingetreten ist und versucht dann entsprechendes rein zu interpretieren statt es als ganz normale statistische Schwankung hinzunehmen.

By Benno Hartwig Date 2014-12-28 15:45 Edited 2014-12-28 15:58

> Somit ist hier mMn nichts "Ungewöhnliches, Unwahrscheinliches" passiert.

Du hast es inhaltlich schon richtig verstanden.
Das bedeutet aber auch, dass nur mit Wahrscheinlichkeit 2,5% ein Wert von 7 ELO zuviel oder mehr auftritt.
Und das bedeutet (sorry, ich kann im Moment nur schätzen), dass nur mit Wahrscheinlichkeit ca. 1% ein Wert von 9 ELO oder mehr zuviel auftreten sollte.

Dass hier also solch ein Ereignis aufgetreten wäre, welche nur eine Wahrscheinlichkeit 1% hat, versuchte ich zu umschreiben mit:
"zwar nicht unvorstellbar unwahrscheinlich, OK, es ist aber schon ein ziemlich seltenes und damit ungewöhnliches Ereignis"

Und dies bedeutet aus meiner Sicht, dass man bei der Suche nach einer Erklärung auch solche anderen Möglichkeiten betrachten sollte, die man eben noch für ausreichend unwahrscheinlich ansah, um sie zu ignorieren.
Jede Erklärung eben, deren Auftretenshäufigkeit wenigstens in der eigentlich sehr winzigen Größenordnung 1/100 liegt, sollte nun doch unbedingt ernsthaft angesehen werden.
Und darum kam ich auch auf das Handling der Durchführung.

Stefan meint, Fehler hier zu 100% ausschließen zu können. OK.
Sollte er es aber "nur" zu 99 % ausschließen können, hätte er so eine tatsächlich gleichwertige Erklärungsalternative ausgeschlossen!
Und sollte er es nur zu 99,9% ausschießen können, wäre der Ausschluss wohl immer noch zu leichtfertig. "Fehler" hätte immer noch 1/10 der Wahrscheinlichkeit von "Zufall".
Viel interessanter wäre aber wohl der Vergleich zu "ist wirklich so stark!"

Darum:
Es ist etwas sehr Unwahrscheinliches passiert. Wir sehen ja das Ergebnis.
Und wir können nur die möglichen Ursachen vergleichen, wobei eben jede(!) ziemlich unwahrscheinlich ist.

Benno

By Stefan Pohl Date 2014-12-28 06:02 Edited 2014-12-28 06:07

Benno Hartwig schrieb:

Also diese anderen Erklärungen (also Testfehler) kann ich guten Gewissens 100% ausschließen. Bei meinen Testruns läuft immer der Taskmanager mit, der mir Cpu- und Speicherauslastung anzeigt. Zudem ist der Rechner vor Testbeginn immer frisch gebootet und vom Internet abgetrennt. Es läuft keine Antivirensoftware im Hintergrund und es sind praktisch keine Programme/Spiele etc. auf diesem Notebook installiert. Und es bleibt immer einer der vier Cores für Windoofs frei, da nur 3 Partien simultan laufen.Auch zeigt die von mir benutzte LittleBlitzerGuI für alle Engines in einem Testrun die durchschnittlichen Suchtiefen, Knotenzahlen und Bedenkzeit pro Zug an, dadurch würden mir alle Abnormitäten sofort auffallen (ich weiß ja inzwischen genau, welche Knotenzahlen und Suchtiefen bei den verwendeten Engines "normal" sind). Und ich schaue immer mindestens zwei mal pro Tag nach, ob alles glatt läuft, also ca. 8-10 Mal pro 4-tägigem Testrun.
Und bei diesem bewußten Testrun war alles ganz normal. Sonst hätte ich sofort abgebrochen und neu gestartet.

Stefan

By Micha Wehrmann Date 2014-12-28 19:46

Ich wage es kaum auszusprechen ...

Der Erstautor möge sich erbarmen und das Unerhörte wagen:
mit der außerordentlichen SF-Engine eine neue Stichprobe (5.000 games) ziehen.
Nichts ist überzeugender als ein reproduzierbares Experiment bzw. Ergebnis.

Micha

By Stefan Pohl Date 2014-12-29 04:28 Upvotes 1

Micha Wehrmann schrieb:

Wie hier schon mal erwähnt, würde es viele Partiedoubletten bei einer Wiederholung geben, da im singlecore-Betrieb getestet wird. Das macht also wenig Sinn. Aber dafür läuft die fragliche Stockfishversion ja weiterhin im Endless RoundRobin, da werden die Ergebnisse von Woche zu Woche genauer.
Ich betrachte alle Ergebnisse zudem immer innerhalb der Errorbar. Und die meisten vergessen, daß man beim Betrachten von Testergebnissen eigentlich immer zwei Ergebnisse in Relation setzt (A ist soundsoviel Elo besser als B). Wenn man das tut, ist diese "Vergleichserrorbar" noch größer als (in diesem Fall) 7 Elo, nämlich SQRT((7*7)+(7*7)), also ca. 10 Elo. Und insofern ist bei diesem Testergebnis eigentlich alles noch im Rahmen dieser Vergleichserrorbar - wenn auch am äußersten Rand derselben. Ergo ist rein statistisch gesehen alles noch OK.
Und von doppelten Tests halte ich auch nichts, schon deshalb nicht, weil das dann schnell ausufert. Wenn mal eine Version ein bißchen schwächer als die Vorgänger ist, müßte man dann auch gleich eine Wiederholung starten, usw. usw. Soll man dann alles so lange testen, bis (dank Errorbar) zufällig das Ergebnis rauskommt, daß man vorher erwartet/erhofft??? Also mit mir nicht, vielen Dank.

Stefan

By Benno Hartwig Date 2014-12-29 07:18

Nur noch ein Hinweis:
Du hast hier nicht 2 isolierte Messergebnisse, die gleichermaßen fehlerhaft sein können, und für die deine Abschätzung stimmen würde,
du hast hier ein deutlich abweichendes Ergebnis neben einer Serie von mindestens gut stimmigen 5 Ergebnissen mit eben deutlich kleineren Werten.
Im Wesentlichen ist die Abweichung also schon der einen Messung "anzukreiden".
Die Wahrscheinlichkeit für solch ein Auftreten ist damit sehr deutlich kleiner als 2.5%, mag vielleicht bei 1% liegen.
Aber OK, auch sowas kommt natürlich auch mal vor.

Und ich verstehe dich natürlich auch, wenn du nicht jede Erstaunlichkeit mit einer Wiederholung quittieren möchtest.
Nehmen wir die Ergebnisse, wie sie sind.

Ob ggf. ein Fehler passierte, oder ob es ein statistischer Ausreißer war, ist letztlich auch nicht wirklich so interessant.
Ob diese eine Version eventuell doch besondere Qualitäten hatte, die verloren gingen, ist IMHO eine interessante Frage.
Andere Tests deuteten aber darauf hin, dass diese besondere Qualität tatsächlich nicht existiert.

Benno

By Hauke Lutz Date 2015-01-02 18:29

Hast du dich schonmal mit den Eröffnungssets die das Framework & Stefan einsetzen auseinander gesetzt, Benno?
Ich habe die Vermutung, dass sich die Veränderungen vom 9.November zum 12.November bei Stellungstypen auffällt die beim Framework nicht behandelt werden.

Gruß, Hauke

By Hauke Lutz Date 2015-01-04 00:02 Edited 2015-01-04 00:12

Keine Antwort heißt denke ich mal "nein".
Deswegen verschaffe ich mal einen groben Einblick über die unterschiedlichen Voraussetzungen.
Hierbei habe ich mit den Programmen Excel und der Fritz-GUI die ECO-Codes und Art der Rochaden gezählt und gegenübergestellt.

http://www.directupload.net/file/d/3856/tpm8zah3_png.htm

Besonders auffällig ist hierbei, dass im Framework die lange Rochade nur in jeder 89ten Partie behandelt wird und damit einen großen Zweig an Stellungstypen stark vernachlässigt.
Dies ist bei Stefan, der eine vergleichbare, jedoch optimierte, Datenbank nutzt als die, die beim Vergleich hinzugezogen wurde, anders.

Gruß, Hauke

By Benno Hartwig Date 2015-01-04 19:37

> Keine Antwort heißt denke ich mal "nein".

damit hast du schon Recht.
Dass ich nicht antwortete, hängt aber vor allem damit zusammen, dass ich überhaupt nicht verstehe, was dein Posting und der Hinweis auf die Eröffnungsstellungen mit meinem Text zu tun hat.

Benno

By Hauke Lutz Date 2015-01-05 08:54

Ich denke, dass das SALC-Set durch die Eröffnungsvorgaben Qualitäten abprüft, welche bei den anderen Tests mit z.B. 8moves_v3 als Vorgabe eher weniger benötigt werden.
Sei es das Spiel mit entgegengesetzten Rochaden oder das damit eingehende relativ häufige assymetrische Spiel.

Hauke

By Ernest Bonnem Date 2014-12-30 14:43

Anon schrieb:

Denke daher, die 12.Nov.Version von Stefan hat eher mit der ganzen Compiler-Umstellerei im November auf abrok.eu + statistischer Ausreißer zu tun als dass es eine wirkliche Verbesserung gewesen wäre.

==> Hallo Stefan, kannst Du mit der 12.Nov.Version wieder ein 5000-game Test machen ?

By Stefan Pohl Date 2014-12-30 16:27

Ernest Bonnem schrieb:

Anon schrieb:

==> Hallo Stefan, kannst Du mit der 12.Nov.Version wieder ein 5000-game Test machen ?

Also Leute, so langsam geht mir das ein bißchen auf den Keks.

Im Moment wird das sowieso nichts, weil ich mir eine neue Parteidatenbasis mit den 2 neuen Engines (Fire 4 und Equinox 3.3) erstelle, damit ich dann die Stockfish-Tests mit diesen Engines als Gegner (statt Fire 3 und Rybka 4.1) durchführen kann.
Danach wird zunächst Stockfish 141221 die nötigen 2000 Partien nachspielen und damit wird die neue Testrangliste dann eröffnet (und der Elowert mit Ordo gefixt), weil Stockfish 141221 die neueste Version in meiner alten Testranglsite ist und im Framework diese Version einen sehr gut mit meinem Ergebnis übereinstimmenden Regressiontest gemacht hat.
Wenn dann noch keine neuer functional change auf abrok.eu erfolgt sein sollte, könnte ich evt. Stockfish 141112 noch mal neu durchtesten (mit immerhin 2 neuen Gegnern) damit endlich Ruhe einkehrt. Eigentlich würde es auch hier genügen, nur die 2000 Partien gegen die 2 neuen Gegnerengines nach zu spielen. Mal sehen.

Stefan

By Ernest Bonnem Date 2014-12-30 17:03

Stefan Pohl schrieb:

Also Leute, so langsam geht mir das ein bißchen auf den Keks.

Also, Stefan, hast Du nicht mein

gesehen ?

Alles gute für 2015 !

By Benno Hartwig Date 2014-12-30 17:07

> Wenn dann noch keine neuer functional change auf abrok.eu erfolgt sein sollte, könnte ich evt. Stockfish 141112 noch mal neu durchtesten (mit immerhin 2 neuen Gegnern) damit endlich Ruhe einkehrt

Thanx, Asche auf mein Haupt, aber ich fänd' das interessant.

Letztlich vermute ich, dass dann herauskommt, dass diese Version keine auffällige Stärke hat, dass es im ersten Durchlauf ggf. ein statistischer Ausreißer war.
Dann hättest du damit die Seelen beruhigt und Klarheit geschaffen.
Sollte sich diese besondere Stärke aber tatsächlich bestätigen lassen, dann wäre es doch sehr sinnvoll, noch mal sehr genau die Sourcenänderungen anzusehen, die mit denen diese Engine erstellt wurde, und die Änderungen, die für die dann folgende Version erfolgten.

Was für ein Ergebnis erwartest du denn für solch eine Wiederholung?

Benno

By Stefan Pohl Date 2014-12-31 04:14

Benno Hartwig schrieb:

Keine Ahnung. Es ist ja keine komplette Wiederholung, sondern 2000 der 5000 Partien sind ja gegen die beiden neuen Gegnerengines (Fire 4, Equinox 3.3). "Nur" 3000 Partien sind ja eine Wiederholung. Insofern schwer zu sagen. Starten kann das Ganze frühestens am Freitag und wäre dann im besten Falle Dienstag durch. Ob ich es allerdings schaffe, schon Dienstag die Website zu aktualisieren, weiß ich noch nicht. Könnte auch Mittwoch werden.

Stefan

By Hauke Lutz Date 2014-12-30 17:21

Zitat:

Also Leute, so langsam geht mir das ein bißchen auf den Keks.

Vollkommen verständlich.