Leider!
Noch nie habe ich so ungern ein Ergebnis verkündet, welches jeder Logik, meiner Erwartung und vor allem meinem Geschmack widerspricht. Aber im Sinne der Sachlichkeit hätte ich ja ein schlechtes Gewissen, würde ich folgendes verheimlichen:
Ich habe gemacht was sonst tabu ist: Identische Eröffnungsstellungen mehr als zweimal (1x Seitenwechsel) ausspielen lassen, und zwar je sieben Mal doppelt. Dies deswegen, weil die
lernfähige Stockfishversion 4 PA_GTB-001 zum Einsatz kam, und ich sehen wollte ob und wie sie durch den Lerneffekt Resultate verbessern kann. Als min. Lerntiefe war 12 eingestellt, typische SF.-Rechentiefe war 14...16.
30s+0,5s, Intel i5-3210M 2,5...2,9 GHz
je 256 MB Hashtables, ponder off
vier kurze Vorgabevarianten
Arena 2.0.1, Windows 8 x64 Engine Score
1: Stockfish 4 PG-1 39,0/56
2: Komodo CCT 17,0/56
11=11=== 6,0/8
10001==1 -2,0
====11== -1,0
=11=111= +0,5
1==11111 +1,0
1=1=1=1= +/-0
1=111000 -1,5
Zweck besserer Übersicht habe ich die sieben Kurzmatches extra, und aus SF-Sicht dargestellt, und jeweils den Unterschied in Punkten zum ersten Match dargestellt. Dieses ist der relevante Vergleich, da ohne bzw. mit leerem Lernfile gestartet. Testgegner Komodo CCT hat kein permanentes Stellungslernen. Die Eröffnungen und Farben waren in jeder Ergebnisspalte dieselben, also z.B. Partie 3,11,19 usw.
Man erkennt eine "lebhafte Fluktuation" der Resultate.
in beide Richtungen...
Einige Anmerkungen:
-
Prinzipielles Problem: Eine Engine kann dank Lernen zu einem tatsächlich besseren (Eröffnungs-)Zug umschwenken, aber trotzdem ein schlechteres Resultat erreichen, etwa wenn sich die Partie im Endspiel dreht was dann meist in keinem ursächlichen Zusammenhang mit dem Lerneffekt stehen wird.
- Die Zeitkontrolle war bei der Basiszeit nur um ein Drittel geringer als in den LS-Tests, Zugbonus identisch.
- Unerwarteter Weise war K.CCT unter diesen Bedingungen (allerdings i5 statt i7) kein ebenbürtiger Gegner.
- Mindestens einmal ist leider auch Komodo als erster abgewichen, obwohl auf
"deterministic" eingestellt. Nicht alles geprüft aber ich denke das war sehr selten der Fall.
- Bei Durchsicht einiger Partien und Abweichungen hat Stockfish die neuen Züge immer besser bewertet als den zuvor gewählten Zug, was nicht unbedingt logisch ist, da ein Ersetzen des alten Zuges infolge Lernens ja bedeutet daß die Bewertung falsch war. - Ich habe aber nicht sämtliche Abweichungen überprüft.
- Der Lerneffekt tritt - bei dieser Engine - bewertungsbezogen ein, nicht resultatbezogen. Gerne werden Gewinnpartien zu Remis oder Niederlagen verschlimmbessert (natürlich auch umgekehrt).
- Noch mehr Lernen ausgangs derselben Positionen bedeutet leider nicht bessere Resultate: Man vergleiche den fünften (+1,0) mit dem siebenten (-1,5) Durchgang.
- Die Abweichungen geschahen mitunter erst spät, weit jenseits der Eröffnung.
- Vermutlich werden wieder einmal statt nur 56 eher 5.600 Partien zu einer gründlichen Beurteilung benötigt.
Hier beispielhaft die Entwicklung der Resultate mit Stockfish als Schwarzer in Königsindisch:
Der lernende Stockfish konnte zunächst, in zwei Etappen, das Remis zu einem Sieg ummünzen. Zum Schluß jedoch führten die Lerneffekte gar zu einer Niederlage!
Wasser auf die Mühlen der Lern-Skeptiker
aber was solls, that's life. Vielleicht war ja mein Testaufbau falsch oder ich habe einen Logikfehler gemacht... ich fürchte nein.