Benno Hartwig schrieb:
Stimmt.
So gesehen taugen diese Stellungen natürlich sehr gut, um zu sehen, welche Engine welcher anderen überlegen ist.
Sie sind aber nur bedingt vergleichbar mit denen, die mit anderen Eröffnungsvorgaben ermittelt wurden.
Das ist eine These, die bisher nicht belegt wurde. Im Gegenteil. Die einzigen Spielstärkestärkeunterschiede durch Eröffnungsvorgaben, die gemessen werden, hängen immer umgekehrt proportional mit der erspielten Remisquote zusammenn, also je höher die Remisqoute, desto geringer die gemessenen Spielstärkeunterschiede.
Daß bestimme Arten, also andere Stellungstypen, von Eröffnungen wirklich andere Ergebnisse produzeren (also eine Verschiebung von Rangfolgen der Engines in Ranglisten), ist ein unbelegter Mythos, den einige Buchautoren, insbesondere Frank Q. immer wieder propagieren. Ohne je irgenwelche statisitsch relevanten Daten dafür vorgewiesen zu haben.
Ich hingegen habe einen großen Datensatz, der das genaue Gegenteil aussagt: Als ich seinerzeit meine Stockfish-Testruns von meinen SALC-Vorgaben auf das HERT-Eröffnungsset umgestellt habe, war ich gezwungen, meine Datenbank mit den seinerzeit aktuellen Engines neu auszuspielen unter ansonsten identischen Bedingungen. Und meine SALC-Stellungen sind nun mit Sicherheit ein anderer Stellungstyp, als die HERT-Stellungen von Thomas Zipproth, der ja sehr breit gefächerte Eröffungslinien aus Menschen- und Computerschach beinhaltet. Das Ergebnis war eindeutig. Ich kopiere es mal von meiner Website hier rein. 2x15000 Partien, also statitisch relevant. Exakt identische Bedingunen, bis auf das unterschiedliche Eröffnungsset. Und die Rangfolge der Engines in dieser kleinen Rangliste änderte sich nicht. Lediglich die Eloabstände waren mit den SALC-Stellungen größer, weil eben die Remsiqoute mit SALC geringer ist.
Hier der Text:
And, finally, a lot of people said, that SALC-positions are only a small part of all possible chess-openings (thats true), and that using SALC-openings for engine-play will lead to distorted results – and that is not true. Here the proof:
Using the new HERT openings-set (by Thomas Zipproth) for my Stockfish-testing was a great opportunity to compare the gamebases played with HERT (contains positions selected from the most played variations in Engine and Human tournaments) and played with my SALC openings So, here the results. Both gamebases were played with 3'+1'', singlecore, 512 MB Hash. The only difference was the opening-set (HERT / SALC)...
2x 15000 games (!)
HERT:
Program Elo + - Games Score Av.Op. Draws
1 Stockfish 170526 bmi2 : 3346 7 7 5000 71.3 % 3171 45.6 %
2 Komodo 11.2.2 x64 : 3314 6 6 5000 66.9 % 3177 45.8 %
3 Houdini 5 pext : 3299 6 6 5000 64.7 % 3180 48.5 %
4 Shredder 13 x64 : 3119 6 6 5000 37.8 % 3216 43.7 %
5 Fizbo 1.9 bmi2 : 3096 6 6 5000 34.4 % 3221 38.2 %
6 Andscacs 0.91b bmi2 : 3026 7 7 5000 24.9 % 3235 34.9 %
Elo-differences:
1-6: 320 (overall)
1-2: 32
2-3: 15
3-4: 180
4-5: 23
5-6: 70
Games: 15000 (finished)
average game length: +13.7% compared to SALC games (moves), +10% compared to SALC games (time)
White Wins: 5129 (34.2 %)
Black Wins: 3455 (23.0 %)
Draws: 6416 (42.8 %)
SALC V3:
Program Elo + - Games Score Av.Op. Draws
1 Stockfish 170526 bmi2 : 3359 7 7 5000 72.7 % 3168 39.9 %
2 Komodo 11.2.2 x64 : 3327 7 7 5000 68.3 % 3175 38.5 %
3 Houdini 5 pext : 3298 6 6 5000 64.4 % 3180 42.2 %
4 Shredder 13 x64 : 3108 6 6 5000 36.4 % 3218 35.4 %
5 Fizbo 1.9 bmi2 : 3097 7 7 5000 34.8 % 3221 31.1 %
6 Andscacs 0.91b bmi2 : 3012 7 7 5000 23.5 % 3238 27.7 %
Elo-differences:
1-6: 347 (overall)
1-2: 32
2-3: 29
3-4: 190
4-5: 11
5-6: 85
Games: 15000 (finished)
White Wins: 5476 (36.5 %)
Black Wins: 4154 (27.7 %)
Draws: 5370 (35.8 %)
Conclusions:
1) SALC lowers the draw-rate a lot (35.8%) , compared to the HERT openings-set (42.8%) - mention, that the HERT-set was optimized for a low draw-rate. Thomas Zipproth has chosen only lines, which were not too drawish. Using other "classical" openings-sets should lead to a higher draw-rate, than using HERT.
2)
The order of rank is the same for all engines in both gamebases = no distorted results playing SALC.3) The scores of the engines are not getting closer to 50%, using SALC. The Elo-differences are not getting smaller (in fact, they are getting higher! (Elo-differences rank 1 to 6: 320 Elo using HERT, but 347 Elo using SALC), which proofs, that SALC does not contain a lot of lines, which are leading to a clear advantage (and easy wins) for white or black. And bigger Elo-differences make the results statistical more reliable.
4) SALC lowers the average game duration around 10%. That means, that in the same time, +10% more games can be played, which leads to statistical more valuable results in the same time.