Was sind die sinnvollsten Testbedingungen für ein Engine-Ranking?

By Frank Quisinsky Date 2026-08-15 11:08 Edited 2026-08-15 11:23

Hallo Lothar,

ich denke alles was aus menschlicher Sicht logisch ist, denn schließlich führt der Mensch auch aus.

Dazu gehört Ponder = on.
Wir schalten unser Gehirn ja nicht ab wenn der Gegner am Zug ist.
Einige Engines können das nicht, oder das Zeitmanagement ist dann weniger gut.
Auch wird mehr Hardwareleistung benötigt, weniger Partien können produziert werden.
Ich weiß das natürlich und handel dennoch unlogisch und verzichte auf Ponder = on.

Dazu gehört ein ausgeglichenes Buch.
Kein Mensch geht freiweillig in eine Partie mit Nachteil.
Wird der Nachteil z. B. von einer schwächeren Engines nicht zu einem Remis kompensiert entsteht
eine Punktausbeute von ca. 25% freiwillig weniger. Grob berechnet ... kommt auf die Engine-Spielstärke an.
Ein ausgeglichenes Buch führt heute auf höchsten Niveau zu vielen Remisen.
Wie das vermieden kann zeigt z. B. meine ETOC-G Idee auf.

1 Core für einen Vergleich reichte grundsätzlich immer schon aus.
Wenn ich den Faktor kenne (z. B. bei 2, 4, 8 Cores) macht es keinen Sinn tausende von Partien zu
produzieren. Den Faktor selbst kann ich für eine Engine anhand weniger Stellungen im Querschnitt
sehr schnell selbst ermitteln. Mit diesem Querschnitt kann ich dann alles siumlieren, dafür brauche
ich keine echten Partien, dass machte noch nie Sinn bzw. ist aus meiner Sicht komplett unnützer
Stromverbrauch ... wenn es sich um Engine Vergleiche handelt.

Wer will kann ja z. B. den Faktor bei 2 oder 4 Cores hinter einer Engine Elo in einer Liste niederschreiben.

Grundsätzlich ist eine ermittelte Elo niemals ultimativ.
Sie wird natürlich stimmen, passend zu den auserkorenen Bedinungen.

Es kommt z. B. immer auf die Gegner, Bedenkzeit, sonstiges wie Endspieldatenbank an.

Diesen grundsätzlichen Ausführungen könnte man entgegen halten:
Was für den Mensch logisch ist, sehen Engines mit einer Spielstärke weit weg von Gut und Böse, über 800 Elo
entfernt von max. menschlicher Spielstärke, völlig anders.

Daher können z. B. unlogische Einstellungen auch zu neuen Erkenntnissen oder gar Fortschritten
bei der Engine-Entwicklung führen.

Ein gutes Beispiel sind die UHU-Stellungen von Stefan Pohl.

Und genau das bereichert unseren Erkenntnisstand!
Was ist ohne Forschung schon großartig interessant?!

Völlig unterschiedliche Ideen, die z. B. auch mal länger durchgezogen werden, erzeugen neue Erkenntnisse.
Durch einseitige Test-Methoden werden wir nicht sonderlich schlauer. Wir können dann max. Vermutungen
anstellen. Dahingehend ist und war der Mensch immer schon absolute Spitzenklasse.

Gruß
Frank

By Frank Quisinsky Date 2026-08-15 11:32 Edited 2026-08-15 11:42

Je krummer und verbogener ein Engine-Vergleich heute ist, desto interessanter könnte der bei dem heutigen Stand
der erreichten Spielstärke der Engines gar werden. Fantasie ist gefragt und vor allem "unlogisches Denken".

Dabei kommt meist mehr heraus als zu bekannten Wegen Bekanntes hinzuzufügen.

Ein gutes Beispiel:
Jemand war 4x verheiratet und kommt nun auf die glorreiche Idee tanzen zu gehen.
Im Tanzclub lachen Dich 5 Frauen an. Die 4 mit denen Du mal verheiratest war und eine völlig unbekannte sehr
hübsche Dame der Schöpfung. Der, der immer alles gleich machte im Leben landet immer im gleichen Tanzclub und
findet dort wahrscheinlich auch ...

Was machst Du?

Erst nachdenken ...

...

...

...

...

...

Richtig, Du sagst Dir ...
Lasst mich doch alle in Ruhe, ich gehe jetzt Currywurst essen und Morgen habe ich auch keine Zeit, da muss ich
zum Fussball bei der SG Wattenscheid 09.

Wobei ich nicht 4x verheiratet war.
Aber irgendwann reizt Dich selbst das Unbekannte nicht mehr und dann auf zur SG09.

By Frank Quisinsky Date 2026-08-15 12:08 Edited 2026-08-15 12:12

Halten wir fest ...
Die Currywurst ist wie Stockfish beim Computerschach.

Engine-Vergleiche sind fragwürdig, weil es ja Stockfish gibt.
Ich ziehe mir ja auch keine Roten Bete, besprenkelt mit Inhalten aus dem 16-Core-Nutella-Glas,
rein, wenn eine Currywurst daneben liegt.

Maximal kommt vielleicht die Pizza Reckless noch zum Einsatz.
Und wenn ich die Pizza Reckless nicht mehr mag dann ziehe ich mir Wreckless rein (den Clone)
in einer anderen Pizzeria.

Aber auch Spagehetti mit Bolognese aller PlentyChess ...

Früher zu Frank Elstner Zeiten hätten viele von uns bei Wetten-dass auftreten können.
Wir hätten die ganzen Schachcomputer Elos von Platz 1 bis 200 der SSDF runter beten können.
Vielleicht auch noch die "Meilers" BT-Ergebnisse für die Joker-Frage.

Die Zeiten sind lange vorbei?!

By Lothar Jung Date 2026-08-15 13:33

Hallo Frank

„Wer will kann ja z. B. den Faktor bei 2 oder 4 Cores hinter einer Engine Elo in einer Liste niederschreiben.“

Der Faktor bei 4 müßte man für jede Engine ermitteln. 2 Cores machen keinen Sinn, da die CPUs unterschiedlich bei 1 Core optimiert sind.
Soll man einen Engine Benchmark nehmen?
Stockfish hat einen Benchmark eingebaut.

Lothar

By Frank Quisinsky Date 2026-08-15 14:27 Edited 2026-08-15 14:45

Hi Lothar,

bei einer guten Optimierung sollte ca. Faktor 3,3 - 3,5 herauskommen.

Also, ich persönlich nehme dafür eine Stellungsdatenbank mit 4 Postionen aus späten Mittelspiel- / Übergang
Endspiel Stellungen (mind. 14 bis max. 20 Figuren auf dem Feld) und schalte, wenn vorhanden, syzygy
oder unter Umständen andere Endspieldatenbanken ab. Die Hash-Tabellen kannst Du bei einem Test
1-Core zu 4-Cores einfach vervierfachen.

Dann errechne ich den durchschnittlichen Faktor aus den Ergebnissen der 4 Positionen.

Möchtest Du 5 + 2 spielen lassen, machen z. B. 128 oder 256Mb für Hash-Tables Sinn.
Simulierst Du dann 4 Cores würden 512 oder 1Gb Sinn machen.

Gruß
Frank

PS:
Wenn Du wirklich krass-extrem-genau unterwegs sein möchtest ...
Dann besser bei einem Vergleich immer die syzygybases / Endspieldatenbanken abschalten.
Der Mensch rennt auch nicht für jeden Zug in die BiBi schauen, was sagen denn die Endspieldatenbanken
zu dieser Stellung. Das ist nichts selbst errechnetes.

Es kann immer nur das verglichen werden was vergleichbar ist, hat eine Engine keinen syzygy support
kann auch nichts verglichen werden. Na ja, ich war noch nie krass unterwegs. Doch, ich hatte in Urzeiten
auch mal eine Liste mit Ponder = on. Die machte auch mehr Spaß beim Zusehen aber hat Nerven
gekostet. Ich hatte irgendwann keine Lust mehr Programmierer auf die Fehler hinzuweisen. Wie gesagt,
ist schon lange her. Heute werden sicherlich mehr Engines mit Ponder = on eine vernünftige Zeiteinteilung
haben und auch fehlerfreier spielen.

By Frank Quisinsky Date 2026-08-15 14:51

Ich wollte das in der Tat auch mal machen.
Faktor ausrechnen, neben der Elo für einen Core schreiben und Ergebnis von 1 Core auf 64 Cores mittels Faktor siumulieren lassen.

Dann bist Du schnell fertig mit einer 64-Core Ratinglsite und sparst enorm viel Strom und Gelder für Hardware.

Weiß gar nicht wer damit angefangen hat.
Ich habe selbst nie auf 2 Cores getestet, never, never, never ... völliger Quatsch!

By Frank Quisinsky Date 2026-08-15 15:43 Edited 2026-08-15 16:00

Noch ein paar Erläuterungen:

1. Immer ohne Aufgabefaktor.
Anhand vom Zügedurchschnitt lässt sich vieles ablesen.
Auch sind Stats zu Endspielen möglich, aber aufwendig zu erstellen.

2. Um die Remisquote bei einem ausgeglichenen Buch zu minimieren machte ich z. B. ETOC-G.
Es wird sehr schön aufgezeigt das dieses System perfekt funktioniert.

Hier ist es wichtig Engines zum Testen zu benutzen die auffällig unterschiedlich spielen.
Auch Engines zu benutzen die einen geringen Zügedurchschnitt haben, um nicht unnötig Test-Zeit zu verplempern.
Es macht Sinn Engines zu nutzen die sehr aggressiv sind, um schnell festzustellen wer dagegenhalten kann (aus
menschlicher Sicht gesehen, wir mögen fast alle schnelle Gewinnpartien).

3. Ponder = on, wäre besser als Ponder = off

4. Ohne Endspieldatenbanken = besser als mit.
Schont auch die Festplatte!

5. Fischer-Zeit Kontrolle nutzen
Das verringert die Bedenkzeit bei den vielen unnützen Endspielketten.
Besser als 40 Züge in x Minuten.

6. Bei den sogenannten "Standard Engines" darauf achten, dass diese nicht zu weit auseinander liegen.
Früher dachten wir Platz 1 und der letzte Platz sollten nicht mehr als 250-300 Elo auseinander liegen.
ETOC-G beweist das Gegenteil bei 800 Elo von Platz 1 zu Platz 26 der "Standard Engines". Die erzielten
Ergebnisse befinde ich für eindeutig zu gebrauchen, anfangs war ich nicht davon überzeugt. Ich zweifelte
immer schon an dieser These, jetzt nicht mehr. Ist auch realistischer, denn auch die Elo von einem GM
errechnet sich in den wenigsten Fällen gegen ca. gleich starke Gegner.

Dennoch reichen hier ca. 400-500 Elo aus.
Die Spanne die "Standard-Engines" auseinander liegen sollten.

Wenn Stockfish bei 3575 Elo, sollte dann die schlechteste" Standard-Engine" ca. bei 3125 Elo liegen.
Das mache ich gerade auf einem zweiten PC und habe dafür meine zweite private Ratingliste
abgebrochen. Ich will sehen wie hoch die Remisquoten sind. Die wären dann mit ca. 60% im
Rahmen wenn z. B. eine TOP-10 gegen 26 "Standard Engines" spielt die zwischen 3525 und 3125
liegen (in meinem Fall). Zusehen macht weiterhin Spaß bei einem ausgeglichenen Buch.

Bei der Elo orientiere ich mich immer nach der Aussage von GM Meyer in dem Interview was ich mit
GM Hickl machte. Bei mittleren Bedenkzeiten schätzte GM Meyer (er hatte damals ca. 2650 Elo)
Shredder 12 auf seinem 2-Core 2Ghz Notebook bei einem Core grob mit 2800 Elo ein.

Die Einschätzung von GM war nachvollziehbar, denn bis dahin eichte ich meine Listen bis auf 25
Elo Abweichung zu dieser Einschätzung über Jahre immer gleich.

7. Bei der Bedenkzeit:
Nutze eine Bedenkzeit bei dem Zusehen noch Spaß macht. Damit erhältst Du Dir die eigene
Motivation.

8. Eine besondere Komponente rein-bringen.
Am meisten erfolgreich bei den unzähligen Ratinglisten von mir war folgende Idee ...

Eine Gruppe von x-Engines spielt immer das gleiche Turnier nach Schweizer-System.
Die Ergebnisse wurden zu einer Ratingliste zusammengeführt.

Auch interessant waren die Turniere bei den Klaus Wlotzka per Excel Statistiken auswertete.
Ich hatte unzählige Downloads auf diese Daten.

Also, irgendetwas besonderes mit der eigenen Fantasie hinzusteuern.
Etwas, was bislang noch nicht gemacht wurde, schon allein um neue Erkenntnisse zu gewinnen.

Die Vorbereitungsphase bei ETOC-G inklusive der Testphase dauerte bei mir z. B. 9 Monate.
Ich überlegte genau, was kann ich noch feststellen was mir selbst noch wichtig ist und die
bislang gesammelten Erfahrungswerte vernünftig einbringen.

Bei Hau-Ruck-Verfahren wirst Du meist schnell eines Besseren belehrt.

7. Die Buchfrage ist wichtig:
Ich nutze die eigene FEOBOS Datenbank.
Es werden alle 500 ECO Codes, meist nach GM-Beliebtheit der Varianten zufällig gewählt und ausgespielt.
Mithin kann mit diesen produzierten Daten auch produktive Erkenntnisse aus den bisherigen ECO-Codes
generiert werden. Genau daran arbeiten 3 Personen die meine Daten für Verbesserungen bei wirklich
guten Eng-Eng Büchern nutzen.

8. Ich hatte mal sehr aufwendig festgestellt das eine Elo bei vielen Gegner schneller "ultimativ" wird
und dabei weniger Partien notwendig werden. Auch schon länger her, ich kam zu dem Ergebnis ... 26-Gegner.
Daher spielte ich ETOC mit 26 Standard-Engiens. Alles alte Erkenntnisse die sich so im Laufe der Zeit auch
bestätigten mit anderen Ratinglisten die ich machte.

Etc..

Alles muss gut überlegt sein und vor allem irgendetwas Besonderes sollte drin sein.
Heute zieht das Personen an, die immer auf der Suche nach neuen Erkenntnissen sind.

Grundsätzlich gilt auch:
Mit dem wenigsten Aufwand bestmögliche Erkenntnisse generieren.

Gruß
Frank

Und wem das alles zu kompliziert ist:
Auch schön zusammengestellte einfache Turniere, die gut kommentiert sind, sind nach wie vor
spannend. z. B. Turniere der besten HCE Engines lasse ich gerne auf meinem Ultra-Book spielen.

By Frank Quisinsky Date 2026-08-15 16:48 Edited 2026-08-15 16:53

1. Immer ohne Aufgabefaktor.
Anhand vom Zügedurchschnitt lässt sich vieles ablesen.
Auch sind Stats zu Endspielen möglich, aber aufwendig zu erstellen.

Leider wird heute alles an Standard-Code offenbar meist wild in die Engines implementiert.
Die meisten Engines spielen nicht den direkten Weg zum Matt mit syzygy, sondern machen folgendes:

KRpp - K
Da wird der erste Bauer umgewandelt und die umgewandelte Figur geopfert dann die zweite Unterverwandlung großzügig geopfert.
Es verbleibt dann KR-K und dann wird matt gessetzt. Sind wir streng zu uns selbst, müssten wir dieses Vorgehen heute als Standard
ansehen, wenige versuchen dann mal solche Fehler zu beheben.

So viele andere Fehler bei syzygy, was leider den Zügedurchschnitt maßgeblich verschlechtert und mithin
ist streng genommen beim Eng-Eng Vergleich syzygy nicht gut.

Die guten alten Zeiten sind leider vorbei.
Ein Roland Pfister (Patzer Programmierer) der sich freute bei eigener Hirnanstrengung und ziemlich viel
Arbeit bei 2-Cores einen Faktor von 1,4 erreicht zu haben, Wenn Crafty bei 1,73 zu diesem Zeitpunkt lag.

Heute macht einer NN und nach kurzer Zeit gibt es hunderte NN Engines.
Das war ja noch nie anders. Auf einem Robolite Clone folgten unzählge andere, täglich neue Ivenhoes.

Im Computerschach wiederholt sich immer alles.

Jetzt kommt KI unterstützt.
Bald wird alles KI unterstützt sein, auch bei bestehende NN Engines überprüfen schon einige ob es Fehler
in der Engine mit KI Unterstützung gibt ... die vielleicht bislang nicht aufgefallen sind.

Ende vom Gelände:
Sind alle Programme unzählige Male durchupgedatet sammelt sich immer mehr um die derzeit
max. erreichte Spielstärke. Dann haben wir keine 40 Programme die ca. 100 Elo hinter Stockfish liegen,
sondern hunderte davon. Bis dahin gehen noch viele Updates ins Land ... Aufgaben die sich die Ratinglistenexperten,
warum auch immer widmen.

By Lothar Jung Date 2026-08-15 18:08

Hallo Frank,

Ich habe mal ChatGPT rechnen lassen.
4 Threads sind Faktor 3,4 - 3,7.

Bei modernen Alpha-Beta-Engines wie Stockfish verläuft die Leistungskurve von 1 bis 8 Kernen anfangs steil, flacht dann aber zunehmend ab. Sie ist also keine Gerade.

Kerne/Threads ungefähre Suchleistung Ausnutzung der zusätzlichen Kerne geschätzter Elo-Gewinn gegenüber 1 Kern
1 1,0× 100 % 0
2 1,8–1,9× 90–95 % +55 bis +70
3 2,6–2,8× 87–93 % +85 bis +105
4 3,4–3,7× 85–92 % +110 bis +130
5 4,2–4,5× 84–90 % +130 bis +145
6 4,9–5,3× 82–88 % +145 bis +160
7 5,6–6,0× 80–86 % +160 bis +175
8 6,3–6,7× etwa 83 % ungefähr +180

Stockfish selbst ermittelte bei längerer Bedenkzeit für 8 gegen 1 Thread etwa +179 Elo. Die Parallelisierung erreichte dabei rund 82–83 % Effizienz. Bei extrem kurzen Partien wurden sogar +327 Elo gemessen; diese Zahl lässt sich aber nicht auf normale Turnierpartien übertragen. Offizielle Stockfish-Daten⁠

Der Verlauf ist näherungsweise logarithmisch:

xychart-beta
x-axis "Kerne" [1, 2, 3, 4, 5, 6, 7, 8]
y-axis "relative Suchleistung" 0 --> 7
line [1, 1.9, 2.7, 3.6, 4.4, 5.2, 5.9, 6.6]

Der größte Sprung liegt zwischen 1 und 4 Kernen. Von 4 auf 8 Kerne erhält man zwar fast die doppelte Rechenleistung, aber nur noch ungefähr 50–70 zusätzliche Elo. Für ein Turnier mit zwei gleichzeitig laufenden Engines ist 7 + 7 Kerne deshalb meist sinnvoller als 8 + 8, weil Betriebssystem und Turnieroberfläche noch zwei freie Kerne behalten.

By Frank Quisinsky Date 2026-08-15 21:00 Edited 2026-08-15 21:14

Das liest sich gut und traf auch zu in Zeiten vor NN den Nagel auf dem Kopf.

Wobei +55 bei Faktor 1,8 eher in Zeiten der HCE Engines, vor dem NN-Zeitalter.
Vielleicht da dann auch um +15 zu hoch, eher so +40.

Im Laufe der ganzen Jahre ist eine Verdoppelung der Geschwindigkeit nicht immer gleich angestiegen.
So war das zu Zeiten der Schachcomputer noch rund 80-90 Elo.

Stockfish ermittelt viel wenn der Tag lang ist.
Im nackten Alltag bedeuten all diese ganzen Verbesserungen ...

Code:

   # Player                               :      Elo  Games  Score%   won  draw  lost  Points  Draw%  Error   OppAvg   OppE   OppD
   1 PlentyChess 8.0.0                    :  3570.83   1300    83.7   875   425     0  1087.5   32.7  16.96  3210.75   5.30   26.0
   2 Reckless 0.10.0 260501 dev           :  3569.14   1300    83.5   873   426     1  1086.0   32.8  17.28  3210.75   5.30   26.0
   3 Stockfish 260706 dev                 :  3567.45   1300    83.4   869   431     0  1084.5   33.2  17.83  3210.75   5.30   26.0
   4 Stockfish 18 JA                      :  3566.89   1300    83.4   870   428     2  1084.0   32.9  16.84  3210.75   5.30   26.0
   5 Stockfish 17.1 JA                    :  3563.55   1300    83.2   862   438     0  1081.0   33.7  17.02  3210.75   5.30   26.0
   6 Reckless 0.9.0                       :  3561.89   1300    83.0   859   441     0  1079.5   33.9  17.35  3210.75   5.30   26.0

Und je unterschiedlicher die Bedinungen einer Ratingliste sind, desto unterschiedlicher fallen die Ergebnisse aus.
Schaue Dir mal an wie weit Stockfish von Reckless in CEGT oder CCRL entfernt liegen.

Oder was die Stockfish Entwickler an Elo-Verbesserungen seit Stockfish 17 so alles ausgegeben haben.

Also, ChatCPT befrage ich eher selten, weil meist noch zu viel Murks ausgegeben wird.
Meist, aber immer öfters bin ich dann doch überrascht wie genau es werden kann.
Da gibt es noch sehr viel Verbesserungspotential.

Was aber ganz sicher richtig sein wird ist, dass die Kurve mit immer mehr Kernen abflacht.

---

Ein gutes Beispiel ist:
Früher behaupteten die vielen TOP-Programmierer beständig, dass eine gute NN Umsetzung 300 Elo ausmacht.
Ca. in der Zeit als immer mehr NN Engines verfügbar waren, also ca. Mitte bis Ende 2022.

Wie sehen die nackten Tatsachen aus:

Code:


   # Player                               :      Elo  Games  Score%   won  draw  lost  Points  Draw%  Error   OppAvg   OppE   OppD
   3 Stockfish 260706 dev                 :  3567.45   1300    83.4   869   431     0  1084.5   33.2  17.83  3210.75   5.30   26.0
   4 Stockfish 18 JA                      :  3566.89   1300    83.4   870   428     2  1084.0   32.9  16.84  3210.75   5.30   26.0
   5 Stockfish 17.1 JA                    :  3563.55   1300    83.2   862   438     0  1081.0   33.7  17.02  3210.75   5.30   26.0
  78 Stockfish 200731 HCE dev             :  3391.82  10550    63.4  4148  5090  1312  6693.0   48.2   4.98  3238.19  14.11  211.0

Wir sprechen von einer Verbesserung bei Stockfish vom 31.07.2020 bis 06.07.2026 von zusammengefasst 176 Elo im Spiel
mit einem ausgeglichenen Buch.

Nun gut, Stockfish war schon 2020 extrem gut optimiert, andere Engines nicht.
So gesehen kann das durchaus 300 Elo sein aber viele müssen wirklich lernen zu differenzieren und nicht jede Theorie
immer über einen Kamm zu ziehen.

Soweit zur Theorie und Praxis.

Im Computerschach sehen wir sehr oft die Pferde kotzen.

Mich überzeugen nur die knallharten Fakten!
Und immer in Anbetracht zu vergleichen was vergleichbar ist.

Gruß
Frank