Elo Zuwachs pro Zeitverdopplung, Hardware ausgereizt?

By Thomas Zipproth Date 2023-04-10 12:59 Upvotes 4

Anläßlich des Postings "Computerschach bei der Hardware inzwischen ausgereizt" habe ich seit längerem mal wieder versucht,
den genauen ELO Zuwachs per Zeitverdopplung (oder auch entsprechend schnellerer Hardware) zu ermitteln.

Das Überraschende (oder auch nicht, siehe TCEC) gleich vorneweg:
Der Verlauf des ELO Zugewinns hängt nahezu vollständig von der Wahl der verwendeten Ausgangsstellungen ab.
Während bei ausgeglichenen Stellungen (Hert) die Elokurve per Zeitverdopplung sehr schnell rapide abflacht,
ergibt sich interessanterweise bei unbalancierten Stellungen (UHO) nahezu keine Abflachung des Elozugewinns.

Dazu habe ich zwei Eröffnungssets (500 Stellungen) verwendet:

1. Hert (Balanciertes Eröffnungsset der wichtigsten Eröffnungsstellungen)
2. UHO (UHO_2022_6 moves von Stefan Pohl, nochmals optimiert bzgl. Transpositionen)

Die Bedenkzeiten sind zwar insgesamt nicht sehr lang (maximal 64s+6.4s), aber auf einem sehr schnellen Rechner durchgeführt.
Die Tendenz ist trotzdem klar erkennbar, die Grafik zeigt den Elogewinn pro Zeitverdopplung für Hert und UHO.

Code:

   Elo Zuwachs pro Zeitverdopplung:
  
  Verdopplungen:  1    2    3    4    5    6   7 

  ELO+ Hert:     83,  58,  44,  29,  22,  12,  7
  ELO+ UHO :    163, 137, 117, 117,  93,  95, 83

Code:

   Turnierdaten:

   # Hert                :  RATING  POINTS  PLAYED   (%)  CFS(%)    W     D    L  D(%)   Rating+
   1 stockfish_64+6.4    :   255.6   511.0    1000    51     ---   24   974    2    97     7
   2 stockfish_32+3.2    :   247.8  1006.0    2000    50     ---   42  1928   30    96    12 
   3 stockfish_16+1.6    :   235.8  1014.5    2000    51     ---   75  1879   46    94    22
   4 stockfish__8+0.8    :   213.5  1010.0    2000    51     ---  104  1812   84    91    29
   5 stockfish__4+0.4    :   184.2  1020.0    2000    51     ---  155  1730  115    87    44 
   6 stockfish__2+0.2    :   140.6  1019.5    2000    51     ---  202  1635  163    82    58
   7 stockfish__1+0.1    :    83.0  1034.5    2000    52     ---  281  1507  212    75    83
   8 stockfish_0.5+0.05  :     0.0   384.5    1000    38     ---   27   715  258    72

   # UHO                 :  RATING  POINTS  PLAYED   (%)  CFS(%)    W     D    L  D(%)   Rating+
   1 stockfish_64+6.4    :   801.9   589.5    1000    59     ---  311   557  132    56    83
   2 stockfish_32+3.2    :   719.3  1013.0    2000    51     ---  466  1094  440    55    95
   3 stockfish_16+1.6    :   624.5   998.0    2000    50     ---  462  1072  466    54    93
   4 stockfish__8+0.8    :   531.6  1022.5    2000    51     ---  498  1049  453    52   114
   5 stockfish__4+0.4    :   417.5  1003.0    2000    50     ---  483  1040  477    52   117
   6 stockfish__2+0.2    :   300.5  1021.5    2000    51     ---  496  1051  453    53   138 
   7 stockfish__1+0.1    :   163.0  1026.0    2000    51     ---  542   968  490    48   163
   8 stockfish_0.5+0.05  :     0.0   326.5    1000    33     ---  105   443  452    44

Als Fazit folgt daraus, dass Computerschach wohl nur bei der Ausgangsstellung und vergleichbaren Stellungen ausgereizt ist.
Dagegen bringt bei Startstellungen mit einer Bewertung von ca. +/- 1.1 jeder Geschwindigkeitszuwachs wieder etwas.
Ein Abflachen des Elogewinns bei unbalancierten Stellungen ist bei normalen Bedenkzeiten bisher nicht erkennbar.

Die Weiterentwicklung des Computerschachs bzw. der Engines scheint bei unbalancierten Stellunen noch lange nicht
an einem Ende angekommen zu sein. Das deckt sich auch mit meiner Beobachtung, dass bei z.B. 1.g4
auch bei nahezu beliebig hoher Bedenkzeit keinerlei Tendenz in Richtung Remis oder Sieg für Schwarz erkennbar ist.

Thementurniere mit unbalancierten Stellungen (siehe auch TCEC) würden wieder interessante Partien ermöglichen.

By Stefan Pohl Date 2023-04-10 14:06 Edited 2023-04-10 14:13

Tolles Experiment.

Nur als Anmerkung: Auch mit meinen UHO Eröffnungen nimmt bei mehr Bedenkzeit (oder schnellerer Hardware) der Elozugewinn langsam ab und die Remisquote steigt langsam an. Sieht man ja in dem Experiment hier auch sehr schön. Genau deswegen habe ich bei meinen UHO Eröffnungen mehrere Evalstufen realisiert, also verschiedene UHO Sets mit ansteigendem Vorteil für Weiß. Damit ist es möglich, einfach ein UHO Set mit mehr Vorteil für Weiß zu wählen, falls die Remisquote zu stark steigt. Damit sind die UHO Eröffnungen auch in fernerer Zukunft, wenn Engines und Hardware vielleicht noch viel stärker sind als heute, immer noch nutzbar! Die verschiedenen Evalstufen der UHO Sets ermöglichen immer, die Remisquote in einem Bereich von 45%-60% zu halten! Und das erlaubt wiederum der stärkeren Engine immer, auch mehr Partien zu gewinnen, als die schwächere Engine. Somit wird es auch in fernerer Zukunft noch spannendes Computerschach geben!

PS: Auch die meisten anderen AntiDraw Eröffnungskonzepte, die ich realisiert habe, haben mehrstufige Sets, mit weiter ansteigendem Vorteil für Weiß. Auch diese Konzepte (u.a. meine Drawkiller Eröffnungen) sind damit unbegrenzt zukunftssicher.

https://www.sp-cc.de/anti-draw-openings.htm

By Benno Hartwig Date 2023-04-10 19:27 Upvotes 1

> Während bei ausgeglichenen Stellungen (Hert) die Elokurve per Zeitverdopplung sehr schnell rapide abflacht,
> ergibt sich interessanterweise bei unbalancierten Stellungen (UHO) nahezu keine Abflachung des Elozugewinns.

Lässt sich daraus schließen:
Wenn's da was zu gewinnen gibt, dann ist Rechenleistung vorteilhaft.
In ausgeglichen Positionen reicht eher auch weniger Rechenleistung, um das Remis zu halten.
?

By Thomas Zipproth Date 2023-04-10 22:04

Ich denke, das man das so sagen kann.

Mit anderen Worten:
Wenn die Stellung schon vorteilhaft ist, d.h. im Bereich von ca. +0.8 bis +2, dann bringt zusätzliche Rechenleistung auch etwas.
In ausgeglichenen Stellungen ist die Wahrscheinlichkeit groß, das auch eine weniger starke Hardware nicht "vom Weg abkommt".

By Reinhold Stibi Date 2023-04-11 03:46

Danke noch für die Einstellung des Postings das eine wichtige Ergänzung für die Bedeutung
einer starken Hardware ist.
Das ist doch ein gewisser Trost, dass sich starke Hardware auch für die Zukunft noch lohnt
und der Fortschritt in Hard-und Software gemessen werden kann.

Schön ist auch dass es auf Schach.de noch Teilnehmer gibt die nicht mit dem stärksten Programm
und von der Hardware unterhalb eines schnellen 8 Kern/16 Threads Prozessors spielen.
Dadurch kommen doch noch schöne Gewinnpartien zustande.

By Rainer Neuhäusler Date 2023-04-11 11:51

Thomas Zipproth schrieb:

Code:

   Elo Zuwachs pro Zeitverdopplung:
  
  Verdopplungen:  1    2    3    4    5    6   7 

  ELO+ Hert:     83,  58,  44,  29,  22,  12,  7
  ELO+ UHO :    163, 137, 117, 117,  93,  95, 83

Code:

   Turnierdaten:

   # Hert                :  RATING  POINTS  PLAYED   (%)  CFS(%)    W     D    L  D(%)   Rating+
   1 stockfish_64+6.4    :   255.6   511.0    1000    51     ---   24   974    2    97     7
   2 stockfish_32+3.2    :   247.8  1006.0    2000    50     ---   42  1928   30    96    12 
   3 stockfish_16+1.6    :   235.8  1014.5    2000    51     ---   75  1879   46    94    22
   4 stockfish__8+0.8    :   213.5  1010.0    2000    51     ---  104  1812   84    91    29
   5 stockfish__4+0.4    :   184.2  1020.0    2000    51     ---  155  1730  115    87    44 
   6 stockfish__2+0.2    :   140.6  1019.5    2000    51     ---  202  1635  163    82    58
   7 stockfish__1+0.1    :    83.0  1034.5    2000    52     ---  281  1507  212    75    83
   8 stockfish_0.5+0.05  :     0.0   384.5    1000    38     ---   27   715  258    72

   # UHO                 :  RATING  POINTS  PLAYED   (%)  CFS(%)    W     D    L  D(%)   Rating+
   1 stockfish_64+6.4    :   801.9   589.5    1000    59     ---  311   557  132    56    83
   2 stockfish_32+3.2    :   719.3  1013.0    2000    51     ---  466  1094  440    55    95
   3 stockfish_16+1.6    :   624.5   998.0    2000    50     ---  462  1072  466    54    93
   4 stockfish__8+0.8    :   531.6  1022.5    2000    51     ---  498  1049  453    52   114
   5 stockfish__4+0.4    :   417.5  1003.0    2000    50     ---  483  1040  477    52   117
   6 stockfish__2+0.2    :   300.5  1021.5    2000    51     ---  496  1051  453    53   138 
   7 stockfish__1+0.1    :   163.0  1026.0    2000    51     ---  542   968  490    48   163
   8 stockfish_0.5+0.05  :     0.0   326.5    1000    33     ---  105   443  452    44

Als Fazit folgt daraus, dass Computerschach wohl nur bei der Ausgangsstellung und vergleichbaren Stellungen ausgereizt ist.
Dagegen bringt bei Startstellungen mit einer Bewertung von ca. +/- 1.1 jeder Geschwindigkeitszuwachs wieder etwas.
Ein Abflachen des Elogewinns bei unbalancierten Stellungen ist bei normalen Bedenkzeiten bisher nicht erkennbar.
Die Weiterentwicklung des Computerschachs bzw. der Engines scheint bei unbalancierten Stellunen noch lange nicht
an einem Ende angekommen zu sein. Das deckt sich auch mit meiner Beobachtung, dass bei z.B. 1.g4
auch bei nahezu beliebig hoher Bedenkzeit keinerlei Tendenz in Richtung Remis oder Sieg für Schwarz erkennbar ist.
Thementurniere mit unbalancierten Stellungen (siehe auch TCEC) würden wieder interessante Partien ermöglichen.

Hammer.., die Studie trifft genau ins Zentrum der aktuellen Diskussion über Sinn oder Unsinn von Enginewettkämpfen und -Turnieren. Demnach kann es getrost weitergehen, wenn das keine gute Nachricht für das Computerschach ist.
Wenn die Studie reliabel und valide ist, dann müssten wohl einige Ranglistenbetreiber ihre Eröffnungssuiten einer kritischen Revision unterziehen und sie brauchen sich keine Sorgen zu machen, inwieweit eine Aufwertung der Hardware noch Sinn macht oder nicht.
Weitere Experimente bzw. Turniere, die Auskunft darüber geben, in welchem Verhältnis der Zuwachs von Bedenkzeit (Time Control) und Rechengeschwidigkeit (Hardware=CPU, Taktung, RAM) zueinander stehen, wären sinnvoll.

Lange Zeit galten ja ausgeglichene Teststellungen und neutrale Endstellungen in Stellungstests und Eröffnungssuiten als verpflichtend. Wehe es kam der Verdacht auf, dass hier evtl. die Bevorzugung einer Engine vorliegen könnte. Ich erinnere nur an die Debatten um die Turniere von Enrique Irazoqui ( Cadaqués Tournament 2001) und die Testsuite 1 von John Nunn.

Ich habe, angesichts dieser Befunde, schon eine ganz konkrete Vorstellung, möglichst einfach zu einer neuen „unausgeglichenen“ Testsuite zu kommen

Noch eine rein forumstechnische Frage: Wie kriegst du die schönen Tabellen hin ? Bei mir klappst mal besser, mal schlechter, ersteres sogar manchmal ohne „tt“ oder „<code>. Sind die Rohdaten das entscheidende, - ob die Tabelle von einem Editor bzw. Textprogramm kommt -, ist Proportionalschrift oder Courier die entscheidende Sache ? Hält manchmal ganz schön auf, die Abstandstastenklopferei .
Rainer
.
.

By Thomas Zipproth Date 2023-04-11 15:22

Rainer Neuhäusler schrieb:

Ich hatte hatte mir mal eine Methode zurechtgelegt die funktioniert, im Prinzip mache ich folgendes:

Ich stelle notepad oder einen anderen Editor auf einen monospaced font (nicht-proportional Schrift) wie z.B. "Lucida Console"
Ich kopiere den Text der formatiert ausgegeben werden soll, in diesen Editor.
Der Text sollte keine Tabs enthalten, oder man verwendet eine Funktion wie Tabs -> Spaces.
Wenn dieser Text dann im Editor korrekt formatiert ausschaut, dann tut er das auch immer im Code Block "[code][/code]" im Forum.
Nur die erste Zeile muss man evtl. korrigieren.
„tt“ hatte ich noch nie ausprobiert, aber es scheint damit genauso zu funktionieren, beides verwendet einfach eine nicht-proportional Schrift, d.h. einen monospaced font.

Die Möglichkeit eine Proportionalschrift wie die Standard Forumsschrift formatiert darzustellen besteht wohl nicht.
Dann muss man wirklich wie du sagst mühsam manuell Spaces einfügen.

By Rainer Neuhäusler Date 2023-04-11 17:56

Thomas Zipproth schrieb:

Rainer Neuhäusler schrieb:

Danke, da werde ich bei nächster Gelegenheit die Probe aufs Exempel machen.
.
.