Hallo Kurt,

vielen Dank für die Blumen.

Auch wenn ich schon einiges mit Excel mache, so gibt es aufgrund der immensen Komplexität und Funktionsumfangs des Programms noch immens viele Excelthemen, die ich noch nie angewendet habe.

Für Excel gilt im Besonderen: „Viele Wege führen nach Rom“

Und hier unterscheiden sich talentierte Anwender wie mich von den wirklichen Spezialisten. Ich habe schon Funktionsabwendungen gesehen, welche mit nur einer komplexen, mir nicht geläufigen Formel zum Ziel führt und bei mir nur mit zusätzlichen Zwischenschritten über Hilfstabellen funktionierten. Das Ergebnis ist letztlich das Gleiche, nur das Programm bleibt bei der kurzen Lösung wesentlich schlanker. Das ist gerade bei großen Tabellen sehr von Bedeutung. Ich habe gerade deswegen schon komplexe Programme komplett neu aufgebaut, um wesentlich schlanker zu werden.

Viele Grüße

Klaus

Dann könnte ich dir für dein Prinzip des Testens mit mehreren Lösungszügen und verschieden vielen Punkten pro richtig gefundenen Zügen noch das hier anbieten:

https://sites.google.com/site/strategictestsuite/sts-elo-estimate

Da geht das Tool von ähnlich vielen Stellungen aus wie du (STS sind 1500) und rechnet die Punkte dann zu Vergleichswerten aus CCRL- Elo um, wenn ich das richtig verstehe. Hab's nie probiert, die Elo- Werte von damals, als das Tool und die STS aktuell waren, müssten wohl angepasst werden.

Ferdinand Mosca hat STS und Auswertung auch mal mit einem eigenen Tool adaptiert:

https://www.chessprogramming.org/Strategic_Test_Suite

http://www.talkchess.com/forum3/viewtopic.php?t=56653

Das mit der Gesamtzeit im Banksia ist mir ehrlich gesagt, so wie die ganze Behandlung von Testsuiten in diesem GUI, (hab' allerdings auch immer noch nur die 0.52beta Version), etwas verdächtig. Bei einer Gesamtzeitvorgabe für eine Partie geht die Engine von durchschnittlichen Partielängen aus, wie sie das bei einer fixen Zahl von unterschiedlich schweren Teststellungen adäquat machen soll, kann ich mir eigentlich nicht wirklich vorstellen. Sie müsste sich dann, wenn sich die automatische Zeiteinteilung irgendwie Partie- konform auswirken sollte, für die (für sie) schwereren Stellungen mehr Zeit nehmen, für die, die sie für leichter hält (nach welchen Kriterien, wenn sie die multiplen Lösungen nicht kennt? Nach dem Prinzip der self fulfilling prophecy? Sie hält den zweitbest gereihten für den besten, der nicht viel schlechter ist an Punkten und geht mit weniger Rechenzeit daher schon zum nächsten Zug, statt bis zum als beste Lösung gereihten weiterzurechnen?) ob das dem Sinn der Gleichbehandlung verschiedener Engines und verschiedener Stellungen nicht genau entgegen wirkt?

Das vielseitigste Auswertungs- Tool ist wohl Chess Artist vom selben Autor wie dem der neuen STS- Version oben, auch von Ferdinand Mosca:

https://github.com/fsmosca/chess-artist

Noch zu deinen Zeitaufwand- Bedenken, abgesehen davon, dass du Fritz auch mehrmals starten kannst (keine Ahnung, ab wievielen Instanzen er dann abstürzt) lasse ich halt statt 22 Engines single thread 1 Engine mit 30 Threads und dafür entsprechend kürzeren Rechenzeiten laufen. SMP- Streuung, naja, schert man sich bei Eng-Eng ja auch nicht drum, bzw. wenn, haben wir damit halt auch schon wieder einen Grund mehr für ein weiteres eigenes Ranking und Rating, in welchen Maßeinheiten auch immer wir es messen

Edit:

Hat mich jetzt doch wieder mal interessiert, bei 10xFritz17 mit 10 verschiedenen Engines, absichtlich ein paar NNUEs dabei und LC0 für die GPU, im Daueranalysemodus kein Problem bisher (läuft jetzt so 10 Minuten).

Genau das geht nicht!

Und wenn das vorliegt wird es einfach:

Max. Punkte und erreichte Punkte:
Daraus könnte etwas gebastelt werden.

z. B. wenn eine Aufgabe innerhalb von 30 Sekunden (der 5-Minuten) gelöst wird = maximal Punktwert x
z. B. wenn keine Lösung aber auf dem Weg zum Lösungszug (Engine 4 in meinem Beispiel) ... zusätzlicher Punktwert x

Und wenn dann optimaler Weise auch die Stellungen selbst so gut ausgewählt werden das das Verhältnis stimmt zwischen:

x Stellungen zu: Nach der Eröffnung
x Stellungen zu: Frühes Mittelspiel
x Stellungen zu: Spätes Mittelspiel
x Stellungen zu: Frühes Endspiel

Endspiel können wir uns schenken ...

Würde ein schöner Test stehen!

Ferner müssen Stellungen rein die für Punktabzug sorgen könnten:
Standardfragen wie ...

1. Wie schätzt die Engine eine bevorstehende Stellungen bei falscher Läufer mit Freibauern am Rand ein.
2. Wie schätzt die Engine eine Stellung mit KSS - Kbb ein.
3. Beherscht die Engine Matt mit KSL - K
4. Beherscht die Engine die korrekte Mattführung und Anzeige des Matts ... also Matt in 14, dann Matt in 13, Matt in 12 ... und nicht Matt in 38, Matt in 19, Matt in 12 etc..

Etc.

Dafür muss ein Punktabzug geben!

Um auch die Programmierer zu annimieren sich die Sachen wirklich mal im Detail anzusehen!
Bei einigen Engines sehe ich immer rot wenn solche Muster aufs Brett kommen!

Und wenn dann bei einem solchen Test zu erkennen ist ...
Das z. B. ein AnMon 1000 Elo hinter einen aktuellen Stockfish liegt ist der Test wirklich gut!

Eine Lebensaufgabe!
Nicht die Formel die entwickelt werden könnte aber die passenden Stellungen zu allen Spielphasen zu haben.

Viele Grüße
Frank

Ein komplett anderer Ansatzpunkt wäre es, die kompletten Züge einer Partie zu bewerten.
Wahrscheinlich könnte eine Auswertung der Züge aus 100 Partien ein genaueres Spielstärkeresultat produzieren als Elo!!!

Genau. Klaus hat mir schon was neues geschickt, gestern noch!!! Muß mich aber erst ein wenig einarbeiten.
Wenn's fertig ist können wir weitermachen mit "TamTam"