Stockfish/Lc0 Elo mit 1 Node

By Stefan Pohl Date 2022-08-29 12:00 Edited 2022-08-29 12:07 Upvotes 1

Benno Hartwig schrieb:

Wenn ich den Test richtig verstehe, dann es es schon so, dass Lc0 auch ohne Suche, ohne explizietes und wenigstens rudimentäres "den Baum durchlaufen" eine sehr anständige Spielstärke bringt.
Was ein guter Zug ist, erzählt uns dann wohl schon und ganz allein die KI ganz anständig.
Ziehen aus dem KI-Bauch heraus eben.

So ist das. Zumindest solange kein Endspiel erreicht ist. Ich habe mal vor etlichen Monaten ein paar lockere Partien mit einem großen Netz (und eben 1 Knoten) gegen meinen The King Element Brettcomputer (mit 300 MHz ca. 2400-2500Elo) und 30sek/Zug gemacht. Die Partien liefen bemerkenswerterweise immer gleich ab: Lc0 erlangte in Eröffnung und im frühen Mittelspiel immer deutlichen Vorteil, oft auch mit einem Bauerngewinn, schob den King positionell regelrecht zusammen und verlor die Partie dann aber immer im Endspiel.
Das Spielen ohne jede Suche bringt also die Stärken und Schwächen von Lc0 besonders prägnant ans Licht. Und die lauten kurz: Je mehr Figuren vom Brett verschwinden, desto schwächer spielt Lc0. Was ja nix neues ist.
Insofern kann man Lc0 mit großem Netz und ohne Suche kaum seriös einen Elowert zuweisen. Bei vollem Brett sicher deutlich über 2500 Elo. Im Endspiel teilweise amateur- bis anfängerhaft...
Will man selbst gegen Lc0 spielen, oder würde man Lc0 in einen Brettomputer einbauen, so würde ich daher immer dazu raten, lieber ein kleines Netz zu nutzen und mit Suche zu spielen, die man dann ggf. drosselt (auf CPU ist die Suche aber ja sowieso sehr langsam). Das würde eine wesentlich konsistentere Spielstärke ergeben. Eben so mit ein paar Hundert oder 1000 Knoten pro gespieltem Zug. Also so Mephisto III mäßig. Das gäbe dann einen tollen Gegner.

By Lothar Jung Date 2022-08-29 12:35 Edited 2022-08-29 13:28 Upvotes 1

Vielleicht würden 10 nodes (2.500 Elo) und TB6 auch im Endspiel helfen.
Aber 100 (3.000 Elo) plies sicherlich. Zuggeschwindigkeit liegt ohnehin unter 1 sec..
Ist aber auch egal. LcO erreicht im Millisekunden-Bereich eine Weltmeisterspielstärke.

By Max Siegfried Date 2022-08-29 12:37

Lothar Jung schrieb:

Vielleicht würden 10 plies (2.500 Elo) und TB6 auch im Endspiel helfen.

7-Steiner.
Später 8-Steiner.

By Peter Martan Date 2022-08-29 12:51 Edited 2022-08-29 13:00

Veilleicht würden solche Tests (wenn überhaupt, weil ja Eval und Suche weder bei MCTS oder PUCT noch bei A-B wirklich voneinander trennbar sind, mal ganz abgesehen davon, dass Knoten bei den beiden Programmarten völlig Verschiedenes bedeuten) wenigstens ein bisschen mehr sagen, wenn man außer dem Ausspielen von Eröffnungsstellungen (die natürlich in NN und NNUE sowieso viel stärker repräsentiert sind als die späteren, und gerade wenn die das Programm dann auch nur selbst aufs Brett bringt, summiert sich der Eröffnungsvorteil über die Partie natürlich wieder zu 2fachem Vorteil im Mittel- und 3fachem im Endspiel, in dem's zu Stellungen, die der Engine nicht so gut liegen, dann schon viel seltener kommt, wenn sie schon in der Eröffnung in entscheidenden Vorteil kommt) auch ein bisschen Stellungstests mit Mittel- und Endpspielstellungen machte.

Lange vor NNUE und NN gab's die Strategic Testsuite von Swaminathan und Corbit, deren Teststellungen auch nicht mit viel Suche sondern mit ganz kurzen TCs absolviert werden sollten, also auch sozusagen aus der "statischen" Eval heraus gelöst.

Das mal mit LC0 und SF mit z.B.1 bis 2"/Stellung (wäre in kurzer Gesamtzeit erledigt, auch wenn's immerhin 1500 Stellungen sind, in diesem Fall müssten man halt für LC0 vielleicht wirklich die längere Initialisierungszeit pro Stellung dazurechnen für einen möglichst fairen Vergleich) würde wahrscheinlich mehr über die Minimalsuche und die von ihr etwas abgehobene Eval sagen, als solche Knoten- Tests, bei denen noch einmal um ein paar Nummer stärker Äpfel mit Birnen verglichen werden als bei very short time control tests.

Leider funktioniert die gute alte STS so richtig nur mit dem dazu gehörenden eigenen Auswertungsprogramm, das nicht die Zeiten zählt, sondern die Punkte, die für die Stellungen, von denen die meisten mehr als eine Lösung haben, vordefiniert vom GUI vergeben werden.

https://sites.google.com/site/strategictestsuite/sts-stat

Und dieses STS Stat- Programm von Phllippe Gailhac funktioniert auf meinem Rechner leider nicht mehr.
Bringt's jemand unter Windows10 zum Laufen?

Wenn ja, könntest du's ins Programmier- Unterforum schreiben, Lothar, in den Thread über die Engine Test Tools z.B.

By Lothar Jung Date 2022-08-29 13:11 Edited 2022-08-29 13:33

Danke Peter für Deinen Beitrag!

Ja, ein Eröffnungsbuch, das man über Lc0 generieren kann, würde gerade die Stellungsqualität im Mittelspiel verbessern.
Natürlich auch bei den anderen Engines!
Und Lc0 deshalb im Endspiel, zusammen mit TB6, sehr „helfen“. Im Übrigen gibt es schon brauchbare Endspielnetze.
Also weiterhin ein Zero Search Ansatz und fast Null Energie. „Green Lable“.
Die Speichergrösse und Latenz sind sehr gering.

Interessant wäre, wie Du schon erwähnst, ein Rangliste der gängigen Engines, bei Suites und Ranglistenturnieren.
Ich könnte mir vorstellen, dass schon ERET hier ausreichend Erkenntnisse zeitigen würde.
Also ERET Zero Search!

Grüße

Lothar

Richtigstellung: Nodes sind nicht plies. Plies gibt die Zug-Rechentiefe an. Nodes die Berechnungsknoten.
Die Nodes steigern sich mit zunehmender Rechentiefe exponentiell.
Bitte um Nachsicht!

By Peter Martan Date 2022-08-29 13:35 Edited 2022-08-29 13:55

Schau dir mal den STS näher an, Lothar, natürlich könnte man heutzutage da auch beliebig viele Stellungen austauschen und anders bewerten, aber an der Bewertung mit möglichst wenig Suche hat sich, was die an sich gut ausgesuchten (eben nicht als taktische best move- sondern als postionell zu bewertende) Stellungen gar nicht so viel geändert wie an der Hardware- Zeit bei den taktischen, forcierten Zügen, bei denen es viel mehr auf die Suche ankommt und bei der die Hardware- TC viel mehr Rolle spielt.

Das andere Prinzip besteht vor allem darin, dass es selten nur einen einzigen best move gibt, sondern ein paar, die man mit verschieden vielen Punkten als Lösung bewertet.
Das ist natürlich auch Geschmackssache und quantitativ anzupassen, aber die Arbeit, die sich Dann und Swami damals damit gemacht haben, ist durchaus wirklich auch irgendwie zeitlos, finde ich, oder jedenfalls könnte man durchaus auch wieder und noch darauf aufbauen und sie an die heutigen Engines und die heutige Hardware anpassen.
Was notwendig ist für solche Stellungen, ist die multiple Lösung in der Suite als Ergebnis ausgewertet.

An sich geht das mit Fritz durchaus auch fast gleich gut, man muss nur in der .cbh dem alternativen Lösungszug, wenn er annähernd gleich gut ist wie die Hauptlösung, das = als Kommentar voranstellen (RR-äquivalent ist), dann erkennt das das GUI in einer Testsuite genau so als gelöst an wie den der HV.

Ich arbeite an so etwas auch schon länger, ich nehme überhaupt Eröffnungsstellungen dazu und als Lösungskriterium die Statistik großer Datenbanken, aber dir muss ich nicht sagen, was das für eine Arbeit de novo ist. Und was wirklich schwer zu klassifizieren ist, ist der Schweregrad von Eröffnungsstellungen, wenn die Lösungszeiten als lauter Minimatches zwischen je 2 Engines anhand jeder einzelnen Stellung gewertet, das Hauptkriterium darstellen, wie es EloStatTS macht, spielt zu leicht, wenn sie alle gleich leicht sind, ja aber ohnehin eigentlich auch wieder viel weniger Rolle.

Mit STS hab' ich auch schon mal angefangen, aus den Punkten einfach die 2, 3 best gereihten in der .cbh auf äquivalent zu setzen, aber das Beste an den Stellungen, die Punkte, gehen damit doch verloren und das Auswertungssystem des STS- Stat war genial, es gab dann auch noch ein Elo- Umrechnungsprogramm von Matthias Gemuh, das aus den STS- Punkten Elo ausgerechnet hat im Vergleich der Teilnehmer.
Wirklich schade, dass ich es nicht mehr zum Laufen bringe auf meinen heutigen Rechnern.

By Lothar Jung Date 2022-08-30 19:45 Edited 2022-08-30 19:58 Upvotes 1

Tests mit 4, 2 und 1 Nodes:

File name : Stockfish+Test+Suite+2021.pgn
Total test items   : 238
Test for    : best moves
Total engines : 1
Timer : nodes: 4
Expand ply    : 0
Elapsed : 00:04
Total tests : 238
Total corrects    : 8 (3%)
Ave correct elapse : 1 ms
Status    : completed

Correct/Total:
Stockfish 14.1: 8/238

Failed tests (hit *):
1. Stockfish 14.1:
0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 42, 43, 44, 45, 46, 47, 48, 49, 50, 51, 52, 53, 54, 55, 56, 57, 58, 59, 60, 61, 62, 63, 64, 65, 66, 67, 68, 69, 70, 71, 72, 73, 74, 75, 76, 77, 78, 79, 81, 82, 83, 84, 85, 86, 87, 88, 90, 91, 92, 93, 94, 95, 96, 97, 99, 100, 101, 102, 103, 104, 105, 106, 107, 108, 109, 110, 111, 112, 113, 114, 115, 116, 117, 118, 119, 120, 121, 122, 123, 124, 125, 126, 127, 128, 129, 130, 131, 132, 133, 134, 135, 136, 137, 138, 139, 140, 141, 142, 143, 144, 145, 146, 147, 148, 149, 150, 151, 152, 153, 154, 155, 156, 157, 158, 159, 160, 161, 162, 163, 164, 165, 166, 167, 168, 169, 170, 171, 172, 173, 175, 176, 177, 178, 179, 180, 181, 182, 183, 184, 185, 186, 187, 188, 189, 190, 191, 192, 193, 194, 195, 196, 197, 198, 199, 200, 201, 202, 204, 205, 206, 207, 208, 209, 210, 211, 212, 213, 214, 215, 216, 217, 218, 219, 220, 221, 222, 223, 224, 225, 226, 227, 228, 229, 230, 232, 233, 234, 235, 236, 237

Successful tests:
1. Stockfish 14.1:
12, 41, 80, 89, 98, 174, 203, 231

File name : Stockfish+Test+Suite+2021.pgn
Total test items   : 238
Test for    : best moves
Total engines : 1
Timer : nodes: 4
Expand ply    : 0
Elapsed : 00:07
Total tests : 238
Total corrects    : 56 (23%)
Ave correct elapse : 7 ms
Status    : completed

Correct/Total:
Lc0 v0.30.0-dev+git.3b41562: 56/238

Failed tests (hit *):
1. Lc0 v0.30.0-dev+git.3b41562:
0, 1, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 26, 27, 28, 29, 31, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 45, 46, 47, 49, 50, 52, 53, 54, 56, 57, 58, 59, 60, 61, 63, 66, 67, 68, 69, 70, 71, 72, 73, 76, 77, 79, 82, 83, 86, 87, 88, 89, 90, 91, 92, 93, 94, 95, 96, 97, 98, 99, 100, 101, 102, 103, 104, 105, 106, 108, 109, 110, 112, 113, 114, 116, 117, 118, 122, 123, 124, 126, 127, 128, 129, 130, 131, 135, 136, 137, 140, 141, 142, 143, 145, 146, 148, 149, 151, 152, 153, 154, 155, 157, 158, 160, 162, 163, 165, 167, 168, 169, 170, 171, 172, 174, 175, 176, 177, 178, 179, 183, 184, 185, 186, 187, 189, 190, 191, 192, 194, 195, 196, 197, 198, 199, 200, 201, 202, 203, 204, 205, 206, 207, 209, 210, 213, 214, 217, 220, 221, 222, 223, 224, 226, 227, 228, 229, 231, 232, 235, 236

Successful tests:
1. Lc0 v0.30.0-dev+git.3b41562:
2, 25, 30, 32, 44, 48, 51, 55, 62, 64, 65, 74, 75, 78, 80, 81, 84, 85, 107, 111, 115, 119, 120, 121, 125, 132, 133, 134, 138, 139, 144, 147, 150, 156, 159, 161, 164, 166, 173, 180, 181, 182, 188, 193, 208, 211, 212, 215, 216, 218, 219, 225, 230, 233, 234, 237

File name : Stockfish+Test+Suite+2021.pgn
Total test items   : 238
Test for    : best moves
Total engines : 1
Timer : nodes: 2
Expand ply    : 0
Elapsed : 00:08
Total tests : 238
Total corrects    : 55 (23%)
Ave correct elapse : 7 ms
Status    : completed

Correct/Total:
Lc0 v0.30.0-dev+git.3b41562: 55/238

Failed tests (hit *):
1. Lc0 v0.30.0-dev+git.3b41562:
0, 1, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 26, 27, 28, 29, 31, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 45, 46, 47, 49, 50, 52, 53, 54, 56, 57, 58, 59, 60, 61, 63, 66, 67, 68, 69, 70, 71, 72, 73, 76, 77, 79, 82, 83, 86, 87, 88, 89, 90, 91, 92, 93, 94, 95, 96, 97, 98, 99, 100, 101, 102, 103, 104, 105, 106, 108, 109, 110, 112, 113, 114, 116, 117, 118, 122, 123, 124, 126, 127, 128, 129, 130, 131, 135, 136, 137, 140, 141, 142, 143, 145, 146, 148, 149, 151, 152, 153, 154, 155, 157, 158, 160, 162, 163, 165, 167, 168, 169, 170, 171, 172, 174, 175, 176, 177, 178, 179, 183, 184, 185, 186, 187, 189, 190, 191, 192, 194, 195, 196, 197, 198, 199, 200, 201, 202, 203, 204, 205, 206, 207, 208, 209, 210, 213, 214, 217, 220, 221, 222, 223, 224, 226, 227, 228, 229, 231, 232, 235, 236

Successful tests:
1. Lc0 v0.30.0-dev+git.3b41562:
2, 25, 30, 32, 44, 48, 51, 55, 62, 64, 65, 74, 75, 78, 80, 81, 84, 85, 107, 111, 115, 119, 120, 121, 125, 132, 133, 134, 138, 139, 144, 147, 150, 156, 159, 161, 164, 166, 173, 180, 181, 182, 188, 193, 211, 212, 215, 216, 218, 219, 225, 230, 233, 234, 237

File name : Stockfish+Test+Suite+2021.pgn
Total test items   : 238
Test for    : best moves
Total engines : 1
Timer : nodes: 2
Expand ply    : 0
Elapsed : 00:08
Total tests : 238
Total corrects    : 55 (23%)
Ave correct elapse : 7 ms
Status    : completed

Correct/Total:
Lc0 v0.30.0-dev+git.3b41562: 55/238

Failed tests (hit *):
1. Lc0 v0.30.0-dev+git.3b41562:
0, 1, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 26, 27, 28, 29, 31, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 45, 46, 47, 49, 50, 52, 53, 54, 56, 57, 58, 59, 60, 61, 63, 66, 67, 68, 69, 70, 71, 72, 73, 76, 77, 79, 82, 83, 86, 87, 88, 89, 90, 91, 92, 93, 94, 95, 96, 97, 98, 99, 100, 101, 102, 103, 104, 105, 106, 108, 109, 110, 112, 113, 114, 116, 117, 118, 122, 123, 124, 126, 127, 128, 129, 130, 131, 135, 136, 137, 140, 141, 142, 143, 145, 146, 148, 149, 151, 152, 153, 154, 155, 157, 158, 160, 162, 163, 165, 167, 168, 169, 170, 171, 172, 174, 175, 176, 177, 178, 179, 183, 184, 185, 186, 187, 189, 190, 191, 192, 194, 195, 196, 197, 198, 199, 200, 201, 202, 203, 204, 205, 206, 207, 208, 209, 210, 213, 214, 217, 220, 221, 222, 223, 224, 226, 227, 228, 229, 231, 232, 235, 236

Successful tests:
1. Lc0 v0.30.0-dev+git.3b41562:
2, 25, 30, 32, 44, 48, 51, 55, 62, 64, 65, 74, 75, 78, 80, 81, 84, 85, 107, 111, 115, 119, 120, 121, 125, 132, 133, 134, 138, 139, 144, 147, 150, 156, 159, 161, 164, 166, 173, 180, 181, 182, 188, 193, 211, 212, 215, 216, 218, 219, 225, 230, 233, 234, 237

File name : Stockfish+Test+Suite+2021.pgn
Total test items   : 238
Test for    : best moves
Total engines : 1
Timer : nodes: 1
Expand ply    : 0
Elapsed : 00:05
Total tests : 238
Total corrects    : 8 (3%)
Ave correct elapse : 1 ms
Status    : completed

Correct/Total:
Stockfish 14.1: 8/238

Failed tests (hit *):
1. Stockfish 14.1:
0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 42, 43, 44, 45, 46, 47, 48, 49, 50, 51, 52, 53, 54, 55, 56, 57, 58, 59, 60, 61, 62, 63, 64, 65, 66, 67, 68, 69, 70, 71, 72, 73, 74, 75, 76, 77, 78, 79, 81, 82, 83, 84, 85, 86, 87, 88, 90, 91, 92, 93, 94, 95, 96, 97, 99, 100, 101, 102, 103, 104, 105, 106, 107, 108, 109, 110, 111, 112, 113, 114, 115, 116, 117, 118, 119, 120, 121, 122, 123, 124, 125, 126, 127, 128, 129, 130, 131, 132, 133, 134, 135, 136, 137, 138, 139, 140, 141, 142, 143, 144, 145, 146, 147, 148, 149, 150, 151, 152, 153, 154, 155, 156, 157, 158, 159, 160, 161, 162, 163, 164, 165, 166, 167, 168, 169, 170, 171, 172, 173, 175, 176, 177, 178, 179, 180, 181, 182, 183, 184, 185, 186, 187, 188, 189, 190, 191, 192, 193, 194, 195, 196, 197, 198, 199, 200, 201, 202, 204, 205, 206, 207, 208, 209, 210, 211, 212, 213, 214, 215, 216, 217, 218, 219, 220, 221, 222, 223, 224, 225, 226, 227, 228, 229, 230, 232, 233, 234, 235, 236, 237

Successful tests:
1. Stockfish 14.1:
12, 41, 80, 89, 98, 174, 203, 231

File name : Stockfish+Test+Suite+2021.pgn
Total test items   : 238
Test for    : best moves
Total engines : 1
Timer : nodes: 1
Expand ply    : 0
Elapsed : 00:05
Total tests : 238
Total corrects    : 32 (13%)
Ave correct elapse : 3 ms
Status    : completed

Correct/Total:
Lc0 v0.30.0-dev+git.3b41562: 32/238

Failed tests (hit *):
1. Lc0 v0.30.0-dev+git.3b41562:
0, 1, 2, 3, 4, 5, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 20, 21, 22, 24, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 50, 51, 52, 53, 54, 55, 57, 58, 59, 60, 61, 63, 64, 65, 66, 67, 68, 69, 70, 71, 72, 73, 74, 76, 77, 78, 79, 80, 81, 82, 83, 85, 86, 87, 88, 89, 91, 92, 93, 94, 95, 96, 97, 98, 99, 100, 101, 102, 103, 104, 105, 106, 108, 109, 110, 111, 112, 113, 114, 116, 117, 118, 119, 120, 121, 122, 123, 124, 126, 127, 128, 129, 130, 131, 132, 134, 135, 136, 137, 139, 140, 141, 142, 143, 145, 146, 147, 148, 149, 151, 152, 153, 154, 155, 156, 157, 158, 159, 160, 162, 163, 164, 166, 167, 168, 169, 170, 171, 172, 174, 175, 176, 177, 178, 179, 181, 183, 184, 185, 186, 187, 189, 190, 191, 192, 193, 194, 195, 196, 197, 198, 199, 201, 202, 203, 204, 205, 206, 209, 210, 212, 213, 214, 216, 217, 218, 219, 220, 221, 222, 223, 224, 225, 226, 227, 228, 229, 230, 232, 233, 235, 236

Successful tests:
1. Lc0 v0.30.0-dev+git.3b41562:
6, 19, 23, 25, 48, 49, 56, 62, 75, 84, 90, 107, 115, 125, 133, 138, 144, 150, 161, 165, 173, 180, 182, 188, 200, 207, 208, 211, 215, 231, 234, 237

und mit einer Sekunde:

File name : Stockfish+Test+Suite+2021.pgn
Total test items   : 238
Test for    : best moves
Total engines : 1
Timer : movetime: 1
Expand ply    : 0
Elapsed : 03:12
Total tests : 238
Total corrects    : 53 (22%)
Ave correct elapse : 64 ms
Status    : completed

Correct/Total:
Stockfish 14.1: 53/238

Failed tests (hit *):
1. Stockfish 14.1:
0, 1, 2, 3, 4, 5, 9, 11, 13, 14, 15, 16, 17, 20, 22, 27, 28, 29, 30, 31, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 45, 46, 47, 48, 49, 50, 51, 52, 53, 54, 55, 56, 57, 58, 59, 60, 61, 62, 63, 64, 65, 66, 67, 68, 69, 70, 71, 73, 74, 76, 77, 78, 79, 80, 82, 83, 86, 87, 88, 89, 91, 92, 93, 94, 95, 96, 97, 98, 99, 100, 101, 102, 103, 105, 106, 107, 108, 109, 111, 112, 113, 115, 116, 117, 118, 119, 121, 122, 123, 124, 125, 126, 127, 128, 129, 130, 131, 135, 136, 137, 139, 140, 141, 142, 143, 144, 145, 147, 149, 150, 151, 152, 154, 155, 156, 157, 159, 160, 161, 162, 163, 165, 166, 167, 168, 170, 171, 172, 173, 175, 177, 178, 180, 181, 183, 185, 188, 189, 190, 191, 192, 193, 195, 196, 197, 198, 200, 201, 202, 205, 206, 208, 209, 210, 211, 212, 213, 214, 215, 217, 218, 219, 221, 222, 224, 225, 226, 227, 228, 229, 230, 232, 233, 236

Successful tests:
1. Stockfish 14.1:
6, 7, 8, 10, 12, 18, 19, 21, 23, 24, 25, 26, 32, 44, 72, 75, 81, 84, 85, 90, 104, 110, 114, 120, 132, 133, 134, 138, 146, 148, 153, 158, 164, 169, 174, 176, 179, 182, 184, 186, 187, 194, 199, 203, 204, 207, 216, 220, 223, 231, 234, 235, 237

File name : Stockfish+Test+Suite+2021.pgn
Total test items   : 238
Test for    : best moves
Total engines : 1
Timer : movetime: 1
Expand ply    : 0
Elapsed : 02:32
Total tests : 238
Total corrects    : 101 (42%)
Ave correct elapse : 91 ms
Status    : completed

Correct/Total:
Lc0 v0.30.0-dev+git.3b41562: 101/238

Failed tests (hit *):
1. Lc0 v0.30.0-dev+git.3b41562:
0, 1, 3, 4, 5, 7, 8, 9, 11, 12, 13, 14, 15, 16, 17, 18, 20, 21, 22, 23, 26, 27, 29, 33, 35, 36, 37, 38, 39, 40, 41, 42, 45, 46, 47, 50, 53, 54, 57, 59, 60, 61, 63, 66, 68, 69, 71, 73, 76, 77, 79, 82, 83, 86, 87, 88, 89, 91, 92, 94, 95, 96, 97, 98, 99, 101, 102, 104, 106, 108, 109, 110, 113, 114, 117, 122, 123, 124, 127, 128, 129, 130, 131, 135, 136, 137, 141, 142, 143, 145, 148, 149, 151, 152, 154, 155, 157, 160, 163, 167, 168, 170, 171, 172, 175, 176, 177, 178, 179, 183, 184, 185, 187, 189, 192, 195, 196, 197, 198, 200, 201, 202, 204, 205, 206, 209, 210, 213, 220, 221, 223, 224, 228, 229, 232, 235, 236

Successful tests:
1. Lc0 v0.30.0-dev+git.3b41562:
2, 6, 10, 19, 24, 25, 28, 30, 31, 32, 34, 43, 44, 48, 49, 51, 52, 55, 56, 58, 62, 64, 65, 67, 70, 72, 74, 75, 78, 80, 81, 84, 85, 90, 93, 100, 103, 105, 107, 111, 112, 115, 116, 118, 119, 120, 121, 125, 126, 132, 133, 134, 138, 139, 140, 144, 146, 147, 150, 153, 156, 158, 159, 161, 162, 164, 165, 166, 169, 173, 174, 180, 181, 182, 186, 188, 190, 191, 193, 194, 199, 203, 207, 208, 211, 212, 214, 215, 216, 217, 218, 219, 222, 225, 226, 227, 230, 231, 233, 234, 237

By Peter Martan Date 2022-08-30 21:08 Edited 2022-08-30 21:31

Was du da mit den taktischen Suiten machst, ist für sich allein betrachtet auch nicht uninteressant, ich halte es aber deshalb für zusätzlich unübertragbar auf jedwede anderen Testergebnisse, weil das eben Stellungen sind (oder sein sollten), die nur mit einer gewissen Suchtiefe (aus den richtigen Gründen) sollten gelöst werden.

Die vom STS wären dazu gedacht, aus der Eval mit Minimalsuche die richtige Lösung zu bekommen. Da könntest du eher mit Minimalzeit oder -Tiefe testen und zwischen verschiedenen Engines vergleichen, weil das Ergebnis, da wo die richtige "statische" Eval das richtige Ergebnis liefert, das eben seltener Zufallserfolge sein sollten, und es sollten halt Stellungen sein, die mit ganz wenig Suche auch schon eine richtige Zugwahl aus den richtigen Gründen ermöglichen sollten.

Je näher ich mir allerdings den alten STS anschaue, um so weniger Lösungen bleiben für die heutigen Engines so, wie sie ursprünglich bewertet wurden, eigentlich ist er genau so unbrauchbar wie die Stockfish Testsuite, weil ob eine Engine falsch bewertet wird in einem taktischen oder in einem positionellen Test, macht keinen großen Unterschied.
Vergiss, was ich darüber schrieb, außer, dass die Arbeit, ihn ganz neu zu überarbeiten, vielleicht wirklich der Mühe wert wäre, eine Zeit lang probier' ich's noch, du siehst aber den Unterschied zu deinen jetzigen Versuchen sofort, wenn du das mit den alten Ergebenissen mit den damaligen Engines vergleichst, da haben diese Stellungen mit der damaligen Hardware auch deshalb soviele sein müssen, weil sie selbst mit ganz kurzen TCs großteils gelöst wurden, es war und ist einfach ein anderes Prinzip als das der taktischen single best moves, die möglichst hart an der Lösbarkeit ausgesucht sind, mit gerade noch praktikabler TC bis hin zu 30 Minuten/Stellung (aber dafür single threaded) von Vincent Lejeune und seinem Hard Talkchess Set.

Bei etwas schwierigeren taktischen Stellungen würde ich fürchten, dass sehr kurze Zeiten jedenfalls keine Absicherung der Zugwahl durch wenigstens die eine oder andere Iteration (Extra- Halbzüge) mehr zulassen und selbst wenn eine Engine nicht nur zufällig fündig wird in der VSTC, ist es dann immer noch bei Stellungen, die erst mit tieferer Suche die tieferen Gründe ihrer Lösungen offenbaren, wahrscheinlich, dass mit mehr Suche sich die positiven Ergebnisse noch einmal um einige vermindern würden, bei denen die richtige Lösung wieder verworfen würde gerade in dem Moment, in dem die Uhr abläuft.

Edit: und dann hast du natürlich noch das prinzipielle Grundproblem, dass mit einem zu wenig an Lösungen relativ zur Zahl der Stellungen die Sache statistisch immer weniger Basis hat und die Reproduzierbarkeit ebenso immer mehr abnimmt.
Da kann dann selbst EloStatTS nichts dran ändern, wo zu wenige Matches sind, weil zu wenige Stellungen zum direkten Vergleich 2er Engines andere Zahlenwerte als 0-0 liefern (oder 2x die maximale Rechenzeit) fehlt so wie bei anderen Eng-Eng-Matches die "Partiezahl".

By Lothar Jung Date 2022-08-30 21:45 Edited 2022-08-30 21:48 Upvotes 1

Den Vergleich mit anderen Testergebnissen hatte ich nie im Sinn.
Die verschiedenen Ergebnisse zeigen, wie stark eine Engine ohne oder mit sehr kurzer Suche ist.
Es ist ein Policy-Test, also ein Test der Qualität des Netzes (NNUE oder Weights) d.h. des inhärenten Schachwissens.
Nicht mehr und nicht weniger. Und welche Verbesserung der Lösungen insbesondere einer guten/schnellen Suche zuzuschreiben sind.
PolicyTemperature Test werden gemacht, um festzustellen welche Netzgröße und Filter nötig sind um bessere Netze zu trainieren.
Durch Policytests lassen sich auch die Netze qualitativ vergleichen.

By Peter Martan Date 2022-08-30 22:37 Edited 2022-08-30 22:45

Schon alles klar, Lothar, aber ob du jetzt verschiedene Engines oder auch nur verschiedene Parameter oder Netze einer Engine vergleichen willst innerhalb ein und desselben Tests, die Einwände gegen die Reproduzierbarkeit und den starken Zufalls- Einfluss bei diesen Stellungen bleiben dieselben.

Da wären positionelle Stellungen (z.B. auch Eröffnungsstellungen), ruhig mit mehreren gleichwertigen Lösungen besser, wenn die Lösungen alle gleichermaßen gezählt werden und die Lösung da tatsächlich mit minimaler Suche praktisch aus der Eval kommt.
Dann ist die Wahrscheinlichkeit der wiederholten (beim nächsten Versuch mit anderen Parametern) Lösung aus den richtigen Gründen viel größer und mit der höheren Zahl der Lösungen (bis zu einer gewissen Grenze, ab der die Diskrimination wieder sinkt, dann wird der Zufall immer noch kleiner, aber die Messunterschiede auch) wächst die statistische Relevanz und die Vergleichbarkeit 2er Runs.

Edit: ich schick' dir morgen im Lauf des Tages erste 100 aus dem STS entnommene Stellungen in einer .cbh, in der gleichwertige Lösungen gleich gewertet werden, würde mich selbst interessieren, wie das dann damit in deinen Tests ausschaut.

By Lothar Jung Date 2022-08-31 07:37

Hallo Peter,

bitte als pgn. Sonst kann ich nicht mit nodes testen.

Grüße

Lothar

By Peter Martan Date 2022-08-31 08:26 Edited 2022-08-31 08:58

Hab's schon geschickt, in .pgn kannst du ja leicht umbauen, einfach im Fritz eine neue anlegen und die Partien rüber kopieren. Aber EloStatTS geht nur mit .cbh und für solche Versuche, bei denen's bei den positionellen (aus der Eval und somit auch mit Ultra Short TC lösbaren) Stellungen auf die Matches Eng-Eng pro Stellung ankommt, würde ich unbedingt zu EloStatTS raten. Und in diesem einen Fall der Vorgabe einzelner Sekunden kommt's vermutlich wirklich auch drauf an, dass du jede Engine einmal über die Offset.cbh laufen lässt vor dem ersten Run mit den eigentlichen Teststellungen. Ich hatte zum ersten Mal in meinem Umgang mit dem Programm mii LC0 den Fall einer ungelösten Offset- Stellung, und die hab' ich sicherheitshalber sogar mit 2"/Stellung laufen lassen. LC0 verhält sich da anscheinend wirklich, was die Initialisierung angeht, eher wie einer der alten Dedicateds als wie ein moderner A-B-Sucher, ich sag's dir nur, weil du darauf schon auch Rücksicht nehmen musst beim Ablaufen einer Suite, bei der ja die Engine beim Laden jeder neuen Stellung wieder die Initialisierungszeit braucht. Und in der Offset.cbh sind wirklich nur lauter einfachste Schlagzüge drin, die wirklich praktisch ohne Suche zu lösen sind.
Ich kann dir die Offset.cbh auch noch schicken, damit du mal siehst, was für Stellungen wirklich Ultra- Short- TC- "sicher" sein sollten. Auch "nur" so etwas wie Eret z.B. braucht schon viel zuviel Suche zu anderen als reinen Zufalls- Lösungen.

Aus der Liesmich- Datei vom EloStatTS- Programm:

Zitat:

Im Lieferumfang des Programms EloStatTS befindet sich eine Datenbank mit dem Namen ’Offset.cbh’. Sie besteht aus einer Anzahl von Trivialstellungen, in denen eine Seite gerade eine Figur eingestellt hat und die andere Seite durch einen Schlagzug die Figur gewinnen kann. Der entsprechende Zug ist mit großem Abstand der beste in der jeweiligen Stellung. Dies bedeutet, dass jedes gängige Schachprogramm, das zumindest über eine rudimentäre Bewertungsfunktion verfügt, den Lösezug auf Rechentiefe 1 oder 2, also praktisch sofort finden und beibehalten sollte.

Diese ersten 100 haben sich bei 1" halt für diese beide Engines als zu leicht erwiesen, wären's wie geschrieben 1000 (und oder zusätzlich andere Engines oder Settings), wären erstens 10x mehr ungelöste dabei und zweitens hättest du anhand der vielen Matches dann auch schon bei einem einzelnen Run eine Diskrimination außerhalb der error bar, anhand der Zeit- Matches, und das ist ja das einzige, was du erreichen kannst, dass du zwei Engines oder Settings oder Netze signifikant unterscheidest.

P.S. Vergiss die Nodes für LC0, wenn du mich fragst. Was hast du davon zu wissen, dass ein Netz oder ein Backend mit gleich wenigen Nodes pro Stellung besser abschneidet?
Mit A-B-Nodes kannst du's sowieso nicht vergleichen, so what?

By Lothar Jung Date 2022-08-31 11:16 Upvotes 1

Hallo Peter,

die Datei ist noch nicht angekommen.
Wohin hast Du sie geschickt?

Was grundsätzliches:

Ich bin an Ranglisten zwischen Engines nur mäßig interessiert.
Mich interessiert das Abschneiden der neues Stockfish Version im Verhältnis zu Lc0 als Goldstandard.

Das auffinden der stärksten Lc0 Engine mit dem besten Netz und den damit passenden Parameter ist mein Interesse.
Das sieht bei SF völlig anders aus. Das ist ein fertiges System ohne sich den Kopf zu zerbrechen.

Hinsichtlich Lc0 ist das überhaupt nicht einfach!

Wir haben mehrere EngineVersionen und zwei Netze, täglich neue Netzversionen und jeweils andere Hardwareplattformen.

Die Entwickler haben für das anstehende CCC-Turnier eine spezifische Engine, ein aktuelles T78 Netz und spezifische Parameter veröffentlicht (siehe dazu mein Thread).
Das heißt aber nicht, das für einen anderen Zweck, d.h. andere Hardware und Zeitvorgaben, diese Kombi die optimale ist.

Also, das versuche ich rauszufinden.

Bisher mit Erfolg: ServerElo 2931 und auf Augenhöhe mit saustarker PC Hardware; meine GPU ist eine RTX 3060m.

Zum Policy-Test: Der ist ziemlich unabhängig von der Hardware.
Man testet die Qualität der Netze: NNUE von SF und Lc0-Netze unabhängig von der Qualität der Suche und der Suchtiefe (Hardwareabhängigkeit).
Die Suites geben da, gerade innerhalb von Lc0, bei größeren Abständen, belastbare Anhaltspunke.
Daneben werden auf Discord Policy-Turniere zwischen Netzen ausgetragen.

Grüße

Lothar

By Jörg Oster Date 2022-08-31 11:13 Upvotes 1

Lothar Jung schrieb:

Das mag für Lc0 zutreffen, nicht aber für Stockfish. Oder zumindest nur bedingt.
Was meinst du hier mit (NNUE oder Weights)?

Das NNUE von Stockfish hat keinen policy head.
Außerdem sucht Stockfish immer eine gewisse Anzahl von nodes, auch mit "go nodes 1" oder "go movetime 1".
Will sagen, deine Tests mit Stockfish mit 1, 2 und 4 nodes testen mehr oder weniger immer das gleiche.

Wollte man wirklich die Zugsortierung von Lc0, also den policy head, mit der Zugsortierung von Stockfish vergleichen,
müsste man SF erstmal entsprechend abändern.
Dann stösst man schnell auf die nächste Hürde: staged move generation.
Und lässt man alle legalen Züge einer Stellung auf einmal generieren wie bei Lc0, hat man keine Zugsortierung mehr!

Bei Stockfish legt man halt den meisten Wert auf die generelle Spielstärke.

By Lothar Jung Date 2022-08-31 11:22 Edited 2022-08-31 11:24 Upvotes 1

Stockfish: NNUE
Lc0: Weights sind die Netze.

Das SF NNUE keinen Policyhead hat weiß ich, aber das Netz verfügt über Schachwissen.

Die Art der Zugsortierung und deren Qualität ist doch Gegenstand des Tests.

Wie gesagt, mir geht es um den Vergleich von Lc0-Netzen ohne Suche, oder mit rudimentärer Suche.

Lothar

By Max Siegfried Date 2022-08-29 13:21

Stockfish Test Suite 2021
1 Sekunde pro Zug
7-Steiner
LC0 löst Stellungen, welche Stockfish nicht lösen kann.

By Lothar Jung Date 2022-08-29 16:01 Edited 2022-08-29 16:15

Hier 2 Turniere auf Discord zwischen einem T60 und einem T80 Netz mit 1 und 100 Node(s):

**Match** T60-609958 vs T80-803817 on 1 Node
**LC0 version:** v0.29.0 DNNL
**LC0 options:** threads=1, taskworkers=0, max-prefetch=0, minibatch-size=1
**Hardware:** CPU Intel I5 9th gen
**Time control:** inf; Lc0 - nodes=1
**Book:** 2600_8mvs_20k.pgn sequential
**Adjudication:** 2/900cp for win, 35/10/12cp for draw
**Software:** Cutechess-cli
**Comment:** 2000 games (color swap).
```   # PLAYER : RATING ERROR POINTS PLAYED   (%) CFS(%) W D L D(%)
   1 Lc0.net.609958 :    0.0   ---- 1046.0 2000 52.3 99 757 578 665 28.9
   2 Lc0.net.803817 :   -16.2   13.0   954.0 2000 47.7    --- 665 578 757 28.9

White advantage = 15.46 +/- 6.47
Draw rate (equal opponents) = 28.98 % +/- 1.00```
bonus
**Match** T60-609958 vs T80-803817 on 100 Node
**LC0 options:** threads=1, taskworkers=0, max-prefetch=0, minibatch-size=4
**Comment:** 100 games (color swap).
```Score of Lc0.net.803817 vs Lc0.net.609958: 25 - 22 - 53 [0.515] 100
... Lc0.net.803817 playing White: 17 - 7 - 26 [0.600] 50
... Lc0.net.803817 playing Black: 8 - 15 - 27 [0.430] 50
... White vs Black: 32 - 15 - 53 [0.585] 100
Elo difference: 10.4 +/- 46.9, LOS: 66.9 %, DrawRatio: 53.0 %```

Der Ausgang ist unterschiedlich.
Das 1 Node Turnier wurde mit Buch gespielt.
Die Remisrate bei 1 Node lag bei 29%, bei 100 Node 53%.
Nützlich sind die Engine Parameter.

Hier ein Vergleich zwischen 1 Node T80 und SF14 10k Nodes:

803575 had some drop in 1node play, 803597 got it back
```T80 nets on 1 Node vs SF14 Classic 10k Nodes
   # PLAYER: RATING ERROR POINTS PLAYED   (%) CFS(%)    W D    L D(%)
112 SF14CL1T:   0.0   ---- 190920.0 376800 50.7 50 157147 67546 152107 17.9
.
123 803154: -6.5   13.9    981.5 2000 49.1 51    801 361    838 18.1
.
163 803597:   -14.4   14.2    959.0 2000 48.0 50    784 350    866 17.5
182 803595:   -17.6   13.3    950.0 2000 47.5 51    777 346    877 17.3
188 803529:   -18.6   14.0    947.0 2000 47.4 51    784 326    890 16.3
.
201 803501:   -21.4   14.2    939.0 2000 47.0 50    783 312    905 15.6
212 803516:   -23.4   14.3    933.5 2000 46.7 52    771 325    904 16.3
215 803585:   -25.0   14.0    929.0 2000 46.5 51    765 328    907 16.4
219 803552:   -26.4   13.9    925.0 2000 46.3 51    772 306    922 15.3
.
241 803575:   -36.4   14.2    896.5 2000 44.8 53    741 311    948 15.6```

By Olaf Jenkner Date 2022-08-29 14:21 Upvotes 1

Stefan Pohl schrieb:

Je mehr Figuren vom Brett verschwinden, desto schwächer spielt Lc0.

Vielleicht hilft es, wenn man für jede Brettfüllung ein speziell trainiertes Netz einsetzt.
Idealerweise hätte man für jedes Figurenverhältnis ein Netz. Das ist zwar kaum machbar,
aber theoretisch vorstellbar und bis dahin kann man es ja erst mal mit "nur" zehn Netzen versuchen.

By Reinhold Stibi Date 2022-08-30 06:55 Edited 2022-08-30 07:14

Lc0 mit 1 Node und ohne Suche mag zwar insgesamt eine gute Elo haben aber beim
Endspiel dürfte ein erschreckend schlechtes Ergebnis stehen.
Bei manchen Spielen nur Haare sträubend.

Ich erinnere mich zurück als Lc0 eine ausgezeichnete Elo hatte
aber nicht in der Lage war mit 2 Türmen oder 1 Dame zu gewinnen;
da wurden total unsinnige Züge gemacht.
Ein Gewinn wurde oft durch unsinnige Züge hinausgezögert.

Mit 1 Node können wahrscheinlich die tbs überhaupt nicht eingebunden
werden. Auch heute noch greift Lc0 sehr spärlich auf die tbs zu.

Das Problem bei Lc0 ist auch jetzt noch die Suche, die erheblich hinter Stockfish
zurücksteht.

Interessant dürften Stellungstests mit dem besten Lc0 von jetzt gegen Stockfish
mit nur 1 Sek. pro Zug Bedenkzeit sein. Werde diese gegen Abend vornehmen.

By Lothar Jung Date 2022-08-30 14:00 Edited 2022-08-30 14:51

Hier die Ergebnisse von HTC114 mit 0,03 sec. mit Lc0 (aktuell stärkstes T80 Netz ohne TBs).
GUI: BanksiaGUI.
Die gelösten Stellungen wurden mit 3-4 nodes berechnet.
Mit TBs werden 44/144 gelöst. Das zu der Frage, das im Endspiel keine TBs verwandt werden können.

File name : HTC114.epd
Total test items   : 114
Test for    : best moves
Total engines : 1
Timer : movetime: 0.03
Expand ply    : 0
Elapsed : 00:07
Total tests : 114
Total corrects    : 40 (35%)
Ave correct elapse : 13 ms
Status    : not completed

Correct/Total:
Lc0 v0.30.0-dev+git.3b41562: 40/114

Failed tests (hit *):
1. Lc0 v0.30.0-dev+git.3b41562:
Hard-Talkchess-2020.001, Hard-Talkchess-2020.002, Hard-Talkchess-2020.003, Hard-Talkchess-2020.008, Hard-Talkchess-2020.010, Hard-Talkchess-2020.011, Hard-Talkchess-2020.012, Hard-Talkchess-2020.013, Hard-Talkchess-2020.019, Hard-Talkchess-2020.021, Hard-Talkchess-2020.023, Hard-Talkchess-2020.028, Hard-Talkchess-2020.034, Hard-Talkchess-2020.036, Hard-Talkchess-2020.038, Hard-Talkchess-2020.039, Hard-Talkchess-2020.047, Hard-Talkchess-2020.049, Hard-Talkchess-2020.050, Hard-Talkchess-2020.052, Hard-Talkchess-2020.053, Hard-Talkchess-2020.054, Hard-Talkchess-2020.056, Hard-Talkchess-2020.061, Hard-Talkchess-2020.065, Hard-Talkchess-2020.066, Hard-Talkchess-2020.067, Hard-Talkchess-2020.068, Hard-Talkchess-2020.069, Hard-Talkchess-2020.070, Hard-Talkchess-2020.074, Hard-Talkchess-2020.078, Hard-Talkchess-2020.081, Hard-Talkchess-2020.083, Hard-Talkchess-2020.087, Hard-Talkchess-2020.089, Hard-Talkchess-2020.090, Hard-Talkchess-2020.094, Hard-Talkchess-2020.095, Hard-Talkchess-2020.096, Hard-Talkchess-2020.097, Hard-Talkchess-2020.099, Hard-Talkchess-2020.103, Hard-Talkchess-2020.105, Hard-Talkchess-2020.108, Hard-Talkchess-2020.109, Hard-Talkchess-2020.110, Hard-Talkchess-2020.113, Hard-Talkchess-2020.116, Hard-Talkchess-2020.122, Hard-Talkchess-2020.125, Hard-Talkchess-2020.126, Hard-Talkchess-2020.129, Hard-Talkchess-2020.131, Hard-Talkchess-2020.133, Hard-Talkchess-2020.135, Hard-Talkchess-2020.140, Hard-Talkchess-2020.144, Hard-Talkchess-2020.159, Hard-Talkchess-2020.160, Hard-Talkchess-2020.164*, Hard-Talkchess-2020.169, Hard-Talkchess-2020.170, Hard-Talkchess-2020.177, Hard-Talkchess-2020.179, Hard-Talkchess-2020.182, Hard-Talkchess-2020.183, Hard-Talkchess-2020.184, Hard-Talkchess-2020.186, Hard-Talkchess-2020.191, Hard-Talkchess-2020.195, Hard-Talkchess-2020.196, Hard-Talkchess-2020.209, Hard-Talkchess-2020.210

Successful tests:
1. Lc0 v0.30.0-dev+git.3b41562:
Hard-Talkchess-2020.007, Hard-Talkchess-2020.014, Hard-Talkchess-2020.016, Hard-Talkchess-2020.020, Hard-Talkchess-2020.029, Hard-Talkchess-2020.031, Hard-Talkchess-2020.035, Hard-Talkchess-2020.043, Hard-Talkchess-2020.046, Hard-Talkchess-2020.058, Hard-Talkchess-2020.059, Hard-Talkchess-2020.072, Hard-Talkchess-2020.091, Hard-Talkchess-2020.093, Hard-Talkchess-2020.101, Hard-Talkchess-2020.114, Hard-Talkchess-2020.117, Hard-Talkchess-2020.119, Hard-Talkchess-2020.121, Hard-Talkchess-2020.127, Hard-Talkchess-2020.130, Hard-Talkchess-2020.132, Hard-Talkchess-2020.146, Hard-Talkchess-2020.147, Hard-Talkchess-2020.153, Hard-Talkchess-2020.155, Hard-Talkchess-2020.156, Hard-Talkchess-2020.158, Hard-Talkchess-2020.166, Hard-Talkchess-2020.171, Hard-Talkchess-2020.181, Hard-Talkchess-2020.185, Hard-Talkchess-2020.190, Hard-Talkchess-2020.194, Hard-Talkchess-2020.198, Hard-Talkchess-2020.200, Hard-Talkchess-2020.203, Hard-Talkchess-2020.208, Hard-Talkchess-2020.211, Hard-Talkchess-2020.213

Hier mit SF 14.1: 32/114 mit NNUE und 1 Thread, mit TBs.

File name : HTC114.epd
Total test items   : 114
Test for    : best moves
Total engines : 1
Timer : movetime: 0.03
Expand ply    : 0
Elapsed : 00:06
Total tests : 114
Total corrects    : 32 (28%)
Ave correct elapse : 3 ms
Status    : completed

Correct/Total:
Stockfish 14.1: 32/114

Failed tests (hit *):
1. Stockfish 14.1:
Hard-Talkchess-2020.001, Hard-Talkchess-2020.002, Hard-Talkchess-2020.003, Hard-Talkchess-2020.007, Hard-Talkchess-2020.008, Hard-Talkchess-2020.010, Hard-Talkchess-2020.011, Hard-Talkchess-2020.012, Hard-Talkchess-2020.014, Hard-Talkchess-2020.016, Hard-Talkchess-2020.019, Hard-Talkchess-2020.020, Hard-Talkchess-2020.021, Hard-Talkchess-2020.023, Hard-Talkchess-2020.034, Hard-Talkchess-2020.035, Hard-Talkchess-2020.036, Hard-Talkchess-2020.038, Hard-Talkchess-2020.039, Hard-Talkchess-2020.046, Hard-Talkchess-2020.047, Hard-Talkchess-2020.049, Hard-Talkchess-2020.050, Hard-Talkchess-2020.052, Hard-Talkchess-2020.054, Hard-Talkchess-2020.056, Hard-Talkchess-2020.058, Hard-Talkchess-2020.066, Hard-Talkchess-2020.067, Hard-Talkchess-2020.068, Hard-Talkchess-2020.069, Hard-Talkchess-2020.072, Hard-Talkchess-2020.074, Hard-Talkchess-2020.078, Hard-Talkchess-2020.081, Hard-Talkchess-2020.083, Hard-Talkchess-2020.087, Hard-Talkchess-2020.089, Hard-Talkchess-2020.090, Hard-Talkchess-2020.091, Hard-Talkchess-2020.094, Hard-Talkchess-2020.095, Hard-Talkchess-2020.096, Hard-Talkchess-2020.097, Hard-Talkchess-2020.099, Hard-Talkchess-2020.103, Hard-Talkchess-2020.105, Hard-Talkchess-2020.108, Hard-Talkchess-2020.110, Hard-Talkchess-2020.116, Hard-Talkchess-2020.117*, Hard-Talkchess-2020.121, Hard-Talkchess-2020.122, Hard-Talkchess-2020.125, Hard-Talkchess-2020.126, Hard-Talkchess-2020.131, Hard-Talkchess-2020.133, Hard-Talkchess-2020.135, Hard-Talkchess-2020.144, Hard-Talkchess-2020.146, Hard-Talkchess-2020.147, Hard-Talkchess-2020.159, Hard-Talkchess-2020.160, Hard-Talkchess-2020.164*, Hard-Talkchess-2020.166, Hard-Talkchess-2020.169, Hard-Talkchess-2020.170, Hard-Talkchess-2020.171, Hard-Talkchess-2020.177, Hard-Talkchess-2020.179, Hard-Talkchess-2020.182, Hard-Talkchess-2020.183, Hard-Talkchess-2020.184, Hard-Talkchess-2020.186, Hard-Talkchess-2020.190, Hard-Talkchess-2020.191, Hard-Talkchess-2020.195, Hard-Talkchess-2020.196, Hard-Talkchess-2020.198, Hard-Talkchess-2020.200, Hard-Talkchess-2020.209, Hard-Talkchess-2020.210

Successful tests:
1. Stockfish 14.1:
Hard-Talkchess-2020.013, Hard-Talkchess-2020.028, Hard-Talkchess-2020.029, Hard-Talkchess-2020.031, Hard-Talkchess-2020.043, Hard-Talkchess-2020.053, Hard-Talkchess-2020.059, Hard-Talkchess-2020.061, Hard-Talkchess-2020.065, Hard-Talkchess-2020.070, Hard-Talkchess-2020.093, Hard-Talkchess-2020.101, Hard-Talkchess-2020.109, Hard-Talkchess-2020.113, Hard-Talkchess-2020.114, Hard-Talkchess-2020.119, Hard-Talkchess-2020.127, Hard-Talkchess-2020.129, Hard-Talkchess-2020.130, Hard-Talkchess-2020.132, Hard-Talkchess-2020.140, Hard-Talkchess-2020.153, Hard-Talkchess-2020.155, Hard-Talkchess-2020.156, Hard-Talkchess-2020.158, Hard-Talkchess-2020.181, Hard-Talkchess-2020.185, Hard-Talkchess-2020.194, Hard-Talkchess-2020.203, Hard-Talkchess-2020.208, Hard-Talkchess-2020.211, Hard-Talkchess-2020.213

Übrigens löst Lc0 57/114 mit 0,5 sec., SF nur 38/114!

By Reinhold Stibi Date 2022-08-30 16:18 Edited 2022-08-30 16:21 Upvotes 1

Hinsichtlich tbs:
Lc0 setzt diese sehr spärlich ein im Gegensatz zu Stockfish,
dazu kommt, dass in so kurzer Zeit von 1 Sek. und darunter sich die tbs kaum entwickeln können.

Zu meinem Eigenen Test:

HTC 114 je mit 1 Sek. darunter lässt sich Fritz nicht einstellen; ist auch gar nicht nötig -

Lc0 v0.30.0 Netz 784738 vom 24.08.22 mit 2 RTX 2070 im Verbund entspricht einer RTX 3070 Ti
   schafft in der Grundstellung 30 kN/s.

   53 aus 114   46,4 % 0,53 Sek. Durchschnittszeit

Stockfish vom 29.08.22 mit Ryzen 5970x 64 Threads

   47 aus 114   41,2 %   0,45 Sek. Durchschnittszeit.

Beide Werte von Lc0 und Stockfish sind sehr gut.

Stellungstests besagen aber nicht viel über das praktische Spiel.

Hinsichtlich über das praktische Spiel von Lc0 von 1 bis 10 Node ohne Suche.
Könnte mir vorstellen dass da große Aussetzer von Lc0 auftreten, besonders
im Endspiel.
Der Titel ist deshalb nur theoretisch nicht aber im praktischen Spiel von Bedeutung.
Wer würde denn mit Lc0 mit so einer Einstellung spielen wollen.

By Lothar Jung Date 2022-08-30 16:21 Upvotes 2

Du hast leider nichts verstanden.

By Reinhold Stibi Date 2022-08-30 16:54 Upvotes 1

Wieder eine überhebliche und selbstherrliche Äußerung von dir,
wenn ich bedenke wie oft du etwas falsch verstanden hast.

Immer sich auf Andere beziehen ohne selbst was Eigenes zu bringen;
denke da an die vielen Links, die du wahrscheinlich zum Großteil nicht
verstanden hast.