Fortschritte bei Ceres

By Lothar Jung Date 2022-01-03 14:06 Edited 2022-01-03 14:14 Upvotes 2

Ein umfassender Überblick über die aktuelle Ceres Entwicklung vom Entwickler auf Discord.

A few quick updates on Ceres progress:

1. I'm using the aforementioned position comparison technique to better understand what candidate feature of Ceres are actually helpful. Although still ongoing, it seems the "deep transposition" feature causes too much distortion at high node counts and I've abandoned that. The uncertainty feature continues to look consistenly helpful, but I'm still trying to conclusively prove it is intrinsically a good idea rather than just a backdoor way of modifying CPUCT. The sibling feature still seems promising but more testing is required.

2. Over the holiday break I completed developed and merged branch ("NoContext") which cleans up a prior design flaw in some internal data structures, thereby simplifying the core search code and making it more performant under high concurrency. Some knps benchmarks:
```
Ceres startpos search benchmarks on Linux with numactl (20mm nodes)
   1-A100 4-A100
badgyal3 66666
v 0.93 276 189
v 0.95 current    306 197
v 0.95 NoContext 322 200
v 0.95 NoContext 215 [max batch size 2048]
```

3. A new subclass of NNEvaluator (neural network evaluator) was created which is more "batch size aware" and paves the way to allow larger max batch size (results posted rencently showed 2048 sized batches yield improved play over the prior 1024). I'll post more on this later.

4. My recent tests of Ceres vs LC0 are showing about 10 Elo superiority for LC0, which is different from the circa 15 Elo inferiority that I had previously seen. part of this difference was traced to improvements to LC0 (also previously I had a bug in attempting to enable the multistream feature of LC0). But also there seems some regression in Ceres play (even against Ceres v0.93).

5. Initial work on identifying and fixing this regression shows it is probably related to limits (time or nodes budget) management. Using timed controls with increment such as 60sec + 1sec we see -10 Elo versus Ceres93. But the very strange thing is that using fixed time or nodes, new Ceres looks much stronger. Consider this test with T75 at fixed budget of 50mm nodes/game on A100 (Linux). We see new Ceres overwhelming defeats Ceres93, while using 13% less time!
```
-----------------------------------------------------------------------------------------------------------------------
| Player | Elo   | +/- | CFS(%) | Points | Played | W-D-L |D(%) | Time   | Nodes    | NPS-avg |
-----------------------------------------------------------------------------------------------------------------------
| Ceres93    | -32   | 15 | 1% |   194.0 | 427   |+140=108-179 | 25 | 54895.38 | 24,756,992,133 |450,985 |
| CeresUCINew| 32 | 15 | 99% | 233.0 | 427   |+179=108-140 | 25 | 48008.46 | 24,391,440,562 | 508,065 |
-----------------------------------------------------------------------------------------------------------------------
```

Natürlich etwas technisch. Aber 10 - 20 Elo dürften drin sein. Hinzu kommt die Entwicklung bei den 40b Netzen.

Lothar

By Max Siegfried Date 2022-01-03 15:33

Ich hoffe die Fortschritte sind genauso groß bei der Vereinfachung der Installation von Ceres wie beim elo Zuwachs.

By Reinhold Stibi Date 2022-01-03 15:55

Die Installation von Ceres ist ein Trauerspiel (Zumutung); das ist auch ein Grund warum so Wenige
mit Ceres spielen; dazu kommt, dass Lc0 immer noch besser als Ceres ist.

By Lothar Jung Date 2022-01-03 17:30 Upvotes 1

Eine völlig laienhafte und unsachliche Einschätzung.
Man soll nicht von sich auf andere schließen.

By Reinhold Stibi Date 2022-01-03 17:41 Upvotes 1

Bist halt auch nicht mehr der Jüngste; da kann man Nachsicht walten lassen
wenn man manches nicht versteht.

By Lothar Jung Date 2022-01-03 18:14

Wieso beurteilst du eine Engine, die du noch nicht mal installiert hast?

By Reinhold Stibi Date 2022-01-03 18:24 Edited 2022-01-03 18:32

Habe Lc0 installiert, das besser ist als Ceres.
Warum sollte ich mich mit Ceres abmühen, wenn es von vornherein klar ist,
dass man damit keinen Stich machen kann. Das belegen Spiele mit Ceres
auf Schach.de
Sogar dein eigener Turnierbericht an anderer Stelle belegen dass Ceres nicht
mithalten kann; gleich 4 Punkte hinter den Spitzenreitern.

By Tobias Lagemann Date 2022-01-03 21:15 Upvotes 2

Hallo Lothar,

manche Schachgenossen verdrängen offenbar, dass Schach mehr ist als die Topengine(s), mit der (denen) man auf Servern oder beim Erstellen von Testsuitebestenlisten reüssieren kann.

Schach ist ja eben doch auch Wissenschaft, ist Forschung. Ist die Auseinandersetzung mit dem Spiel Schach. Das fängt doch bei uns stümpernden Menschen mit der Eröffnungsvorbereitung auf die Gegner bei anstehenden Partien an ... Was geht? Was könnte gehen? Und dann hält man sich doch auch fit in Sachen Endspieltechnik, befasst sich mit dem Mittelspiel. Und eben so arbeiten doch auch Engineprogreammierer. Sie setzen sich mit ihrer Engine auseinander. Was geht? Was geht nicht? Da wird getestet, probiert. Dass da nicht jedes mal eine neue Nr. 1 aus dem Hütchen springt, das sollte doch nicht verwundern.

Und praktischen Nutzen haben doch all diese Engines, selbst mit der Nummer 100 der Enginerangliste lassen sich Bundesligapartien sehr, sehr zutreffend analysieren und die Partien von uns Allerweltsschächern ohnehin.

Aber sei es wie es sei, manche Autofahrer brauchen 2,5to, um von A nach B zu kommen, für manche Urlauber muss es ein noch luxeriöseres Kreuzfahrtschiff sein und Weihnachtsshopping wird erst in New York schön. Wenn es sie glücklich macht, bitteschön, sollen sie das so machen. Aber es wäre nett, wenn dann Engines wie Ceres oder der Lupo oder die Fahrt mit einem Schiff der Köln-Bonner Linie oder der Einkauf in den Einzelhandelsgeschäften vor Ort nicht abgewertet würden. Denn auch all das macht Spaß. Und das ist doch das, was zählt, unser Spaß. Manche verstehen das möglicherweise nicht so ganz.

Viele Grüße
Tobias

By Lothar Jung Date 2022-01-04 10:12 Edited 2022-01-04 10:44

Hallo Tobias,

vielen Dank für Deine Einordnung.

Lc0 gibt es nunmehr seit vier Jahren. Es hat die Schachwelt bereichert und das Computerschach revolutioniert.
Auch die führenden A/B-Engines setzen nun Netze ein, mit einem großen Spielstärkezuwachs.

Die klassische Schachprogrammierung ist ohnehin komplex.
Neuronale Netze, künstliche Intelligenz und Reinforcement Learning sind aktuelle Forschungsgebiete, die die Welt veränderten und weiter verändern werden.

Wir sollten doch dankbar sein, das sich auch im Schach eine solche Entwicklung realisiert.
Damit ist unserer Hobby Gegenstand der KI.

Ein - nicht nur oberflächlicher- Einstieg ist nicht leicht.
Englische Sprachkenntnisse (Discord), andere Suchverfahren (MCTS) und eine, gegenüber den A/B-Engines, wesentlich komplexere Algorithmen gehören zur Einarbeitung.
Mein Ziel war und ist, die Entwicklung in diesem Bereich zu verfolgen und darüber berichten.

Wenn „manche Schachgenossen“ darauf allergisch darauf reagieren und teilweise in Schnappatmung verfallen, liegt das nicht an mir.
Ich bemühe mich sehr objektiv zu berichten. Natürlich gebe ich meine Einschätzungen ab.

Meine inständige Bitte: Bezieht euch bitte auf den Beitrag. Stellt Verständnisfragen. Bringt Ergänzungen. Aber keine Polemik und leere Allgemeinplätze.
Manche „Beiträge“ blähen den Thread unnötig auf und verwirren den „geneigten Leser“.

Liebe Grüße

Lothar