Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / CEGT-40/4 aktuell
- - By Wolfgang Battig Date 2020-12-29 01:41 Upvotes 1
Hier ein kurzer Überblick über unsere laufenden 40/4-Tests:

1.) 4-CPU-Turnier gestartet:
https://cegt.forumieren.com/t1422-testing-top-engines-4cpu#2786
Aktualisierung nach jeweils 20 Runden = 300 Partien. Also etwa alle 3 Tage, da das Turnier nur auf einem Rechner läuft

2.) Tests einzelner Engines:
Stoofvlees II a16: https://cegt.forumieren.com/t1421-testing-stoofvlees-ii-a16
Topple 0.8.0 x64 1CPU: https://cegt.forumieren.com/t1420-testing-topple-0-8-0
Minic 3.02 "NaNi" x64 1CPU: https://cegt.forumieren.com/t1419-testing-minic-3-02-nani-narcotized-nightshift
Halogen 9.0 x64 1CPU: https://cegt.forumieren.com/t1418-testing-halogen-9-0
Demolito 2020-10-10 x64 1CPU: https://cegt.forumieren.com/t1417-testing-demolito-2020-10-10
RubiChess 1.9.0 x64 1CPU NNUE: https://cegt.forumieren.com/t1416-testing-rubichess-1-9-0-nnue
Nirvana Chess 2.5 x64 1CPU: https://cegt.forumieren.com/t1412-testing-nirvana-chess-2-5
Parent - - By Wolfgang Battig Date 2021-01-01 02:52 Upvotes 1
Wolfgang Battig schrieb:


1.) 4-CPU-Turnier gestartet:
<a class='ura' href='https://cegt.forumieren.com/t1422-testing-top-engines-4cpu#2786'>https://cegt.forumieren.com/t1422-testing-top-engines-4cpu#2786</a>
Aktualisierung nach jeweils 20 Runden = 300 Partien. Also etwa alle 3 Tage, da das Turnier nur auf einem Rechner läuft

Stand nach 40 Runden nun online!

Zitat:
2.) Tests einzelner Engines:
Stoofvlees II a16: <a class='ura' href='https://cegt.forumieren.com/t1421-testing-stoofvlees-ii-a16'>https://cegt.forumieren.com/t1421-testing-stoofvlees-ii-a16</a>

Nach 600 Partien nun +72. Engine passt gut in die große Lücke hinter den Top3 (Stockfish, LCZero und Dragon). Erfahrungsgemäß wird das Rating noch etwas fallen, denn jetzt kommen die Matches gegen die "Schwachen", also die mit 3350 ELO und weniger...

Zitat:
Minic 3.02 "NaNi" x64 1CPU: <a class='ura' href='https://cegt.forumieren.com/t1419-testing-minic-3-02-nani-narcotized-nightshift'>https://cegt.forumieren.com/t1419-testing-minic-3-02-nani-narcotized-nightshift</a>

Test nach 1500 Partien vorerst beendet. Weitere Partien kommen mit der Zeit hinzu.
Parent - - By Wolfgang Battig Date 2021-01-11 02:42
Ein kurzer Überblick:

1.) Beim 4CPU-Turnier ist nach 100 Runden der Grundstock gelegt. Statt mehr Runden wie ursprünglich geplant werde ich nach und nach weitere Engines integrieren.
Den Auftakt macht LCZero 0.26.3 J92-330. Das passt, da ich diese Version eh gerade für die 40/4 teste. Zudem stört (mich) die Riesenlücke zwischen den beiden Komodos.
Ich gehe davon aus, dass LC0 dazwischen landen wird, da bei dieser Konstellation der Hardwarevorteil bei den CPU-Engines liegt. Zum Ausgleich sind deren ELO-Zahlen deutlich höher als mit 1CPU, sodass es für die Performance von LCZero letztlich egal sein dürfte. Ist nur optisch ungewohnt, LC "nur" an Drei zu sehen...

2.) Weitere Tests:
Pedone 3.0 x64 1CPU NNUE
Wasp 4.50
Arasan 22.2
Parent - - By Wolfgang Battig Date 2021-01-19 02:39 Upvotes 1
1.) Ein Teil-Update für unsere 40/4-Liste ist online. In den nächsten Tagen folgen weitere.
Heute waren es 7700 Partien, die Aufteilung findet Ihr hier.
Die "best singles" findet sich hier
NEU sind:
LCZero 0.26.3 J92-330
Stoofvlees II a16
RubiChess 1.9.0 x64 1CPU NNUE
Pedone 3.0 x64 1CPU NNUE
Wasp 4.50 x64 1CPU
Cheng 4.40 x64 1CPU

2.) Beim 4CPU-Turnier hat LCZero J92-330 seine Partien absolviert und sich - wie erhofft - in die Lücke zwischen den Komodos geschoben. Diese Partien sind im o.g. Teilupdate noch nicht enthalten.
Nächste Engine ist Stoofvlees II a16.
Parent - - By Benno Hartwig Date 2021-01-19 06:34

> ...die Aufteilung findet Ihr hier.


Interessant, wie sich das Volumen der Partien entwickelte.

Wie war es eigentlich in den Jahren 2001 bis 2004 (und wohl noch in 2005 hinein)?
Waren das damals Zeiten, in denen vielleicht noch manuell die Züge übertragen wurden (auch SSDF hatte ja so gestartet, und uns dankenswerterweise einen Einblick in die relativen Spielstärken der Brett-Computer verschafft)?
Parent - By Wolfgang Battig Date 2021-01-19 13:01
Hallo Benno,

ich bin erst seit 2006 bei CEGT. Leider ist aus dieser Zeit keiner mehr dabei. Vielleicht weiß aber Werner Schüle mehr?!

An manuelles Testen glaube ich eher nicht. Arena 1.0/1.1 gab es schon und auch die alten Fritz-GUIs konnten Engine-Matches.
Notfalls gab es noch den Autoplayer Auto232. Der wurde m.W. aber nicht wirklich genutzt, da er die seinerzeit eh knappe(re)n Ressourcen (s.u.) noch halbierte.

Vor meiner CEGT-Zeit, also vor 2006 habe ich schon einige Jahre privat getestet. An manuelles Spielen kann ich mich nicht mehr erinnern...
Klar, zur Brettcomputerzeit ja, das ging ja nicht anders.

Warum zwischen 2001 und 2004 so wenig "geblitzt" wurde, weiß ich nicht. Meine mich aber zu erinnern, dass das zunächst eher ein Versuch von Wilhelm Hudetz war, eine zweite Liste zu etablieren, was aber offensichtlich zunächst nicht so recht gezündet hat.

Es gab die Hauptliste und die wurde mit "40/40" (40 Züge/40 Minuten) gespielt!
Auf seinerzeitiger Hardware sehr aufwändig. Es gab ja praktisch keine Mehrkern-Systeme. Und wenn dann extrem teuer. Da war wenig Platz/Zeit für eine zweite Liste, wenn man halbwegs vernünftige Partienzahlen erreichen wollte.
Zudem hatten die Tester einen, vielleicht zwei Rechner im Einsatz. Bei mir waren es 2006 zwei Rechner mit jeweils einem Kern (=2 Kerne, heute sind es hier 20 Kerne und mehr). Meine es war ein AMD-Sempron und ein AMD-K5 oder K6.

Kann mich noch gut an mein erstes CEGT-"Projekt" erinnern. Ein Turnier für die Blitzliste mit 40 Engines, 10-rundig unter Arena 1.1, also 7800 Partien. Das dauerte damals knapp 3 Monate auf einem der Rechner. Auf meinem derzeitigen Achtkerner mit 7-8 mal gestarteter GUI (Shredder Classic, cutechess oder so) würde das keine 10 Tage dauern...

Hat sich viel getan in der Zeit...
Parent - - By Wolfgang Battig Date 2021-01-20 18:22 Edited 2021-01-20 18:25
Ein weiteres Teil-Update mit diesmal 7000 Partien ist nun online.

Neue Engines/Versionen:
Beef 0.3.6 x64 1CPU
Seer 1.2.1NN x64 1CPU
Koivisto 4.0 x64 1CPU
Orion 0.8NN x64
LCZero 0.26.3 703810

Mehr Details (Zusammenfassung beider Teil-Updates) hat Werner Schüle hier zusammengestellt! Danke Werner!
Parent - By Wolfgang Battig Date 2021-01-23 00:21
Parent - - By Benno Hartwig Date 2021-01-11 09:00

> Erfahrungsgemäß wird das Rating noch etwas fallen, denn jetzt kommen die Matches gegen die "Schwachen", also die mit 3350 ELO und weniger...


Diese Feststellung finde ich interessant (und ich zweifele sie auch überhaupt nicht an!).
Für mich drückt sie aber aus, dass die Grundannahmen des Elo-Systems zumindest auf die Engine-Welt nicht so ganz passen.
Eine neu hinzukommende Engine würde also bei systematisch verschiedenen Spielstärke-Einschätzungen landen, je nachdem ob sie besonders gegen stärkere oder schwächere Gegner gespielt hat?

Trifft dies aus deiner Sicht in ähnlicher Weise auch auf die Landschaft menschlicher Schachspieler zu?
Parent - By Peter Martan Date 2021-01-11 09:29 Edited 2021-01-11 09:48
Benno Hartwig schrieb:

Diese Feststellung finde ich interessant (und ich zweifele sie auch überhaupt nicht an!).
Für mich drückt sie aber aus, dass die Grundannahmen des Elo-Systems zumindest auf die Engine-Welt nicht so ganz passen.
Eine neu hinzukommende Engine würde also bei systematisch verschiedenen Spielstärke-Einschätzungen landen, je nachdem ob sie besonders gegen stärkere oder schwächere Gegner gespielt hat?

Trifft dies aus deiner Sicht in ähnlicher Weise auch auf die Landschaft menschlicher Schachspieler zu?


Zur letzten Frage, ja natürlich, aber von den Menschen ist es ja hinlänglich bekannt, dass sie ihre Lieblings- und ihre Angstgegner haben, und dass auch bei Menschen die Beschränkung der Turniere auf bestimmte Elo- Klassen unter sich ihren Sinn und Zweck hat. Dass du das jetzt doch schön langsam auch bei den Engines zu bemerken anfängst, finde ich wirklich 
Hast du noch irgendeine Erinnerung, wie lange ich in der Sache auf dich (und Andere) einschreibe hier?

Übrigens, es ist nicht nur das Teilnehmerfeld, das weniger und weniger Transitivität der Celo hat, es ist das Teilnehmerfeld bei bestimmter Hardware- TC und bestimmten Eröffnungen.
Dass ich das noch erleben darf, Benno, direkt gerührt
Up Topic Hauptforen / CSS-Forum / CEGT-40/4 aktuell

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill