Neue SSDF Ratingliste

By Peter Martan Date 2024-01-07 08:29 Edited 2024-01-07 08:37 Upvotes 2

Feine Liste!

   1 Lc0 0.29.0 Cuda-808544  3060Ti          3586   30   -28   600   63%  3493
   2 Stockfish 16 x64 1800X 3.6 GHz          3582   50   -48   200   58%  3523
   3 Stockfish 15 x64 1800X 3.6 GHz          3573   37   -35   400   65%  3466
   4 DragonKomodo3x64 1800X 3.6 GHz          3569   36   -34   400   60%  3498

Betonen könnte man noch, dass es sich bei den Nicht- Lc0- Engines jeweils um single thread laufende handelt und SF 16 erst 200 Partien gespielt hat, somit noch eine error bar von ca.50 Elo hat bei einem Abstand zu Lc0 von 4 Elo, das kann sich also auch noch bald mal ändern, was den ersten Platz angeht.
Das Buch:

Zitat:

We have as usual used an opening book from Fauzi Dabat for the testing, and this one is called: "Aggressive 5.6 by fauzi.abk".

By Reinhold Stibi Date 2024-01-07 09:29 Upvotes 2

Das ist keine feine Liste sondern Blödsinn !

Lc0 ist bestimmt nicht die Nr. 1.

Wie kann man nur Lc0 mit einer RTX 3060 Ti gegen Stockfish mit nur
1 CPU testen.

Da ist keine gleichwertige Hardware vorhanden und deshalb ist diese SSDF Ratingliste bei der
SF 16 nur 200 Partien gespielt hat vollkommen bedeutungslos.

By Lothar Jung Date 2024-01-07 12:47 Upvotes 1

Die Eloangabe läßt Single Thread vermuten.

Aber das hier steht im Changelog:

„Discarded the MP-designation from the names. This is because all programs tested on the Q6600 and 1800X level has been Multi Processor capable. We used to have it where the designation Deep (i.e. Deep Fritz) was missing from the name to indicate that we used all cores.“

By Peter Martan Date 2024-01-07 12:54 Edited 2024-01-07 13:11

Das (Zitat) verstehe ich aber so, dass es nur die Namen der Engines betrifft, das MP daraus wurde entfernt, weil alle auf der Q6600- und 1800X-Ebene getesteten Programme Multiprozessor-fähig waren. Früher
"war es dort, wo die Bezeichnung Deep (also Deep Fritz) im Namen fehlte, um anzuzeigen, dass wir alle Kerne genutzt haben". Verstehe ich so, dass früher alle Kerne genutzt wurden, so wie die Namensbezeichungen in der Liste mit der Angabe 1800X 3.6GHz jetzt da stehen, heißt das für mich, alle spielen ungeachtet ihrer SMP- Fähigkeit auf einem 3.6GHz - Kern. Ansonsten müsste die Anzahl der verwendeten cores da stehen.
Glaube ich halt.

By Lothar Jung Date 2024-01-07 14:12 Upvotes 1

Hier die Hardware Info:

The hardware of the different hardware levels:

Intel Pentium 90 MHz - 8-16 MB RAM
Intel Pentium 200 MHz MMX - 32-64 MB RAM
AMD K6-2 450 MHz - Single processor, 32 bit OS, 128 MB RAM, 5 piece TableBases on HHD
AMD Athlon Thunderbird 1200 MHz - Single processor, 32 bit OS, 256 MB RAM, 5p TB on HHD
Intel Core2Quad Q6600 2400 MHz - Quad Core processor, 64 bit OS, 2 GB RAM, 5p TB on HHD
AMD Ryzen 7 1800X 3600 MHz - Octa Core processor, 64 bit OS, 16 GB RAM, 6p Syzygy on SSD (or 5p Nalimov on SSD)

Das sieht nach MultiCore aus!

By Peter Martan Date 2024-01-07 14:16 Edited 2024-01-07 14:19

Das sieht nach Multicore Hardware aus, aber woher weiß man jetzt, wieviele der 8 Kerne pro Engine verwendet werden?
Wären's 8, würde ich in der Liste nicht 1800X 3.6GHz schreiben, sondern (1800X) 8x3.6GHz.

By Reinhold Stibi Date 2024-01-07 16:00 Upvotes 3

Das Ganze ist doch einfach nur lächerlich.

Hardware Pentium 90 ... gegen RTX 3060 Ti,

was für Eröffnungen ?

nur 200 Partien ...

Mir ist die Zeit wirklich dazu zu schade da näher einzusteigen, bei so
einem Schwachsinns-Test der 0 aussagekräftig ist.

Das ist doch nichts neues dass Stockfish gegen Lc0 viele Anläufe bei ausgeglichenen Eröffnungen braucht um zu gewinnen
und deshalb sind bei diesem hohen Niveau nur Tests mit Vorgabeeröffnungen wie z.B. bei TCEC oder bei Stefan Pohl
oder das Abschneiden gegen viele schwächere Engines mit vielen Partien für das Ermitteln der Spielstärke aussagekräftig.

Wer sich an diese altertümliche SSDF Rangliste klammert lügt sich doch in die eigene Tasche um zu glauben dass Lc0 die
Nr. 1 wäre was an der Wirklichkeit vollkommen vorbei geht.

By Lothar Jung Date 2024-01-07 16:02 Upvotes 1

8 Kerne, SSDF hat von zuvor 4 auf 8 Kerne aufgerüstet.

By Peter Martan Date 2024-01-07 17:45 Upvotes 1

Könnte immer noch so sein, dass sie von der momentanen Hardware jeden der 8 Kerne für ein single core match einsetzen, aber wahrscheinlich hast du recht, und so wie's in der Liste steht, verwenden alle Engines, die's können, die ganzen 8. Dann muss man einfach noch ein bisschen warten, bis SF mit genug Partien an Lc0 vorbei ist

By Lothar Jung Date 2024-01-07 18:03 Edited 2024-01-07 18:10 Upvotes 1

Bei langen TCs ändern sich halt die Stärkerelationen.
LC0 spielte mit einem zum jetzigen Stand eher schwächerem Netz. Die aktuelle 0.30 Version mit T3 Netz hätte noch besser abgeschnitten.

By Peter Martan Date 2024-01-07 18:14 Edited 2024-01-07 18:17

Lothar Jung schrieb:

Bei langen TCs ändern sich halt die Stärkerelationen.

Aber geh, was du nicht sagst.
Vor allem auch, weil man länger warten muss, bis genug Partien gespielt sind

Nein, im Ernst, Lc0 hat gegen alle Schwächeren gemeinsam schon 600 solche und SF erst 200, das verzerrt das Bild schon noch ein bisschen, aus den Comments by the chairman:

Zitat:

This last rating list of 2023 consists of five new entrants. First one out is the latest version from Team Stockfish, named Stockfish 16. We have as usual used an opening book from Fauzi Dabat for the testing, and this one is called: "Aggressive 5.6 by fauzi.abk". It's of course still early on in the testing, but Stockfish 16 has reached the very strong rating of 3582 after the first 200 games and have taken over the second place in the rating list.

Even though the earlier Stockfish 15 gained 3 points since the last list, Stockfish 16 now has a gap of 9 rating points ahead of its former version. As Lc0 lost a considerable amount of points since the last rating list, the gap between Stockfish and Lc0 have now gone from 40 to just 4 points. It will surely be exciting to see how the rating will continue to fluctuate in the top of the list as more games will be played with all the top programs.

As incidentally mentioned, Lc0 wasn't able to keep up with its strong start in the last rating list and with more than 300 games added since last time, its rating has been lowered with 24 points. Lc0 still holds the number one spot in the list, but now with a much smaller gap to its nearest competitor - Stockfish.

Lc0 hat ja auch noch eine error bar von ca. 30, da ist natürlich nicht nur im Rating, sondern auch im Ranking noch viel Zufall drin.
Trotzdem, wie gesagt, feine Liste, sie war zeitlich immer schon etwas hinter den anderen her, hoffentlich wird die Irrtumswahrscheinlichkeit noch klein genug, bis SF16 wieder durch SF17 ersetzt wird

By Lothar Jung Date 2024-01-07 18:38 Upvotes 1

Ich finde das SSDF eine gute Liste ist.
Zeigt das Verhältnis der Engines auch zu Brettcomputer und Engines wie Sdredder und Hiracs.
120 min dauert halt (auch wegen der seriellen Verbindung) und es kommen nicht so viele Partien zusammen. Deshalb erscheint sie nur zweimal im Jahr.
SSDF und IPON waren früher meine Favoriten.
Zum Glück haben wir jetzt Frank mit seinen Turnieren.

By Peter Martan Date 2024-01-07 18:51 Edited 2024-01-07 18:57 Upvotes 1

Du sagst es.
Man muss sich halt davon verabschieden, dass man mit größeren Teilnehmerfeldern auch nur die Rankings noch mit anderen Turnieren vergleichen kann mit anderen Teilnehmern, anderer Hardware- TC und anderen Eröffnungen. Aber vor allem bekommt man mit mehr Engines und langer Hardware- TC als Einzeltester überhaupt keine statistische Relevanz mehr zusammen mit ausschließlich Eng-Eng-Matches nur aus der mehr oder weniger frühen Eröffnung gespielt.
Das mag mit ein Grund sein, warum z.B. Stefan Pohl seine Hauptarbeit auf die besten 15(16) beschränkt, und ein zusätzliches Testing für SF- Lc0 macht.

Und Frank macht's für seine persönlichen Interessen schon auch richtig, sich nicht (zu sehr) um die anderen Turniere und die Listen Anderer zu kümmern. Wenn SF dev. nicht mitspielt, kann man sich auch nicht ärgern, dass er nicht ganz oben ist

By Dietmar Klinger Date 2024-01-07 21:49

Lothar Jung schrieb:

LC0 knapp vor Stockfish

Das ist totaler Blödsinn!

By Lothar Jung Date 2024-01-07 21:53 Upvotes 1

Nein, Ergebnis der SSDF Rangliste.

By dkappe Date 2024-01-07 22:05 Upvotes 2

Mit ziemlich riesiger Fehlermarge. Braucht 5000-10000 weitere Partien pro engine um aussagekräftig zu sein.

By Andreas Mader Date 2024-01-09 23:34

Dietmar Klinger schrieb:

Lothar Jung schrieb:

LC0 knapp vor Stockfish

Das ist totaler Blödsinn!

Wir schreiben das Jahr 2024 und der "Margin of error" hat sich immer noch nicht als Allgemeinwissen etabliert.

Gut zu wissen, dass sich manche Dinge nie ändern.