SPCC: Testrun von Torch 1 ist durch

By Lothar Jung Date 2023-10-17 21:32 Upvotes 1

Also die Nummer drei.

By Ernest Bonnem Date 2023-10-18 06:02

Lothar Jung schrieb:

Also die Nummer drei.

Ist das so sicher?

Laut SPCC, Lc0 ist -21 zu SF15.1 und SF15.1 ist -21 (? siehe diagram) zu SF230929
Und Torch ist -41 zu SF230929

By Stefan Pohl Date 2023-10-18 09:20 Upvotes 2

Ernest Bonnem schrieb:

Lothar Jung schrieb:

Also die Nummer drei.

Ist das so sicher?

Laut SPCC, Lc0 ist -21 zu SF15.1 und SF15.1 ist -21 (? siehe diagram) zu SF230929
Und Torch ist -41 zu SF230929

Ja, ich denke auch, sicher ist das nicht. Und ganz genaue Vergleiche zwischen Lc0 und den CPU-Engines sind sowieso nicht möglich, weil die benutzte Hardware einfach zu verschieden ist. Momentan sind Lc0 und Torch in etwa gleich stark, würde ich sagen. Und genauer kann man das auch nicht seriös eingrenzen.

By Lothar Jung Date 2023-10-18 10:09

CCC21 Rapid: Challenger Match (10|3) (Finished, 250 games)
```
   # PLAYER : RATING ERROR POINTS PLAYED   (%) CFS(%) W D L D(%)
   1 Lc0    :    0   ----   130.5    250 52.2 93   49 163   38 65.2
   2 Torc :    -18    24   119.5    250 47.8 ---   38 163   49 65.2

White advantage = 127.60 +/- 11.83
Draw rate (equal opponents) = 100.00 % +/- 0.93```

By Peter Martan Date 2023-10-18 11:00

Lothar Jung schrieb:

CCC21 Rapid: Challenger Match (10|3) (Finished, 250 games)
```

   # PLAYER    :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W    D    L  D(%)
   1 Lc0       :       0   ----   130.5     250  52.2      93   49  163   38  65.2
   2 Torch     :     -18     24   119.5     250  47.8     ---   38  163   49  65.2

White advantage = 127.60 +/- 11.83
Draw rate (equal opponents) = 100.00 % +/- 0.93```

-18 bei 24 error bar.

By dkappe Date 2023-10-18 20:49

Zwischen bullet, blitz und rapid haben Torch und Leela Riesen Schritte gemacht.

By Benno Hartwig Date 2023-10-19 07:33

Mit der "ewigen" Frage:
Welche Hardware jeweils bei SF und Lc0 gestattet einen fairen Vergleich?

By Lothar Jung Date 2023-10-19 09:55 Upvotes 1

Da wurden Vorschläge verschiedene Vorschläge diskutiert:
Energiekosten, Hardwarekosten etc..
Schließlich wurde eine Ratio festgelegt aufgrund der Bedingungen des ersten Turniers errechnet.

Die sind aber wegen des Hardwarefortschritts bei den GPUs, der Netzentwicklung und der NNUE-Technik längst überholt.
Darüberhinaus wurden die Eröffnungen deutlich verändert.
Ohne Eröffnungen würden sich andere Relationen bilden.
Ausgeglichene Eröffnungen würde die Remisquote deutlich erhöhen.

Bei der eingesetzten TCEC Hardware sind die Kosten auf der CPU-Seite höher.
Ich meine eine aktuelle 16 Kerne-CPU liegt mit einer Mittelklasse NVIDIA GPU etwa auf dem gleichem Level. Das ist noch bezahlbar und vom Energieverbrauch noch vertretbar.
Aufgrund Entwicklung der KI und der Tensorhardware wird Lc0 noch deutlicher zulegen.

By dkappe Date 2023-10-19 10:35

Lothar Jung schrieb:

Schließlich wurde eine Ratio festgelegt aufgrund der Bedingungen des ersten Turniers errechnet.

Wo ich den Leela Ratio erfunden habe war das nur ein Versuch etwas Vernunft in das testen zu bringen. Behauptungen über eine match zwischen lc0 auf einem GTX 1060 und einem 16 thread Stockfish als ob sie gleich einem match zwischen lc0 auf einem GTX 1080 und einem 2 thread Stockfish wären, waren Unsinn. Wenigstens ist man jetzt klüger über hardware und Leistung.

By Andreas Matthies Date 2023-10-19 12:22

Lothar Jung schrieb:

Da wurden Vorschläge verschiedene Vorschläge diskutiert:
Energiekosten, Hardwarekosten etc..
...
Bei der eingesetzten TCEC Hardware sind die Kosten auf der CPU-Seite höher.

Sind sie? https://wiki.chessdom.org/TCEC_Season_Further_information#TCEC_Hardware
Also CPU 2x Xeon 6230R
vs GPU 2x A100-PCIE-40GB

Den Xeon finde ich in aktuellen Preislisten für um die 2500€, für die A100 sind es eher fünfstellige Preise.

Und man sollte nicht vergessen, dass Lc0 zusätzlich auch die CPU nutzt.

Mit der Hypothese, dass wegen des KI Hypes die Hardwareentwicklung eher zugunsten von Lc0 voranschreiten wird, kann ich mich aber anfreunden.

Freundliche Grüße,
Andreas

By Lothar Jung Date 2023-10-19 16:49 Edited 2023-10-19 17:12

Die eingesetzte Xeon CPU kostet bei Amazon 1.900 €, zwei 3.800 €.
A100 ist deutlich teuerer.
Aber zwei RTX 4090 würden die gleiche Leistung bringen.
Die neuen Threadripper sind auch ziemlich teuer:
https://www.heise.de/news/AMD-Threadripper-7000-Bis-zu-96-Kerne-fuer-HEDT-und-Workstations-9338287.html
Für den Normalspieler völlig jenseits von gut und böse.

By Benno Hartwig Date 2023-10-19 18:16

> Für den Normalspieler völlig jenseits von gut und böse.

Ich finde ja gerade auch sehr gut, dass die Partien auf einem System stattfinden, welches meinem Rechner und auch denen in fast allen anderen Stuben eben sehr, sehr deutlich überlegen ist.

Engine-Powerschach mit
- Top-Engines
- neueste Versionen
- großzügiger Bedenkzeit
- sehr starke Hardware
- für diese Zeiten auch recht viele Partien
(was vergessen?)

By Lothar Jung Date 2023-10-19 21:15

Ja, ist schon ok.

Wir haben Turniere im HighEnd Bereich von TCEC und CCC.
Und dann die Ranglisten mit kurzem TC und eher schwacher Hardware.

Lc0 wird dazu unterschiedlich aufgesetzt, mal mit CPUs, dann mit GPUs. Nicht vergleichbar.
Die neuen Netze sind nicht immer dabei.

Was ich sagen will ist, das es dazwischen viele Konfigurationen gibt, wo sich die Spielstärken z.B. zwischen Stockfish und Lc0 unterscheiden.
Auch die Auswahl der Eröffnungen beeinflusst stark das Verhältnis.

Am ehesten sind Suites vergleichbar.
Aber da gibt es spezielle Engines und Einstellungen, die die Vergleichbarkeit wieder erschweren.

Bei Analysen kann jedoch jede Engine ihre jeweiligen Stärken zeigen.

By Max Siegfried Date 2023-10-19 12:28

Lothar Jung schrieb:

Heißt das:
AMD Ryzen 9 7950X3D 16 Kerne = RTX 4070 Ti
=
32 Kerne AMD Threadripper = RTX 4090
64 Kerne AMD Threadripper = RTX 5090
128 Kerne AMD Bergamo Threadripper (Siehe Preis, nur CPU) = RTX 6090