Lc0 CPU 11258-112x9-se - 60 + 0.6 sek. Rangliste

By Andreas Strangmüller Date 2019-01-25 22:29 Upvotes 1

Nun hat es mich auch gepackt und ich habe einen Test mit Leela Zero mit meiner 60 Sekunden + 0.6 Sekunden Rangliste gestartet. http://fastgm.de/60-0.60.html
Als Netz habe ich das von Dieter Kappe, einem Lc0 Entwickler, für CPU optimierte "11258-112x9-se" genommen. https://github.com/dkappe/leela-chess-weights/wiki/Distilled-Networks

Wie erwartet ist Leela Zero auf einer CPU erheblich schwächer als auf einer GPU. Zudem kommt noch die geringer Bedenkzeit, bei der Leela Zero eine Menge taktischer Fehler unterlaufen.
Die Test-CPU ist ein Dual Intel Xeon E5-2670 @ 2.6 GHz. Lc0 läuft auf den default eingestellten zwei Kernen.

Nach 6900 Partien (100 gegen jeden der 69 Gegner) hat Leela Zero eine Elozahl von etwa 2500 erreicht. Das wird sich in den restlichen 10000 Partien auch nicht mehr viel ändern.
Somit weiß man nun zumindest ungefähr welche Spielstärke Lc0 auf einem Intel Rechner ohne GPU bei geringer Bedenkzeit erreicht.

   # Engine                      :    Elo  Error   Games    Points    (%)      W       D      L     D(%)   CFS
 ---------------------------------------------------------------------------------------------------------------
   1 Stockfish 10 64             :   3447     10   17100   16126.5   94.31   15298   1657    145    9.69   100
   2 asmFish 171004 x64          :   3374     10   17100   15719.5   91.93   14549   2341    210   13.69   100
   3 Houdini 6 x64               :   3357      7   17100   15603.5   91.25   14437   2333    330   13.64   100
   4 Komodo 12.3 64-bit          :   3332      8   17100   15424.5   90.20   14133   2583    384   15.11   100
   5 Fire 7.1 x64                :   3218      6   17100   14426.0   84.36   12639   3574    887   20.90   100
   6 Komodo 12.3 64-bit MCTS     :   3192      6   17100   14140.5   82.69   12379   3523   1198   20.60   100
   7 Ethereal 11.00 (POPCNT)     :   3137      6   17100   13495.0   78.92   11345   4300   1455   25.15   100
   8 Deep Shredder 13 x64        :   3122      6   17100   13298.5   77.77   11136   4325   1639   25.29   100
   9 Xiphos 0.4 SSE              :   3077      5   17100   12673.5   74.11   10355   4637   2108   27.12   100
  10 Andscacs 0.95               :   3064      5   17100   12496.5   73.08   10344   4305   2451   25.18   100
  11 Fizbo 2                     :   3047      6   17100   12234.0   71.54   10311   3846   2943   22.49   100
  12 Roc 0.8 x64                 :   3032      5   17100   11998.5   70.17    9691   4615   2794   26.99    64
  13 Gull 3 x64                  :   3030      5   17100   11977.5   70.04    9595   4765   2740   27.87    83
  14 Booot 6.3 x64               :   3027      5   17100   11925.0   69.74    9423   5004   2673   29.26   100
  15 Laser 1.6                   :   3007      6   17100   11606.5   67.87    9212   4789   3099   28.01    99
  16 Fritz 16                    :   2998      5   17100   11464.5   67.04    9162   4605   3333   26.93    92
  17 Critter 1.6a 64-bit         :   2993      5   17100   11377.5   66.54    8883   4989   3228   29.18   100
  18 Equinox 3.30 x64mp          :   2984      5   17100   11221.0   65.62    8727   4988   3385   29.17    61
  19 Chiron 4 64bit              :   2983      5   17100   11207.0   65.54    8878   4658   3564   27.24   100
  20 Mars 3.35 x64               :   2971      5   17100   11005.0   64.36    8543   4924   3633   28.80   100
  21 RofChade 2.0                :   2957      5   17100   10762.5   62.94    8114   5297   3689   30.98    84
  22 Nirvanachess 2.4            :   2953      5   17100   10705.0   62.60    8208   4994   3898   29.20   100
  23 Texel 1.07                  :   2929      5   17100   10283.0   60.13    8011   4544   4545   26.57    92
  24 Deep Rybka 4.1 x64          :   2924      5   17100   10200.0   59.65    7706   4988   4406   29.17    87
  25 Nemorino 5.00               :   2921      5   17100   10130.0   59.24    7821   4618   4661   27.01    96
  26 Senpai 2.0                  :   2914      5   17100   10015.5   58.57    7599   4833   4668   28.26    89
  27 Hannibal 1.7 x64            :   2910      5   17100    9933.5   58.09    7453   4961   4686   29.01   100
  28 Pedone 1.8                  :   2897      5   17100    9710.0   56.78    7118   5184   4798   30.32    79
  29 iCE 3.0 v658 x64            :   2894      5   17100    9656.5   56.47    7250   4813   5037   28.15    77
  30 Arasan 21.2                 :   2892      5   17100    9610.0   56.20    7193   4834   5073   28.27    94
  31 Protector 1.9.0             :   2886      5   17100    9507.5   55.60    7020   4975   5105   29.09   100
  32 Vajolet2 2.6                :   2875      5   17100    9313.0   54.46    6551   5524   5025   32.30    98
  33 SmarThink 1.98              :   2868      5   17100    9186.5   53.72    7152   4069   5879   23.80    98
  34 chess22k 1.12               :   2862      4   17100    9063.0   53.00    6481   5164   5455   30.20    98
  35 Wasp 3.50                   :   2856      4   17100    8954.5   52.37    6393   5123   5584   29.96   100
  36 Sting SF 10 64bit           :   2822      5   17100    8324.0   48.68    6006   4636   6458   27.11   100
  37 Naum 4.6                    :   2808      5   17100    8060.0   47.13    5648   4824   6628   28.21   100
  38 Rodent III 0.273            :   2766      4   17100    7277.0   42.56    4870   4814   7416   28.15    62
  39 Demolito 2018-03-01         :   2765      5   17100    7259.0   42.45    4991   4536   7573   26.53   100
  40 Bobcat v8.0                 :   2754      5   17100    7053.0   41.25    4712   4682   7706   27.38    53
  41 Deep HIARCS 14 WCSC         :   2753      5   17100    7047.5   41.21    4817   4461   7822   26.09    83
  42 Hakkapeliitta 3.0 x64       :   2750      5   17100    6980.5   40.82    5049   3863   8188   22.59    88
  43 Alfil 15.8.16               :   2745      5   17100    6899.5   40.35    4626   4547   7927   26.59   100
  44 Amoeba 2.8                  :   2728      5   17100    6592.0   38.55    4258   4668   8174   27.30   100
  45 Deuterium v2018.1.35.514    :   2714      4   17100    6332.0   37.03    4028   4608   8464   26.95    90
  46 Spark 1.0                   :   2709      5   17100    6249.5   36.55    4018   4463   8619   26.10    56
  47 Crafty 25.2                 :   2709      5   17100    6239.5   36.49    4242   3995   8863   23.36    91
  48 Cheng 4.39                  :   2704      5   17100    6153.0   35.98    4108   4090   8902   23.92    96
  49 Toga II 4.0                 :   2697      5   17100    6030.5   35.27    3949   4163   8988   24.35    72
  50 Deep Sjeng c't 2010         :   2695      4   17100    5998.5   35.08    3911   4175   9014   24.42   100
  51 ChessBrainVB V3.68          :   2684      5   17100    5807.5   33.96    4178   3259   9663   19.06    71
  52 Atlas 3.91 x64              :   2682      5   17100    5771.0   33.75    3789   3964   9347   23.18   100
  53 DiscoCheck 5.2              :   2672      5   17100    5597.5   32.73    3587   4021   9492   23.51   100
  54 Murka 3 x64                 :   2660      6   17100    5391.5   31.53    3332   4119   9649   24.09    75
  55 Spike 1.4                   :   2658      5   17100    5349.0   31.28    3386   3926   9788   22.96    83
  56 Quazar 0.4 x64              :   2654      5   17100    5295.0   30.96    3334   3922   9844   22.94   100
  57 Daydreamer 2.0.0-pre2       :   2631      5   17100    4901.5   28.66    2976   3851  10273   22.52    73
  58 Fruit reloaded 3.2.1 x64    :   2629      5   17100    4866.5   28.46    2885   3963  10252   23.18    81
  59 Gaviota v1.0                :   2626      5   17100    4818.0   28.18    3018   3600  10482   21.05   100
  60 MinkoChess 1.3 x64          :   2609      5   17100    4549.5   26.61    2676   3747  10677   21.91   100
  61 RuyDos 1.1.7                :   2567      5   17100    3915.5   22.90    2243   3345  11512   19.56   100
  62 Loop 2007 64-Bit            :   2556      6   17100    3758.0   21.98    2067   3382  11651   19.78    56
  63 Octochess r5506             :   2556      6   17100    3752.0   21.94    2082   3340  11678   19.53   100
  64 Tornado 8.0                 :   2537      6   17100    3487.0   20.39    2064   2846  12190   16.64    61
  65 Cheese 2.0 64 bits          :   2536      6   17100    3471.0   20.30    1929   3084  12087   18.04   100
  66 Pawny 1.2 x64               :   2524      5   17100    3313.0   19.37    1809   3008  12283   17.59    68
  67 Deep Junior Yokohama        :   2522      6   17100    3289.0   19.23    2012   2554  12534   14.94   100
  68 Jonny 4.00                  :   2508      6   17100    3100.5   18.13    1762   2677  12661   15.65   100
  69 Lc0 CPU 11258-112x9-se      :   2491      9    6900    1188.0   17.22     513   1350   5037   19.57    84
  70 The Baron 3.42 64-bits      :   2486      6   17100    2832.5   16.56    1505   2655  12940   15.53   ---

White advantage = 35.79 +/- 0.33
Draw rate (equal opponents) = 35.97 % +/- 0.08

By Guenter Stertenbrink Date 2019-01-26 05:02 Edited 2019-01-26 05:10

man koennte natuerlich Leela Zero speziell fuer diese Bedingungen trainieren.

Das muesste ja auch viel schneller gehen, als das derzeitige Training ... wer macht's ?

Komodo MCTS schneider ja ganz gut ab, also liegt's nicht an MCTS

By Benno Hartwig Date 2019-01-26 05:57

> man koennte natuerlich Leela Zero speziell fuer diese Bedingungen trainieren.

Aus Neugier: Wir hätte denn dieses "für diese Bedingungen" zu passieren?
Benno

By Guenter Stertenbrink Date 2019-01-26 16:08

einfach entsprechend kuerzere Bedenzeit oder schlechtere Hardware,
sorry, falls das unklar war

By Benno Hartwig Date 2019-01-27 06:25

Mir ist völlig unklar, wie dadurch ein Spielwissen aufgebaut werden könnte, welches in irgendeinem Sinne passender wäre für "diese Bedingungen".
Daraus entstünde doch einfach nur ein schlechteres Spielwissen.
Aber auch sorry, falls ich deinen Scherz nicht verstanden hatte.

By Guenter Stertenbrink Date 2019-01-27 11:18

es werden Parameter veraendert und jeweils so ausgewaehlt, dass Lc0/a0 pro Durchgang gegen sich selber
gut abschneidet. Unter festgelegten Bedingungen/Bedenkzeit.

Der Prozess der Optimierung der Parameter durch stetige kleine Veraenderungen und Auswahl
haengt also direkt von der Bedenkzeit ab.

Die Parameter=Weights werden zwar wirksam weit hinten im Suchbaum bei der Kurz-Bewertung vieler
Varianten aber durch Bedenkzeitverkuerzung muss hier frueher abgeschnitter werden
oder eben weniger Varianten durchgerechnet werden.

Die Taktik wird wichtiger fuer den Blitz-Erfolg, ich denke das wuerde das Training auch ergeben.

By Peter Martan Date 2019-01-26 10:01 Edited 2019-01-26 10:03

Guenter Stertenbrink schrieb:

man koennte natuerlich Leela Zero speziell fuer diese Bedingungen trainieren.

Das muesste ja auch viel schneller gehen, als das derzeitige Training ...

Warum?
Du meinst, weil man's aufs schon vorhandene Netzwerk "aufsetzen" könnte?
Ich glaube, dass ist ein Irrtum, Günter, dass das blitzschnell den gewünschten Lernerfolg hätte. Bin kein NN- Kenner, aber wenn das so einfach ginge, würde SF schon gegen den Antifish abstinken, tut er aber nicht.
Ich stelle mir vor, man müsste die "Evals" (Muster, was auch immer da gespeichert wird), die aus den Unmgengen von gelernten Partien entstanden sind, durch ähnliche Unmengen "überschreiben", bzw. ergänzen.
Mittlerweile frage ich mich hingegen, ob es nicht tatsächlich leichter ginge, SF gegen LC0 zu tunen als umgekehrt. Wie der dann natürlich wieder in einem größeren Engine- Mix abschnitte, wäre wieder eine andere Frage.

By Guenter Stertenbrink Date 2019-01-26 15:58

weil Blitzpartien nicht so lange dauern

By Peter Martan Date 2019-01-26 16:00

Lernt man dafür nicht vielleicht was Falsches draus?
Ich meine jetzt aus Blitzpartien gegen schwächere Gegner lernt man vielleicht, gegen stärkere zu viel zu riskieren, oder?

By Guenter Stertenbrink Date 2019-01-26 16:10

ja, diese Version ist dann vermutlich nur gut fuer Blitz

By Peter Martan Date 2019-01-26 19:47

Geh Günter!

By Lothar Jung Date 2019-01-26 09:54

Hallo Andreas,

wurde die Intel Math liberay benutzt?

https://github.com/LeelaChessZero/lc0/wiki/Running-Leela-Chess-Zero-on-Intel-CPUs-(Haswell-or-later)

By Andreas Strangmüller Date 2019-01-26 10:31

Hallo Lothar,

nein, da die CPU kein Haswell oder neuerer ist sondern "nur" Sandy Bridge.

Grüße,
Andreas

By Lothar Jung Date 2019-01-26 12:15

Man könnte die Haswall-Liberary durch eine Erhöhung der Corezahl ausgleichen!?

By Andreas Strangmüller Date 2019-01-26 12:28

Ja, das könnte man.
Wenn man die Anzahl der Cores z. B. verdoppelt, dann würde sich jedoch auch die Testdauer von vier auf acht Tage erhöhen.
Es ist also alles eine Frage der Zeit...

By Lothar Jung Date 2019-01-26 10:10 Edited 2019-01-26 10:22

Dieser Thread im Google-Forum ist auch interessant.

https://groups.google.com/forum/m/#!topic/lczero/F7qshLoudSc

Leela Lite hat einen „bug“ mit einer bis zu 200 Elo höheren Spielstärke.
Lc0 0.20 ist auf GPU-
Optimierung und threading ausgerichtet.

Dietrich Kappe:
„I think an accidental bug I introduced in Leela Lite may have pointed the way toward +150-200 elo on cpu. Will need to finish my golang engine. This would put leela in ethereal territory.“

By Michael Scheidl Date 2019-01-26 13:47

Danke Dir für Deine Tests generell! Aber Lc0 nur auf CPU zu testen, hat wenig Sinn. - Angeblich soll bald eine nVidia-1660 GPU erscheinen, aber da weiß ich nicht ob sie diese Option fp=16 statt fp=32 bieten wird. Diese allein beschleunigt Lc0 auf den 20er-RTX-Karten auf mehr als die doppelte Geschwindigkeit.

By Lothar Jung Date 2019-01-26 15:35

Ich finde den Test sehr sinnvoll und das entsprechende Projekt von Dietrich Kappe sowieso.
Ender ist auch auf CPU ausgerichtet.
Leela-A/B-Hybride lassen sich vielleicht auf CPU-Plattformen leichter verwirklichen.
Auch unter Android wären diese Netze einsetzbar.
Die GTX 1660 hat 196 Tensor-Cores und hat die Option fp=16.
https://www.techpowerup.com/gpu-specs/geforce-gtx-1660-ti.c3364

By Michael Scheidl Date 2019-01-26 15:53

Zitat:

...und hat die Option fp=16.

Danke, das könnte somit ein künfitges Optimum für Lc0 darstellen. Sofern eine GTX 1660 weniger kosten wird als eine 20er? Der Rest sind Details.

By Lothar Jung Date 2019-01-26 15:56

Wohl 280 $ ~ 300 €, ab 15. Februar 2019.

By Stefan Pohl Date 2019-01-26 16:10

Lothar Jung schrieb:

Die GTX 1660 hat 196 Tensor-Cores und hat die Option fp=16.
<a class='ura' href='https://www.techpowerup.com/gpu-specs/geforce-gtx-1660-ti.c3364'>https://www.techpowerup.com/gpu-specs/geforce-gtx-1660-ti.c3364</a>

Interessant! fp=16 ist ja ganz wichtig für lc0. Könnte eine schicke mobile-GPU werden...Dann brauche ich mir keinen PC-Klotz mehr ins Wohnzimmer zu stellen, wozu ich auch überhaupt keine Lust habe. Mal schauen, ob und wann es Notebooks mit dieser GPU geben wird. Oder der RTX 2060. Und wie teuer die sind.

By Guenter Stertenbrink Date 2019-01-26 16:15 Edited 2019-01-26 16:17

hmm, hab's hier gefunden :

http://www.pcgameshardware.de/Grafikkarten-Grafikkarte-97980/News/Nvidia-Geforce-GTX-1660-Geruechte-zu-Details-und-drei-Versionen-1273804/

Geforce GTX 1660 Ti bei 279 US-Dollar liegen und schon Mitte Februar

keine RTX Raytracing, die brauchen wir ja auch nicht (?!)

By Guenter Stertenbrink Date 2019-01-26 16:06

noch ein Vorschlag : spiele auch -sagen wir- n/4 Partien mit doppelter Bedenkzeit,
n/16 mit 4-facher ...
dauert doppelt so lange -bzw. gibt nur halb so viele Partien- , gibt aber einen Ueberblick ueber scalability

genauso andersrum : gleiche Anzahl mit halber Bedenkzeit,viertel,..

da sollte es eine Option geben, dass die GUI das automatisch macht

By Rudolf Eichinger Date 2019-01-26 16:08

DeepMind, Alpha Zero läuft doch auf auf einer CPU!