Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Stürzt Net 42668 Stockfish vom Thron?
1 2 Previous Next  
- - By Stefan Pohl Date 2019-06-28 15:10 Edited 2019-06-28 15:19 Upvotes 3
Da bei meinen lc0-Net Testruns doch beträchtliche Schwankungen auftraten, also neuere Nets durchaus auch mal schwächer abschnitten als ältere, obwohl sie laut Elo auf dem Server besser sein müßten, habe ich mich entschlossen ab sofort einige der neuesten Netze (5-6 Stück) in schnellem Bullet gegen das in meinen Testruns bisher beste Net (z.Zt. noch 42595 , siehe Liste auf meiner Website: https://www.sp-cc.de/lc0-testing.htm ) vorzutesten, auf einem älteren Notebook mit GTX950M Grafikkarte (CUDA-fähig, ca. 1000 n/s mit einem 20x256 Net). Je 200 Partien (100 NoomenShortLines als Vorgabe) mit 0.5'' fixe Bedenkzeit pro Zug (da lc0 gegen lc0 spielt, nur mit anderem Nets, ist die Bedenkzeiteinteilung ohne Belang). Damit schaffe ich ca. 50-55 Partien pro Stunde. Dies habe ich auch gestern/heute gemacht, mit den Netzen 42664 bis 42668. Und da hat sich 42668 als sehr stark gezeigt und 55% gegen 42595 geholt. Natürlich können Ergebnisse bei dieser extrem kurzen Bedenkzeit stark gedehnt sein, aber daß 42668 stärker als 42595 ist, scheint recht sicher. Daher habe ich nun meinen regulären Testrun (welcher ja gut 5 Tage braucht) mit Net 42668 gestartet. Und der läßt sich bisher auch sehr gut an, allerdings ist er noch in Anfangsstadium. Da Net 42595 in meiner Rangliste gleichauf mit Stockfish 190504 ist, könnte Net 42668 das erste Net sein, welches lc0 wirklich an Stockfish vorbei an Nummer 1 hievt - nicht nur im Direktvergleich, sondern in einem richtigen Ranglistentest gegen 7 Gegner. Mal abwarten. Immer spannend, wenn eine neue Engine Nummer 1 wird (bzw. werden könnte), insbesondere, da Stockfish schon so ewig überall die Nr.1 ist (war?)
Also: Wer ein neues, wirklich gutes Net testen/benutzen will, sollte ein Auge auf 42668 werfen. Empfehlung meinerseits...
Parent - - By Wolfgang Battig Date 2019-06-28 19:34
Danke für die Info, Stefan!
Da ich gerade ein neues Net für unseren nächsten CEGT-Test suche werde ich das ggfs. nehmen.
Die 42xxx treten eh scheinbar derzeit auf der Stelle. Mal ein paar Pünktchen rauf, dann wieder runter, dann wieder...

42660: 3278
42661: 3276
42662 bis 664: 3269
42665: 3275
42666: 3278
42667: 3275
42668: 3276
42669: 3279
42670: 3279
42671: 3284 (höchster Wert bisher)
42672: 3275 (und gleich gehts wieder runter)
42673: 3268 (und noch weiter)
42674: 3279 (und wieder rauf)

Also zwischen 660 und 674 ein ganzer (Plus)Punkt nach diversem Auf und Ab.

Ich denke, da tut sich nichts (mehr?!), also fast egal, welches davon man ausführlich(er) testet...
Parent - - By Tom Paul Date 2019-06-28 19:53
Wolfgang Battig schrieb:

Danke für die Info, Stefan!
Da ich gerade ein neues Net für unseren nächsten CEGT-Test suche werde ich das ggfs. nehmen.
Die 42xxx treten eh scheinbar derzeit auf der Stelle. Mal ein paar Pünktchen rauf, dann wieder runter, dann wieder...

42660: 3278
42661: 3276
42662 bis 664: 3269
42665: 3275
42666: 3278
42667: 3275
42668: 3276
42669: 3279
42670: 3279
42671: 3284 (höchster Wert bisher)
42672: 3275 (und gleich gehts wieder runter)
42673: 3268 (und noch weiter)
42674: 3279 (und wieder rauf)

Also zwischen 660 und 674 ein ganzer (Plus)Punkt nach diversem Auf und Ab.

Ich denke, da tut sich nichts (mehr?!), also fast egal, welches davon man ausführlich(er) testet...


Diese treten nicht erst derzeit scheinbar auf der Stelle, sondern schon seit Ewigkeiten.
Deshalb sollten alle die 40x256 Netze trainieren.
Parent - By Wolfgang Battig Date 2019-06-28 21:25 Upvotes 1
Zitat:
Diese treten nicht erst derzeit scheinbar auf der Stelle, sondern schon seit Ewigkeiten.

Ach ja? Schön, dass Du zu den Schlaubergern gehörst, deren Unsinn man sofort entlarven kann, danke dafür!

42395 von Ende Mai 2019, also gerade mal einen (!) Monat alt: 3213 = 66 Selfplay-ELO schlechter als 42674
Auf der Stelle? Seit "Ewigkeiten"??

Ich weiß ja nicht, in welchen Super-Dimensionen Du so denkst...

Tarrasch hat m.W. mal sinngemäß gesagt, dass man auf seinen Händen sitzen soll, damit man nicht voreilig einen Zug ausführt.
Vielleicht solltest Du diesen guten Rat mal in Bezug auf deine Tastatur befolgen. Lieber einmal mehr nachdenken/prüfen und dann erst anfangen zu schreiben.

Zitat:
Deshalb sollten alle die 40x256 Netze trainieren


Schön, dass du mal wieder weißt, was ALLE so tun SOLLTEN...

Over and out
DftT
Parent - - By Clemens Keck Date 2019-06-29 11:16
muß es immer das allerneuste sein?

nn 42615 hat bei mir das beste Ergebnis der bisherigen Tests erzielt.

C.K.
Parent - - By Wolfgang Battig Date 2019-06-29 11:33 Edited 2019-06-29 11:42
Clemens Keck schrieb:

muß es immer das allerneuste sein?
nn 42615 hat bei mir das beste Ergebnis der bisherigen Tests erzielt.
C.K.


Nein, muss es nicht, da gebe ich dir völlig recht
Wenn man wie wir aber nur alle paar Monate ein Network für mehrere Listen testet, sollte es m.E. schon ein aktuelles sein. Wohlwissend, dass dieses in ein paar Tagen schon wieder "veraltet" ist
Parent - - By Guenter Stertenbrink Date 2019-06-29 12:30
Wolfgang Battig schrieb:

Clemens Keck schrieb:

muß es immer das allerneuste sein?
nn 42615 hat bei mir das beste Ergebnis der bisherigen Tests erzielt.
C.K.


Nein, muss es nicht, da gebe ich dir völlig recht
Wenn man wie wir aber nur alle paar Monate ein Network für mehrere Listen testet, sollte es m.E. schon ein aktuelles sein. Wohlwissend, dass dieses in ein paar Tagen schon wieder "veraltet" ist


ist das nicht just ein Argument fuers Gegenteil
Parent - - By Wolfgang Battig Date 2019-06-29 12:47
Zitat:
ist das nicht just ein Argument fuers Gegenteil

Kann man so sehen...
Letztlich dürfte es bei den sehr geringen Abständen eh kaum ins Gewicht fallen.
Zudem hat Clemens das 668er noch nicht getestet, wer weiß wie es abschneidet wenn er es tut?!

Wie auch immer: nach kurzer Abstimmung im Team haben wir uns für 42668 als nächstes NW entschieden
Parent - By Stefan Pohl Date 2019-06-29 13:33
Wolfgang Battig schrieb:

Wie auch immer: nach kurzer Abstimmung im Team haben wir uns für 42668 als nächstes NW entschieden


Sehr schön. Bin sehr gespannt. Bei euch war ja 32930 der letzte Test von lc0 CUDA.
32930 liegt bei mir -70 Elo unter 42595 und (vermutlich) auch 42668. Sollte das auch in etwa bei euch rauskommen, wäre lc0 die neue Nummer 1. Sowohl in der 40/4, der 5'+3“ als auch der 40/20 Rangliste...
Das wäre ein Meilenstein des Computerschachs. Kann es kaum erwarten, eure Ergebnisse zu sehen!
Parent - - By Benno Hartwig Date 2019-06-28 20:45
Wie mag hier der Zufall hineinspielen?
Ich stelle mir vor, du hättest deine Testengine gegen einen Satz von Engines antreten lassen, die alle identisch sind mit der Testengine. Dann würde es vermutlich auch eine dieser Engines schaffen, deutlich positiv gegen den Einzelkämpfer zu punkten.

Haben wir es hier mit Ergebnissen zu tun, die deutlich genug von solchen zufälligen Ereignissen unterschieden sind?

Benno
Parent - By Stefan Pohl Date 2019-06-29 08:29
Ja, klar, Benno, diese Superschnell-Tests sind nicht mehr als ein Fingerzeig. Ich bin der Erste, der immer sagt, daß Selfplsy-Tests mit Vorsicht zu geniessen sind.
Ich kann nur sagen, daß es zumindest in diesem konkreten Fall funktioniert hat: ich hatte zunächst ja einen regulären Testrun mit 42665 gestartet, welcher gar nicht gut anlief. Und in meinem jetzigen Selfplay Schnelltest schnitt 42665 auch von allen 5 getesteten Netzen (42664 bis 42668) an schlechtesten gegen 42595 ab. Und 42668 eben am besten.
Da es so viele neue Nets gibt und ein regulärer Testrun bei mir eben gut 5 Tage dauert, muß ich einfach einen schnellen Vorabtest mit einigen, aktuellen Netzen machen.
Parent - - By Stefan Pohl Date 2019-06-29 14:42 Edited 2019-06-29 14:55
Habe mal drei Leelenstein-Netze in meinen 0.5''/Zug Bullet-Testrun gegen Net 42668 geschickt. Allerdings keine ganz aktuellen, sondern so etwa um den 5.Juni herum. Leelenstein 7.1 hatte mir mal zugeschickt, um es mit Allie zu testen. Und dann hab ich noch zwei (vermutlich illegale) Downloads von zwei Dev-Versionen im Netz gezogen, nämlich jj-9-swa-13760000 und jj-9-swa-16500000. Denn bezahlen werde ich für diese Netze nicht.

Die Ergebnisse sind ernüchternd. Wie gesagt 0.5''/Zug, NoomenShortLines100.pgn Vorgabe je 200 Partien, kein pondern, keine Bases, LittleBlitzerGUI, GTX 950M CUDA (ca. 1000 n/s), lc0 0.21.2 Engine:

Leelenstein 7.1 - 42668: 36% (+36 =72 -92)
jj-9-swa-13760000 - 42668: 41.3% (+43 =79 -78)
jj-9-swa-16500000 - 42668: 43.3% (+43 =87 -70)

Die Leelenstein-Netze beinhalten: Currently uses CCRL games + more T30 games. Schon deshalb halte ich nichts von dem ganzen Projekt. Weil selflearning hier mit Partienmaterial von AB-Engines (CCRL-Ranglistenpartien) gemixt wird (ich nenne es verschmutzt!). Gratis zur Verfügung stehendes Datenmaterial (für die Erstellung desselben haben enthusiastische Computerschachfreunde Rechner-Zeit und Strom investiert!) wird hier zusammengemixt und soll dann verkauft werden. Ohne mich!

Leelenstein 8 (also das aktuelle) dürfte aber auch nicht viel besser sein. Auf der "Autoren"-Seite bei Patreon gibt es diese kleine Test-Rangliste (oder sowas ähnliches):

Da gibt es einen halbwegs langen Test von 436 Partien von Leelenstein 7.2 gegen Leelenstein 8, der genau 50%-50% ausging. s.u...

Code:
1) 256x20.T8-swa-610000   3530 :    194 (+31,=137,-26),  51.3 %

    vs.                          :  games (  +,   =,  -),   (%) :   Diff,   SD, CFS (%)
    Leelenstein 8.0              :    140 ( 26,  91, 23),  51.1 :     +6,   15,   65.3
    Leelenstein 7.2              :     52 (  5,  44,  3),  51.9 :    +17,   15,   87.3
    Leelenstein 7.1              :      2 (  0,   2,  0),  50.0 :    +42,   20,   98.3

2) Leelenstein 8.0        3524 :   1074 (+328,=576,-170),  57.4 %

    vs.                          :  games (   +,   =,   -),   (%) :   Diff,   SD, CFS (%)
    256x20.T8-swa-610000         :    140 (  23,  91,  26),  48.9 :     -6,   15,   34.7
    BrainFish_190610 14CPU       :    200 (  57,  96,  47),  52.5 :     +4,   11,   63.8
    Leelenstein 7.2              :    436 (  72, 292,  72),  50.0 :    +11,    8,   92.7
    BrainFish_190610 32CPU       :     44 (  16,  19,   9),  58.0 :    +22,   22,   84.0
    Komodo 10 32CPU              :    184 ( 113,  58,  13),  77.2 :   +219,   14,  100.0
    Komodo 10 16CPU              :     70 (  47,  20,   3),  81.4 :   +227,   24,  100.0

3) BrainFish_190610 14CPU 3520 :    400 (+102,=198,-100),  50.3 %

    vs.                          :  games (   +,   =,   -),   (%) :   Diff,   SD, CFS (%)
    Leelenstein 8.0              :    200 (  47,  96,  57),  47.5 :     -4,   11,   36.2
    Leelenstein 7.2              :    200 (  55, 102,  43),  53.0 :     +7,   10,   76.1

4) Leelenstein 7.2        3513 :   1388 (+323,=872,-193),  54.7 %

    vs.                          :  games (   +,   =,   -),   (%) :   Diff,   SD, CFS (%)
    256x20.T8-swa-610000         :     52 (   3,  44,   5),  48.1 :    -17,   15,   12.7
    Leelenstein 8.0              :    436 (  72, 292,  72),  50.0 :    -11,    8,    7.3
    BrainFish_190610 14CPU       :    200 (  43, 102,  55),  47.0 :     -7,   10,   23.9
    20x256SE-jj-9-13740000       :    100 (  10,  82,   8),  51.0 :     +3,   12,   60.9
    20x256SE-jj-9-13760000       :    100 (   7,  89,   4),  51.5 :    +10,   12,   78.5
    BrainFish_190610 32CPU       :     42 (   6,  27,   9),  46.4 :    +11,   22,   68.4
    41800                        :    108 (  17,  81,  10),  53.2 :    +13,   13,   84.9
    Leelenstein 7.1              :     98 (  11,  79,   8),  51.5 :    +25,   13,   97.7
    Komodo 10 32CPU              :    182 ( 110,  60,  12),  76.9 :   +208,   14,  100.0
    Komodo 10 16CPU              :     70 (  44,  16,  10),  74.3 :   +216,   24,  100.0

5) 20x256SE-jj-9-13740000 3510 :    408 (+41,=336,-31),  51.2 %

    vs.                          :  games (  +,   =,  -),   (%) :   Diff,   SD, CFS (%)
    Leelenstein 7.2              :    100 (  8,  82, 10),  49.0 :     -3,   12,   39.1
    20x256SE-jj-9-13760000       :    100 (  9,  84,  7),  51.0 :     +6,   12,   70.2
    41800                        :    108 ( 13,  88,  7),  52.8 :    +10,   12,   78.4
    Leelenstein 7.1              :    100 ( 11,  82,  7),  52.0 :    +22,   13,   94.9

6) 20x256SE-jj-9-13760000 3503 :    408 (+35,=339,-34),  50.1 %

    vs.                          :  games (  +,   =,  -),   (%) :   Diff,   SD, CFS (%)
    Leelenstein 7.2              :    100 (  4,  89,  7),  48.5 :    -10,   12,   21.5
    20x256SE-jj-9-13740000       :    100 (  7,  84,  9),  49.0 :     -6,   12,   29.8
    41800                        :    108 (  9,  85, 14),  47.7 :     +3,   13,   60.2
    Leelenstein 7.1              :    100 ( 15,  81,  4),  55.5 :    +16,   13,   89.1

7) BrainFish_190610 32CPU 3502 :     86 (+18,=46,-22),  47.7 %

    vs.                          :  games (  +,  =,  -),   (%) :   Diff,   SD, CFS (%)
    Leelenstein 8.0              :     44 (  9, 19, 16),  42.0 :    -22,   22,   16.0
    Leelenstein 7.2              :     42 (  9, 27,  6),  53.6 :    -11,   22,   31.6

8) 41800                  3500 :    324 (+31,=254,-39),  48.8 %

    vs.                          :  games (  +,   =,  -),   (%) :   Diff,   SD, CFS (%)
    Leelenstein 7.2              :    108 ( 10,  81, 17),  46.8 :    -13,   13,   15.1
    20x256SE-jj-9-13740000       :    108 (  7,  88, 13),  47.2 :    -10,   12,   21.6
    20x256SE-jj-9-13760000       :    108 ( 14,  85,  9),  52.3 :     -3,   13,   39.8

9) Leelenstein 7.1        3488 :    300 (+19,=244,-37),  47.0 %

    vs.                          :  games (  +,   =,  -),   (%) :   Diff,   SD, CFS (%)
    256x20.T8-swa-610000         :      2 (  0,   2,  0),  50.0 :    -42,   20,    1.7
    Leelenstein 7.2              :     98 (  8,  79, 11),  48.5 :    -25,   13,    2.3
    20x256SE-jj-9-13740000       :    100 (  7,  82, 11),  48.0 :    -22,   13,    5.1
    20x256SE-jj-9-13760000       :    100 (  4,  81, 15),  44.5 :    -16,   13,   10.9

10) Komodo 10 32CPU        3305 :    366 (+25,=118,-223),  23.0 %

    vs.                          :  games (  +,   =,   -),   (%) :   Diff,   SD, CFS (%)
    Leelenstein 8.0              :    184 ( 13,  58, 113),  22.8 :   -219,   14,    0.0
    Leelenstein 7.2              :    182 ( 12,  60, 110),  23.1 :   -208,   14,    0.0

11) Komodo 10 16CPU        3297 :    140 (+13,=36,-91),  22.1 %

    vs.                          :  games (  +,  =,  -),   (%) :   Diff,   SD, CFS (%)
    Leelenstein 8.0              :     70 (  3, 20, 47),  18.6 :   -227,   24,    0.0
    Leelenstein 7.2              :     70 ( 10, 16, 44),  25.7 :   -216,   24,    0.0

Parent - By Guenter Stertenbrink Date 2019-06-29 15:11 Edited 2019-06-29 15:35
auf der anderen Seite haben wir die guten Ergebnisse bei CCCC

derzeit
Lc0 , 65.5/99
Stockfish , 63.5/100
Leelenstein , 60.5/100
Allie , 58.5/98
Fire , 49.5/98
Komodo MC , 44.0/100
Stoofvlees , 43.0/99
DarkQueen , 40.0/100
Xiphos , 37.0/100
Ethereal , 35.5/100

CCCC8a:
71.5,StockFish
68.5,Lc0
67.5,Leelenstein
66.5,Antifish
64.0,Houdini
63.5,Komodo
59.0,Komodo MTCs
...

CCCC8b:

68,Stockfish
67,Leelenstein
64,Lc0
60,Antifish
60,Houdini,
...

CCCC7:
165.5,Lc0
160,Stockfish
142,Leelenstein
124,Antifish
Parent - - By Wolfgang Battig Date 2019-06-30 20:20
Parent - By Benno Hartwig Date 2019-06-30 22:40
Jaaa, thanx, schauen wir mal...
Parent - - By Stefan Pohl Date 2019-07-01 05:18
Wolfgang Battig schrieb:

Test für die 40/4 läuft: <a class='urs' href='http://cegt.forumieren.com/t1152-testing-lczero-0-21-2-cuda-nw42668#2366'>http://cegt.forumieren.com/t1152-testing-lczero-0-21-2-cuda-nw42668#2366</a>


Schön. Wie ist bei euch die Leela-Ratio? Und, da ihr ja mehrere Tester seid, ist sie bei allen Testern (halbwegs) einheitlich?!?
Parent - - By Guenter Stertenbrink Date 2019-07-01 06:56 Edited 2019-07-01 07:54
http://www.cegt.net/testers/testers.html

1.3, Wolfgang Battig , GTX970,GTX1060
1.0, Werner Schüle , GTX1650
1.2, Michael Koppel , GTX1070
1.3, Gerhard Sonnabend , GTX1060

ich vermute mal, die rechnen das dann um auf LR=1.0 ?!

1.3 gibt etwa 10-15 Elo schaetz ich

Elo(32930)-Elo(SF10) =
-20,40/20,1590
-33,40/4,2600
-32,300+3+pb,1500

btw. stoofvlees IIa10 (neue Version)  38 hinter Lc0,58 hinter SF10 , 41 vor stoofvlees IIa9 auf 40/20 (782 Partien)
Parent - - By Stefan Pohl Date 2019-07-01 11:31
Danke für die Info, also etwa wie bei mir (LR: 1.3)

Leider ist mein Testrun von 42668 bei weitem nicht so gut weitergegangen, wie es nach 150-200 Partien noch aussah. Mittlerweile sind 500 Partien durch und jetzt ist 42668 ca. 10 Elo schwächer als 42595...
Doof. Zeigt mal wieder, daß 200 Partien eben nicht genug sind. Vielleicht sollte CEGT noch auf 42595 umwechseln... Aber das ist natürlich auch doof, wenn man schon mittendrin ist.
Naja, vielleicht wird es ja zum Ende hin bei mir wieder besser...fingers crossed!
Parent - - By Klaus S. Date 2019-07-01 11:48 Upvotes 1
Was ja bedeuten würde das auch 500 Partien nicht genug sind. 
Parent - By Stefan Pohl Date 2019-07-01 11:59
Klaus S. schrieb:

Was ja bedeuten würde das auch 500 Partien nicht genug sind. 


Tja, ich mache bei diesen Testruns mindestens 700 Partien. Genug ist es halt nie wirklich. Genug ist es eben immer nur innerhalb der Errorbars. Und je mehr Partien man spielt, desto schmaler sind diese eben.
Letztlich ist es eine Frage der Zeit und der Hardware. Mit lc0 CUDA ist es (zumindest noch) nicht möglich, mehr als eine Partie gleichzeitig zu spielen. Und daher brauche ich schon für die 700 Partien 5-6 Tage. Für mich ist das die Grenze des Zumutbaren für einen Testrun, mehr als eine Woche sollte sowas einfach nicht dauern. Schon gar nicht bei lc0, wo oft mehrere neue Netze pro Tag "das Werk verlassen".

Generell kann ich aber sagen, daß so ein Einbruch jenseits der 200er Marke relativ selten vorkommt. Ich führe darüber kein Tagebuch, daher kann ich nicht sagen wie selten, aber es ist definitiv die Ausnahme, nicht die Regel.
Parent - By Wolfgang Battig Date 2019-07-01 14:18
Zitat:
ich vermute mal, die rechnen das dann um auf LR=1.0 ?!


Nein, wir akzeptieren das etwas erhöhte Ratio und leben damit.
Zumindest kann uns so kein "Leela-Fanboy" an die Karre fahren, dass wir den Liebling benachteiligen
Parent - By Peter Weise Date 2019-07-01 19:05
Vielen Dank für ihre Tests, ich selbst mache gerade Zwangspause zwecks Temps.
Bisher war ich stark CCRL-affin, muß nun jedoch zugeben ihre Listen sind doch
deutlich umfangreicher und decken zudem den "MP-Bereich" sehr viel besser ab!
Auch die Range der Bedenkzeiten und dazu auch noch ponder on ist einzigartig.
Frage: wie nur schaffen sie es bei den mörderischen Temperaturen zur Zeit so
viele Partien spielen zu lassen dazu auch noch mit Grafikkarten?
Klimaanlage in der Wohnung und/oder gar Wasserkühlung auf CPUs und GPUs?
- - By Reinhold Stibi Date 2019-06-28 19:37
Werde 42668 mit RTX 2070 gegen neuesten Stockfish mit Xeon X5680 18 Threads testen.
Bedenkzeit 1 Min.+ 1 Sek.pro Zug.
Wo kann ich die 100 Noomen ShortLines downloaden ?

Am Rande: Kann ich ChessMaster 11 mit Original GUI auf 4 CPUs einstellen ?
Parent - - By Reinhold Stibi Date 2019-06-28 20:50
Habe inzwischen die 100 Noomen ShortLines heruntergeladen.
Leider ist dies eine pgn-Datei und keine ctg-Datei und werde diese
im Match unter der Fritz GUI nicht automatisch einbinden können´.
Parent - By Stefan Pohl Date 2019-06-28 21:03 Upvotes 1
Natürlich kann man eine pgn als Vorgabeset in der FritzGUI nutzen. Sowohl bei Enginmatches als auch in Engineturnieren. Das geht schon seit Urzeiten. Mindestens seit Fritz 6.
Dafür gibts den Menupunkt Datenbank im Enginezweikampf und Engineturnier-Setup Menu.
Parent - - By Wolfgang Battig Date 2019-06-28 21:34
Reinhold Stibi schrieb:

Habe inzwischen die 100 Noomen ShortLines heruntergeladen.
Leider ist dies eine pgn-Datei und keine ctg-Datei und werde diese
im Match unter der Fritz GUI nicht automatisch einbinden können´.


Klar geht das als Vorgabedatei, Stefan erwähnte es schon.
Gibt dann 200 Partien für das Match
Parent - - By Reinhold Stibi Date 2019-06-30 15:40 Edited 2019-06-30 15:42
Bei mir hat Lc0 v0.21.2-rc3 42668  GTX 1050 Ti   im Test   gegen   Stockfish 27.06.19  Proton 
100 Noomen ShortLines  Eröffnungsvorgabe  Bedenkzeit: 1 Min. + 3 Sek.pro Zug  nicht besonders gut abgeschnitten.

126 Partien   +26  = 67   -33   =47,2 %  =  -19 Elo

aber Lc0 v0.21.2-rc3 42659 RTX 2070  gegen  Stockfish 14.06.19  X5680 18 Threads

110 Partien  +22  =68  -20   = 50,9 %   = + 6  Elo


Zur Zeit läuft bei mir noch ein großes Turnier mit 21 Engines und 506 Partien mit RTX 2070 und Xeon X5680 18 Threads
das morgen zu ende geht.
Mal sehen wie dort Lc0 mit Net 42668 abschneidet.
Parent - - By Reinhold Stibi Date 2019-07-01 08:46
Mein neues großes Turnier musste ich vorzeitig ohne Ergebnis beenden.
Nach einer Unterbrechung kam alles durcheinander. Die ChessBase GUI Fritz 16
läuft bei Turniermodus nicht immer zuverlässig (nach einer Unterbrechung).

Vielleicht ist da die GUI von Deep Fritz 13 stabiler nur hat die den Nachteil,
dass manchmal die Enginenamen zu lang sind. Diese müssen dann gekürzt werden
und die Engines neu installiert werden.

Habe aber ja erst am 10.06.19 ein großes Turnier abgeschlossen mit Xeon X5680 18 Threads und RTX 2070
Da lagen die Engines Stockfish 12.04.19 Costalba  und Lc0 TCEC  gleichauf.

Stockfish wird bestimmt nicht vom Thron gestürzt, weil die Ergebnisse bei der Rangliste
so dicht beieinanderliegen werden, dass man nicht von besser oder schlechter reden kann;
so meine Prognose.
Parent - By Reinhold Stibi Date 2019-07-01 08:53
Stockfish wird wahrscheinlich um ca. 10 Elo besser sein
was aber unbedeutend ist.
Parent - - By Wolfgang Battig Date 2019-07-01 10:08
Zitat:
Vielleicht ist da die GUI von Deep Fritz 13 stabiler nur hat die den Nachteil,
dass manchmal die Enginenamen zu lang sind. Diese müssen dann gekürzt werden
und die Engines neu installiert werden.


Das von Dir geschilderte Problem haben alle CB-GUIs der letzten Jahre, also mach Dir keine große Hoffnung, dass es bei DF13 besser geht. Einer der Gründe, warum die meisten Ranglisten (!)-Tester dieses Interface nicht oder nur selten verwenden.
Der Turniermodus ist sehr "empfindlich" in Bezug auf auf Neustarts, erst recht wenn am Turnier - selbst kleinste - Änderungen vorgenommen werden.

Ich kann diesbezüglich nur zu Arena oder Shredder raten, wenn Du ein grafisches Interface haben möchtest um die Partien auch beobachten zu können.
Wenn nicht wäre die LittleBlitzer GUI auch eine sehr gute Wahl (frag Stefan Pohl... ).

Meine LC0-Tests/Turniere laufen ausschließlich unter Arena 3.5.1
Da kann man jederzeit Engines/Versionen hinzufügen, es werden immer nur die Partien (nach)gespielt, die fehlen.
Rausnehmen bzw. Ersetzen von Engines geht genauso einfach. Die bis dahin gespielten Partien bleiben allerdings im pgn-File und müssen bei Bedarf gelöscht werden.
Parent - - By Reinhold Stibi Date 2019-07-01 11:09
Danke für die Info; werde mich nun auch mit Arena 3.5.1 beschäftigen.
Vielleicht kann ich mich mit dieser GUI anfreunden; erscheint mir nur für den
ersten Blick etwas umständlicher und nicht so übersichtlich wie die CB GUI zu sein.

Zu den Testergebnissen von Stefan Pohl:

Dass Stockfish 19.05.04 gegen Lc0 0.21.2 N:42595  so schlecht mit nur 42 %
+4   =76   -20   abgeschnitten hat verwundert mich sehr.

Das Ergebnis wäre zu hinterfragen durch einen erneuten Testdurchgang.

Auch wäre vielleicht im Test angebracht einen neueren Stockfish  wie z.B. Stockfish vom 27.06.19  von protonspring zu verwenden.

Nach meinen neueren Tests liegen Stockfish und Lc0 gleichauf.

Also einen weiteren Fortschritt in den letzten 2 Monaten von Lc0 kann ich nicht feststellen. Aber vielleicht hat ja auch der
neuere Stockfish aufgeholt, sodass nun wieder ein Gleichstand herrscht. 

Bei CEGT wäre auch zu bedenken ob man für den Test des 42er Nets wirklich das Net 42668 nimmt, das Stefan Pohl  ja
nur mit äußerst kurzen Bedenkzeiten vorgetestet hat.
Bei mir hat dieses Net nicht gut abgeschnitten und das immerhin mit einer Bedenkzeit von 1 Min. + 3 Sek.pro Zug.
Da könnte man doch eine Woche warten und wahrscheinlich das bewährtere Lc0 TCEC nehmen.
Parent - - By Wolfgang Battig Date 2019-07-01 14:14
Reinhold Stibi schrieb:

....
Zu den Testergebnissen von Stefan Pohl:

Dass Stockfish 19.05.04 gegen Lc0 0.21.2 N:42595  so schlecht mit nur 42 %
+4   =76   -20   abgeschnitten hat verwundert mich sehr.

Das Ergebnis wäre zu hinterfragen durch einen erneuten Testdurchgang.


Nein!
Wenn Stefan, wir oder andere Ranglistentester jedes angeblich (!) "verwunderliche" Ergebnis - mit Ausnahmen von krassen Ausreißern, die auf Fehler beim Testaufbau hinweisen - hinterfragen würden, kämen wir nicht von der Stelle. Sooo verwunderlich ist das Ergebnis auch nicht. 42668 schafft bei mir gerade ca. 56% gegen Stockfish Dev, also alles im Rahmen. Zudem nur ein Match gegen nur einen Gegner.

Wer legt denn fest, was "verwunderlich" ist?

Nur der Tester selbst kann/sollte das machen. Wenn Stefan das Ergebnis komisch vorkommt wird er handeln. Erfahrung hat er genug.

Zitat:
Auch wäre vielleicht im Test angebracht einen neueren Stockfish  wie z.B. Stockfish vom 27.06.19  von protonspring zu verwenden.


Dafür müsste man aber erst einen Testrun dieser Stockfish-Version machen, damit sie ein Rating hat. Irgendeinen Gegner aus der Luft nehmen reicht nicht für einen seriösen Vergleich. Oder warum nehme ich in unserem Test wohl die Stockfish-Version aus März?? Du kommst sicher selbst drauf.

Zitat:
Nach meinen neueren Tests liegen Stockfish und Lc0 gleichauf.


Kann ich noch nicht beurteilen, aber es deutet einiges darauf hin.

Zitat:
Also einen weiteren Fortschritt in den letzten 2 Monaten von Lc0 kann ich nicht feststellen. Aber vielleicht hat ja auch der
neuere Stockfish aufgeholt, sodass nun wieder ein Gleichstand herrscht. 


Dürfte beides irgendwie zutreffen...

Zitat:
Bei CEGT wäre auch zu bedenken ob man für den Test des 42er Nets wirklich das Net 42668 nimmt, das Stefan Pohl  ja
nur mit äußerst kurzen Bedenkzeiten vorgetestet hat.
Bei mir hat dieses Net nicht gut abgeschnitten und das immerhin mit einer Bedenkzeit von 1 Min. + 3 Sek.pro Zug.
Da könnte man doch eine Woche warten und wahrscheinlich das bewährtere Lc0 TCEC nehmen.


Als wir das 32930 (TCEC-Final-NW) getestet haben hast du "gemeckert" (nicht bös gemeint), dass dieses ja auf die starke TCEC-Hardware abgestimmt sein und für "normale" Hardware nicht optimal. Und jetzt sollen wir auf ein "bewährtes TCEC Netz" warten? Na watt den nu?

Und ob ein NW bei dir gut/mittel/schlecht abschneidet (unter welchen Bedingungen auch immer), ist - nimms mir nicht krumm - kein wirkliches Entscheidungskriterium.

Ich werde den Testlauf jedenfalls nicht abbrechen und von vorne anfangen. Dazu sind die Abstände der letzten 15 oder mehr Networks einfach zu gering. Zudem dauert die LC0-Testerei eh schon elend lang. Zum einem, weil immer nur ein Match gleichzeitig geht auf einer Maschine geht und zum zweiten, weil LC0 auch in den neuen Versionen immer noch reichlich Probleme hat, gewonnene Partien auch wirklich zu gewinnen. Besser als bisher, aber teils immer noch unerträglich.

Und ob LC0 nun mit einem 42xxx-Netz oder erst später mit einem 5xxxx-Netz die Nr. 1 wird ist mir ehrlich gesagt völlig wurscht.
Parent - - By Reinhold Stibi Date 2019-07-01 15:00
Wer sagt denn dass Lc0 überhaupt die Nr. 1 wird ? so sicher ist das noch nicht

Würde mich nicht wundern, wenn die euphorischen Ergebnisse von Lc0 mit Net 42666 bei den Vortests von Stefan Pohl  (mit äußerst kurzer Bedenzeit)
mit dem normalen Testrun, der wahrscheinlich bis Freitag zu ende ist, abstürzen wird.

Interessant die hervorragenden Ergebnisse bei Stefan Pohl mit dem Net 42595 gegen Stockfish.
Werde diesbezüglich einen Test mit meiner RTX 2070 vornehmen. Würden sich die Ergebnisse bestätigen, wäre das Net 42595 ein echter Geheimtip.
Parent - - By Horst Sikorsky Date 2019-07-01 15:59
Reinhold Stibi schrieb:

Wer sagt denn dass Lc0 überhaupt die Nr. 1 wird ? so sicher ist das noch nicht

Würde mich nicht wundern, wenn die euphorischen Ergebnisse von Lc0 mit Net 42666 bei den Vortests von Stefan Pohl  (mit äußerst kurzer Bedenzeit)
mit dem normalen Testrun, der wahrscheinlich bis Freitag zu ende ist, abstürzen wird.

Interessant die hervorragenden Ergebnisse bei Stefan Pohl mit dem Net 42595 gegen Stockfish.
Werde diesbezüglich einen Test mit meiner RTX 2070 vornehmen. Würden sich die Ergebnisse bestätigen, wäre das Net 42595 ein echter Geheimtip.

warum soll das Olle Net 42595 besser als zum Beispiel 42682 sein. oder Nr. 160x40 28.06 03.10 Uhr
ich Weis es nicht   
Parent - - By Reinhold Stibi Date 2019-07-01 16:41 Edited 2019-07-01 16:43
Stephan Pohl hat das Net 42595 gegen Stockfish 04.05.19 mit 100 Partien getestet
und kam auf das Superergebnis für Lc0 mit 58 %    +20  =76  -4

Dieses Ergebnis würde bedeuten, dass Lc0 erheblich besser wäre als Stockfish.
Man bedenke, nur 4 Gewinnpartien für Stockfish und 20 Gewinnpartien für Lc0.

Nach meinen Tests kam ich aber nur auf Gleichstand.
Parent - - By Stefan Pohl Date 2019-07-02 05:27
Reinhold Stibi schrieb:

Stephan Pohl hat das Net 42595 gegen Stockfish 04.05.19 mit 100 Partien getestet
und kam auf das Superergebnis für Lc0 mit 58 %    +20  =76  -4

Dieses Ergebnis würde bedeuten, dass Lc0 erheblich besser wäre als Stockfish.


Nein, das bedeutet es eben nicht.
Deswegen spielt man für ein solides Ergebnis in Ranglisten gegen mehr als einen Gegner. Dies gillt insbesondere für lc0, weil Leela ja bekanntermaßen gegen schwächere Gegner meist schlechter scored als z.B. Stockfish oder Houdini. Zudem umfaßt der Einzeltestrun gegen Stockfish nur 100 Partien, was eine hohe statistische Unsicherheit bedeutet.
Schaut man sich das richtige Ranglistenergebnis von Net 42595 auf meiner Website an, so sieht man, daß es keinesfalls “erheblich besser“ als Stockfish ist, sondern quasi gleichauf mit Stockfish 190504.
Parent - - By Guenter Stertenbrink Date 2019-07-02 06:22
wenn man 2 Netze miteinander vergleicht, dann reichen doch
(meist) Partien gegen nur einen Gegner. Stockfish oder gegeneinander.
Oder gibt es Beispiele, wo Netz A gegen Stockfish besser abschneidet
als Netz B , aber trotzdem eine niedrigere Elo hat ?
------------------------------------
Und ich denke dasselbe gilt auch fuer die Bedenkzeit : vergleicht man
2 Netze so reicht (meist) die kurze Bedenkzeit - zugunsten einer groesseren
Anzahl von Partien. Fishtest macht es, ncm macht es, glbchess64 macht es,
die Lc0-Tester auf Discord machen es.
Und ich kann mich jetzt an kein Beispiel erinnern, dass laengere Bedenkzeiten dann ein anderes Ergebnis bringen.
Parent - - By Reinhold Stibi Date 2019-07-02 06:48
Das Zweikampfergebnis von Stefan Pohl  Lc0 mit Net 42595  gegen  Stockfish  mit 58 zu 42 %  ist m.E. ein Ausreiserergebnis das
nicht realistisch ist.
Mit erheblich besser meinte ich natürlich nicht in der Rangliste sondern im Zweikampf und dort ist Lc0 nicht erheblich besser,
sondern nur ganz geringfügig.

Der Test von mir mit Lc0 v0.21.2-rc3 Net 42595  RTX 2070   gegen   Stockfish 27.06.19 Proton   Xeon X5680 18 Threads
mit Eröffnungsvorgabe 100 Noomen ShortLines  und Bedenkzeit von 1 Min. +2 Sek. pro Zug  ist nach 100 Partien zu ende.

Ergebnis:   +19  =66   -15   = 52,0 %   = +14 Elo

Ich finde dieses Ergebnis für Lc0 sehr gut und glaube das Lc0 mit dem Net 42595 durchaus die Chance hat auch in der
Rangliste die Nr. 1 zu werden.
Parent - - By Guenter Stertenbrink Date 2019-07-02 08:14
in welcher Rangliste ? CEGT ?  Da waeren 30 Elos aufzuholen auf SF10 , 60 auf SF-dev
Parent - - By Reinhold Stibi Date 2019-07-02 15:12
Habe nochmals einen Test Lc0 Net 42668 diesmal mit RTX 2070  und Stockfish 27.06.19  18 Threads gemacht.

War eine weitere Bestätigung dass dieses Net nicht gut ist: 38 Partien    +5  = 23  -10   = 43,4%  = -46  Elo.

Mir war dieses Zwischenergebnis zu schlecht um den Test weiterzuführen.

Wolfgang Battig ist leider nicht für objektive Vorschläge zugänglich und er schreibt ja selber dass es ihm wurst sei.

Er soll aber in Ruhe sein Süppchen weiterkochen; mir ist das auch wurst.
Parent - - By Eduard Nemeth Date 2019-07-02 15:33
Zunächst möchte ich sagen dass ich eure Tests an sich klasse finde. Es wurde hier jedoch nur festgestellt dass Netz X besser ist als Netz Y. Aber es gibt viele Netze dazwischen und danach. Woher weiss man dass diese nicht besser sind? Ein Netz mit guter Selfplay Elo ist zB. 42692!
Parent - - By Stefan Pohl Date 2019-07-02 16:40
Eduard Nemeth schrieb:

Zunächst möchte ich sagen dass ich eure Tests an sich klasse finde. Es wurde hier jedoch nur festgestellt dass Netz X besser ist als Netz Y. Aber es gibt viele Netze dazwischen und danach. Woher weiss man dass diese nicht besser sind? Ein Netz mit guter Selfplay Elo ist zB. 42692!


Gar nicht. Das ist nun mal nicht zu vermeiden, weil es einfach zu viele Netze in zu schneller Abfolge gibt. Alle auch nur ansatzweise statistisch seriös zu testen, ist schlicht nicht möglich.
Parent - - By Eduard Nemeth Date 2019-07-02 18:12 Upvotes 1
Danke! Man muss also eine Vorauswahl richtig treffen können. Ich bin derzeit noch in der "glücklichen" Lage, die Netze NUR
auf CPU testen zu können!

Da kann man die Unterschiede noch deutlich sehen, bei nur ca. 30 nps für die 40er Netze bei mir auf einem Laptop 2x2,4 GHz.
Hier ist eine meiner (bisher) gesammelten Test-Stellungen für Lc0, die aus der Praxis stammen.



Analysis by Lc0 v0.21.2-rc2 256x20 (42692):

19.Sxf6+ Lxf6 20.e4 d4 21.Sd5 Lxd5 22.exd5 Te2 23.Lxc4 Txb2 24.Tab1 Tc2 25.Ld3 Tc3 26.Txb6 Sc5 27.Lb1
  +/= (0.34)  Tiefe: 9/18   00:01:47  2kN
19.e4 Sxe4 20.Sxe4 Txe4 21.Sxb6 Ta7 22.Sxd5 Lxd5 23.Txd5 Sc7 24.Lxc7 Txc7 25.a4 Te2 26.Tb1 Lf6 27.Kf1 Te1+
  +/= (0.45)  Tiefe: 9/18   00:01:48  2kN

Analysis by Lc0 v0.21.2-rc2 256x20 (256x20.T8-swa-610000):

1.Sxf6+ Lxf6 2.e4 d4 3.Sd5 Lxd5 4.exd5 Te2 5.Lxc4 Txb2 6.Tab1 Tc2 7.Ld3 Txa2 8.Txb6 Sc5 9.Lb1 Ta1 10.Ld6
  +/= (0.32)  Tiefe: 9/19   00:01:30  1kN
1.e4 Sxe4 2.Sxe4 Txe4 3.Sxb6 Td8 4.Lxa6 Lxa6 5.Sxd5 Lg5 6.h4 Lxh4 7.Lxh4 Txh4 8.Sf6+ Kf8 9.Txd8+ Ke7
  +/= (0.64)  Tiefe: 9/19   00:01:32  1kN

Analysis by Lc0 v0.21.2-rc2 256x20 (42595):

1.e4 Sxe4 2.Sxe4 Txe4 3.Sxb6 Td8 4.Lxa6 Lxa6 5.Sxd5 Lg5 6.f4 Le7 7.Sxe7+ Txe7 8.f5
  +/= (0.51)  Tiefe: 7/15   00:00:53  1kN

Das Netz 42595 findet den besten Zug am Schnellsten, danach kommt das "SuFi Netz 256x20.T8-swa-610000" und am Langsamsten
ist kuriorer Weise das ziemlich neue Netz 42692! Hätte ich nicht gedacht.
Parent - - By Stefan Pohl Date 2019-07-02 19:40 Edited 2019-07-02 19:47
Naja, das mit der Vorauswahl ist eben das Problem. Mein Versuch mit 200 Selfplay Bulletpartien hat ja z.B. bei Net 42668 nicht so prickelnd funktioniert.
Letzlich nimmt man ein halbwegs aktuelles Netz und dann muß man hoffen, daß es gut ist. Aber so groß sind die Schwankungen letztlich wohl auch nicht, wenn die Nets nur wenige Tage älter oder jünger sind. Zumindest nicht, wenn man sich die doch recht großen Errorbars bei den meisten Tests anschaut, eben weil lc0 nur eine Partie pro PC gleichzeitig spielen kann. Das begrenzt einfach die Zahl der Testpartien.
Bei meinen 700 Partien-Testruns ist die Errorbar z.B. noch +/-20. Ob also ein Netz wirklich schlechter ist, oder ob es nur eine statistische Schwankung ist, ist dann schon schwer zu sagen...

Wenn der Testrun von Net 42668 durch ist, werde ich mal probeweise einen Testrun mit deutlich verkürzten Bedenkzeiten (30''+500ms) starten und schauen, ob das ohne timelosses abgeht und ob lc0 auf der RTX 2060 mit den kurzen Bedenkzeiten zumindest halbwegs klarkommt... Falls ja, könnte es sein, daß ich auf diese kurze Bedenkzeit umstelle und dann je 500 Partien gegen die 7 AB-Gegnerengines spielen lassen, sodaß ein Testrun dann 3500 Partien (statt 700) umfassen würde und trotzdem nur ca. 6 Tage braucht. Aber das kann ich jetzt noch nicht sagen. Das sollte die Errorbar auf ca. +/-10 schrumpfen lassen und wäre daher schon weit verlässlicher. Besonders bzgl. der Frage, ob eng verwandte Nets wirklich Spielstärkeschwankungen zeigen, oder ob es nur statistisches Rauschen war, das wir bisher wegen der zu breiten Errorbars nicht als solches erkennen konnten.
Parent - By Eduard Nemeth Date 2019-07-02 21:00
Du machst das richtig, weiter so! Mir fällt es nur schwer zu glauben dass zB. das deutlich neuere Netz (aktuell 42700) keinen Ertrag mehr bringt. Das wären ja etwa 3 Mio. Partien die da umsonst gespielt wurden.
Parent - By Tom Paul Date 2019-07-02 23:55
Stefan Pohl schrieb:

Eduard Nemeth schrieb:

Zunächst möchte ich sagen dass ich eure Tests an sich klasse finde. Es wurde hier jedoch nur festgestellt dass Netz X besser ist als Netz Y. Aber es gibt viele Netze dazwischen und danach. Woher weiss man dass diese nicht besser sind? Ein Netz mit guter Selfplay Elo ist zB. 42692!


Gar nicht. Das ist nun mal nicht zu vermeiden, weil es einfach zu viele Netze in zu schneller Abfolge gibt. Alle auch nur ansatzweise statistisch seriös zu testen, ist schlicht nicht möglich.


Und deshalb ist es schlicht unmöglich zu sagen, dass das große 40x256 Netz schwächer ist als das 20x256 Netz, weil beide ständig neue Versionen haben und dazu sind diese auch noch mehr oder weniger komplett unterschiedlich.
Also halte dich doch an deine Aussage und lasse es einfach    
Parent - - By Wolfgang Battig Date 2019-07-02 19:03
Reinhold Stibi schrieb:

Habe nochmals einen Test Lc0 Net 42668 diesmal mit RTX 2070  und Stockfish 27.06.19  18 Threads gemacht.

War eine weitere Bestätigung dass dieses Net nicht gut ist: 38 Partien    +5  = 23  -10   = 43,4%  = -46  Elo.

38 Partiechen bestätigen oder beweisen gar nix!

Zitat:
Mir war dieses Zwischenergebnis zu schlecht um den Test weiterzuführen.

Das ist dein Problem.

Zitat:
Wolfgang Battig ist leider nicht für objektive Vorschläge zugänglich und er schreibt ja selber dass es ihm wurst sei.

Für subjektive Vorschläge ("objektiv" soll ja wohl ein Witz sein ) aufgrund von irrelevanten Partienzahlen bin ich allerdings nicht empfänglich.
Daher ist mir das wurscht (nicht wurst).

Zitat:
Er soll aber in Ruhe sein Süppchen weiterkochen; mir ist das auch wurst.

Na, nu bin ich aber wirklich schockiert.
Parent - - By Reinhold Stibi Date 2019-07-02 19:45 Edited 2019-07-02 20:04
Im Sachverhalt verdrehen da bist du spitze.

Sind 126 Partien irrelevant ?

Nochmals: Lc0 42668 mit GTX 1050 Ti   gegen  Stockfish 27.06.19  2 CPU

näheres weiter oben    +26  =67  -33  = 47,2 %   = -19 Elo 

Deine frechen Äußerungen zeigen  was du für ein Niveau hast.
Parent - By Wolfgang Battig Date 2019-07-02 21:18
Reinhold Stibi schrieb:

Im Sachverhalt verdrehen da bist du spitze.

Irgendein Talent muss doch jeder haben

Zitat:
Sind 126 Partien irrelevant ?

Jup
Zitat:

Deine frechen Äußerungen zeigen  was du für ein Niveau hast.

Jetzt hast du es mir aber gegeben

EoD
Parent - - By Tom Paul Date 2019-07-03 00:00
Wolfgang Battig schrieb:


38 Partiechen bestätigen oder beweisen gar nix!


Es macht aber einen gewaltigen Unterschied ob eine Partie mit jeweils 1 Sekunde pro Zug gespielt wird, oder ob pro Partie durchschnittlich 6 Stunden gespielt werden.
Up Topic Hauptforen / CSS-Forum / Stürzt Net 42668 Stockfish vom Thron?
1 2 Previous Next  

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill