Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Stockfish 11 - das Ende einer Ära?
1 2 Previous Next  
- - By Lothar Jung Date 2020-01-22 15:49 Edited 2020-01-22 15:55
So sieht es zur Zeit aus:

1. T60-Netze machen große Fortschritte und sind noch lange nicht ausgereizt (LR Drops, TB-Training).

2. Suchparameter-Optimierungen bringen erstaunliche Elo-Zugewinne.

3. Backend-Optimierungen reizen Hardware viel besser aus (z.B. dx-fp16 für AMD-GPUs).

4. Neue RTX-GPUs werden noch leistungsstärker, ältere GPUs fallen im Preis.

5. Viele A/B-Engines (außer SF) werden von kleinen Netzen auf starken CPUs oder mit großen oder komprimierten Netzen auf mittelmäßigen GPUs geschlagen.

6. Komodo und Houdini sind für viele Leelas keine Gegner mehr.

7. SF11 tut sich schon jetzt gegen die Spitzen-NNs schwer (vgl. CCC-Tunier, Edosani-Tunier). Die Entwicklungsgeschwindigkeit ist bei NN höher als bei SF.

8. NNs spielen jetzt schon in einer separaten Liga und werden aus historischen Gründen gegen SF verglichen.

9. Eine Leela-Ratio wird immer schwieriger. Nur in Bullet-Tunieren haben A/B-Engines Vorteile. Bei längeren Bedenkzeiten und/oder guter Hardware sind NN im Vorteil.

10. Auch von der theoretische Entwicklung bei AI- und NN-Ansätzen ist noch einiges zu erwarten.
Parent - - By Lothar Jung Date 2020-01-22 16:05 Edited 2020-01-22 16:08
Hier einige Tunier-Stände:

https://www.twitch.tv/edosani

Auf Discord:

``
   # PLAYER             :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W    D    L  D(%)
   1 62010              :      53     23   102.0     178  57.3      84   44  116   18  65.2
   2 384x30-t40-1705    :      31     22    95.5     176  54.3      98   35  121   20  68.8
   3 stockfish_11       :       0     14   156.5     354  44.2     ---   38  237   79  66.9

White advantage = 59.86 +/- 10.68
Draw rate (equal opponents) = 71.83 % +/- 2.58

Standard option, accept 1 tread on both Leela and stockfish.
TC_4 sec. + 4 sec.``
Parent - By Stefan Pohl Date 2020-01-22 16:11 Upvotes 1
Lothar Jung schrieb:

Hier einige Tunier-Stände:


Lesbare Version:

Code:

Auf Discord:

``
   # PLAYER             :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W    D    L  D(%)
   1 62010              :      53     23   102.0     178  57.3      84   44  116   18  65.2
   2 384x30-t40-1705    :      31     22    95.5     176  54.3      98   35  121   20  68.8
   3 stockfish_11       :       0     14   156.5     354  44.2     ---   38  237   79  66.9

White advantage = 59.86 +/- 10.68
Draw rate (equal opponents) = 71.83 % +/- 2.58
Parent - - By Lothar Jung Date 2020-01-23 10:16 Edited 2020-01-23 10:39
Hier der zwischenzeitliche Tunierstand bei Edosani:

```Rank    Engine    Score    Lc    Lc    Le    Lc    Lc    Lc    St    Ko    St    St    Ho    St    S-B
01    Lc0 61994    67.0/112    · ·· ··    2-0-10    2-0-9    0-1-10    0-1-8    1-3-4    4-0-4    6-1-5    7-0-4    2-0-6    3-1-7    4-2-5     3410.75
02    Lc0 1705 Sergio Vieri    66.0/112    0-2-10    · ·· ··    0-0-11    3-2-7    0-0-8    0-1-7    3-0-5    5-0-7    4-1-6    2-2-4    5-0-6    6-0-5     3305.25
03    Leelenstein 13.0    65.5/110    0-2-9    0-0-11    · ·· ··    1-0-10    2-1-5    1-0-7    2-0-6    6-2-3    2-0-9    1-3-4    7-1-4    8-0-3     3264.25
04    Lc0 J13B.2-136    56.0/112    1-0-10    2-3-7    0-1-10    · ·· ··    0-2-6    0-3-6    1-4-4    4-2-5    1-1-9    2-2-4    4-1-6    5-1-5     2886.00
05    Lc0 62078_Kiudee    54.0/91    1-0-8    0-0-8    1-2-5    2-0-6    · ·· ··    2-0-6    1-0-7    4-0-5    1-0-7    3-0-5    2-0-7    2-0-6     2779.00
06    Lc0 62078    51.5/92    3-1-4    1-0-7    0-1-7    3-0-6    0-2-6    · ·· ··    1-2-6    3-0-6    3-0-5    1-4-4    3-1-4    4-0-4     2677.00
07    Stockfish 11    50.0/92    0-4-4    0-3-5    0-2-6    4-1-4    0-1-7    2-1-6    · ·· ··    0-1-7    4-0-5    3-0-6    4-0-4    5-1-2     2492.75
08    Komodo-13.2.5-64bit-bmi2    49.0/114    1-6-5    0-5-7    2-6-3    2-4-5    0-4-5    0-3-6    1-0-7    · ·· ··    2-0-9    1-1-7    1-0-10    3-0-8     2476.75
09    Stockfish_9_    46.5/111    0-7-4    1-4-6    0-2-9    1-1-9    0-1-7    0-3-5    0-4-5    0-2-9    · ·· ··    2-1-5    3-2-6    2-0-10     2377.25
10    Stockfish_10_    43.5/91    0-2-6    2-2-4    3-1-4    2-2-4    0-3-5    4-1-4    0-3-6    1-1-7    1-2-5    · ·· ··    1-2-5    1-0-7     2311.25
11    Houdini 6    42.5/111    1-3-7    0-5-6    1-7-4    1-4-6    0-2-7    1-3-4    0-4-4    0-1-10    2-3-6    2-1-5    · ·· ··    1-2-8     2224.25
12    Stockfish_8_    37.5/110    2-4-5    0-6-5    0-8-3    1-5-5    0-2-6    0-4-4    1-5-2    0-3-8    0-2-10    0-1-7    2-1-8    · ·· ··     1961.50
```

Man beachte das Ranking der beiden T60-Netze!

SF11: 54,34 %
Komodo: 42,98 %

61994: 59,82%
62078 Kiudee: 59,34 %
(62078: 55,97 %)
LS13: 59,54 %
SV1705: 58,92 %

Tunier wird wieder fortgesetzt (2min/2sec).

Lothar
Parent - - By Stefan Pohl Date 2020-01-22 16:10
Durchaus treffende Beschreibung des Status Quo.
Mein longtime Testrun mit Leelenstein 12.2 und Kiudee Setting gegen SF 191210 läuft bisher (80 Partien erst!) beängstigend gut für Lc0. Ich hoffe beinahe, daß da noch ein Einbruch für Lc0 hinten raus kommt.
Das Kiduee Setting ist wirklich erstaunlich.
Parent - By Tom Paul Date 2020-01-22 16:29
Das Setting wurde bis jetzt aber nur bei sehr sehr wenig Bedenkzeit getestet.
Da stellt sich natürlich die Frage ob bei mittlerer oder langer Bedenkzeit (für die Analyse) nicht -60 oder gar -100 ELO herauskommen?

Schließlich werden auch die Stockfish Dev Tests nicht grundlos mit kurzen und längeren Bedenkzeiten (für Stockfishs Verhältnisse) getestet um zu sehen ob da wirklich ein ELO + ist und wenn ja bei welchen Bedenkzeiten und bei welchen eben ein ELO -.

Oder geht man bei LC0 davon aus, dass ein ELO + mit neuen Settings immer vorliegt?
Parent - - By Peter Martan Date 2020-01-22 16:28
Na, da bin ich ja froh, dass ich schnell noch ein bisschen das CSS- SF- Forum genutzt habe, wenn dann bald kein Hahn mehr nach SF krähen wird, sehe ich die Zunkunft dieses Unterforums auch ernsthaft in Frage gestellt.
Parent - - By Stefan Pohl Date 2020-01-22 16:40
Peter Martan schrieb:

Na, da bin ich ja froh, dass ich schnell noch ein bisschen das CSS- SF- Forum genutzt habe, wenn dann bald kein Hahn mehr nach SF krähen wird, sehe ich die Zunkunft dieses Unterforums auch ernsthaft in Frage gestellt.



Das ist natürlich übertrieben. Aber nachdem Stockfish nun über Jahre die Nummer 1 im Computerschach war, neigt sich diese Ära wohl dem Ende entgegen. Und die NeuralNetz-Engines werden die klassischen AB-Engines wahrscheinlich generell ablösen. Letzteres ist natürlich eine echten Zeitenwende, immerhin bestand das Computerschach seit seinen Anfängen aus AB-Engines. Allerdings sind die AB-Engines gerade für Analysen natürlich trotzdem noch relevant, weil sie einfach zuverlässiger und weniger selektiv sind.
Parent - - By Michael Scheidl Date 2020-01-22 17:17 Upvotes 5
Eine engine, der im vergleich zu stockfish (und anderen) kombinatorisch nicht zu trauen ist, wird immer nur höchstens zu einer zweiten meinung taugen und nicht mehr. Da kann sie elomäßig leisten was sie will, das reicht nicht für erstklassige verläßlichkeit wenn man immer nachprüfen muß, ob sie was taktisch übersehen hat. Vom endspiel gar nicht zu reden. Also:

Für Enginesportler: möglicherweise ja mit top GPUs, praktischer nutzen null
Für Schachsporter: sicher nicht, da geht die Ära Stockfish glorreich weiter
Parent - By Kurt Utzinger Date 2020-01-22 19:44 Upvotes 4
Michael Scheidl schrieb:

Eine engine, der im vergleich zu stockfish (und anderen) kombinatorisch nicht zu trauen ist, wird immer nur höchstens zu einer zweiten meinung taugen und nicht mehr. Da kann sie elomäßig leisten was sie will, das reicht nicht für erstklassige verläßlichkeit wenn man immer nachprüfen muß, ob sie was taktisch übersehen hat. Vom endspiel gar nicht zu reden. Also:

Für Enginesportler: möglicherweise ja mit top GPUs, praktischer nutzen null
Für Schachsporter: sicher nicht, da geht die Ära Stockfish glorreich weiter


Hallo Michael
Absolut zutreffende Feststellung. Meiner Ansicht würde sich niemand z.B. bei Fernschach-Analysen
oder generell für Analysen nur auf Lc0 verlassen. Umgekehrt passiert das mit Stockfish allerdings schon.
Gruss
Kurt
Parent - By Eduard Nemeth Date 2020-01-22 19:59 Upvotes 1
Dieser Meinung bin ich auch. Wenn ich eine Idee für mein Matchbuch (CTG) habe (praktischer Nutzen von interessanten Enginepartien für mich übrigens 100%), schaue ich ob die Idee taktisch wasserdicht ist! Habe so z.B. zuletzt die Ponziani-Eröffnung wasserdicht gemacht und in mein Buch implementiert. Da es viele taktische Wendungen gibt, ist erstmal Stockfish gefragt gewesen.
Parent - - By Clemens Keck Date 2020-01-22 17:54 Upvotes 1
Also diese Bildzeitungsüberschriften finde ich grauenvoll

Mal überragt Stockfish
Nun das Ende

Ich finde Stockfish hats noch immer drauf !
Lc0 macht Fortschritte, ohne Zweifel.
Ich schätze es herrscht Gleichstand aktuell.

Bessere Hardware sagt nichts aus über Verbesserungen bei Lc0 , das ist Quatsch daraus das Ende von SF abzuleiten

Ebenso ist es Quatsch das Lc0 nur noch aus historischen Gründen gegen SF spielt.

90% aller Tests laufen mit den Standard setting von SF. Mit ct24 ist das halt nix gegen einen gleichwertigen Gegner.
Bei contempt 0 sieht es ganz anders aus. Komisch das nur jeder gerne an den Lc0 settings optimiert, und Sf auf default lässt.
Schon mal drüber nachgedacht, das hier testergebnisse für Lc0 begünstigt werden?

Und SF ist im Rapid viel stärker als im Bullet.

SF 11 hat das 3m+2s match verloren bei mir. (-11, +15, = 74) gegen Sergio-1541
Aber das 10m +2s dominiert SF 11 (contempt=0), (derzeit +10, -4, = 51)

C.K.
Parent - - By Lothar Jung Date 2020-01-22 18:16 Edited 2020-01-22 18:19
Ich hatte die Überschrift mit einem Fragezeichen versehen.
Im übrigen sind Prognosen schwierig, besonders wenn sie die Zukunft betreffen.

Ich bin ein Stockfish-Fan und schätze die Opensource-Engine sehr.
Natürlich gibt es je nach Bedingungen und Settings Wettbewerbsverfälschungen.
Ist halt auch schwierig, bei den unterschiedlichen Ansätzen (Engine und Hardware).
SF ist bei Analysen gerade im Endspiel eine andere Nummer und unentbehrlich.

Jedenfalls tut sich im NN-Bereich sehr viel und die Zuwächse sind beachtlich.
Parent - By Benno Hartwig Date 2020-01-22 19:50

> Jedenfalls tut sich im NN-Bereich sehr viel und die Zuwächse sind beachtlich.


Ja, und das gibt dem Computerschach in diesen Jahren einen wunderbar frischen Wind!
Und ich wäre nicht überrascht, wenn eine plietsche Kombination, eine wie auch immer geartete Symbiose der beiden Welten, noch einmal einen gravierenden Extra-Elo-Sprung bringen würde!
Parent - - By Martin Steinwandter Date 2020-01-22 20:31
Lothar Jung schrieb:

Jedenfalls tut sich im NN-Bereich sehr viel und die Zuwächse sind beachtlich.

Was tut sich denn? Außer LC0
Parent - - By Benno Hartwig Date 2020-01-22 20:48
Vielleicht werden wir eine gute Übersicht gewinnen, wenn in TCEC die NN-Runde beginnt.
Parent - By Peter Martan Date 2020-01-22 21:28
Oder wenigstens, wenn sie wieder endet.
Parent - - By Benno Hartwig Date 2020-01-22 19:45

> Bei contempt 0 sieht es ganz anders aus. Komisch das nur jeder gerne an den Lc0 settings optimiert, und Sf auf default lässt.


An SF wurde und wird von so vielen Leuten getunt und getunt. Dass sich da durch Herumspielen an nur den Settings noch was reißen lässt, glaube ich nie und nimmer!
Parent - - By Clemens Keck Date 2020-01-22 23:19
Benno Hartwig schrieb:

An SF wurde und wird von so vielen Leuten getunt und getunt. Dass sich da durch Herumspielen an nur den Settings noch was reißen lässt, glaube ich nie und nimmer!


Es geht hier nicht ums glauben. Auch wenn hier so manche Überschrift  dem Glauben oder Wunschdenken entsprungen zu sein scheint
SF + Contempt=0 gegen gleichstarke Gegner (Lc0) ist stärker. Gibts tests auf talkchess zB . (myoung).
Ich kann das anhand meiner Tests bestätigen.

C.K.
Parent - - By Benno Hartwig Date 2020-01-23 00:34
An welche Größenordnung sollte man hier denken?
Parent - - By Clemens Keck Date 2020-01-23 07:16
bei meinen 5+3 matches waren es +25 Elo für SF im direkten Vergleich SF / Lc0.

C.K.
Parent - - By Benno Hartwig Date 2020-01-23 07:36
Thanx, das wäre schon was!
Du weißt, es muss die Frage kommen: welcher Partienumfang hatte dieses Ergebnis erbracht?
Parent - - By Clemens Keck Date 2020-01-23 16:32
ein match hat 300 Partien, gespielt habe ich mehrere matches, ca 1500 Spiele.
Parent - By Benno Hartwig Date 2020-01-23 19:58
Thanx. Ja, das ist schon ein Umfang, der eine Einschätzung erlaubt.
Parent - - By Stefan Pohl Date 2020-01-23 05:39 Edited 2020-01-23 05:41
Clemens Keck schrieb:


90% aller Tests laufen mit den Standard setting von SF. Mit ct24 ist das halt nix gegen einen gleichwertigen Gegner.
Bei contempt 0 sieht es ganz anders aus. Komisch das nur jeder gerne an den Lc0 settings optimiert, und Sf auf default lässt.
Schon mal drüber nachgedacht, das hier testergebnisse für Lc0 begünstigt werden?



In meinen longtime-testruns läuft SF mit Contempt 15. Generell wird der Einfluß des Contempt, solange er nicht auf 50 oder mehr hochgedreht wird, bei SF total überschätzt. Wer sich die Bewertungen von SF ansieht, weiß, daß eine Bewertung von +0.25 bei SF fast nichts ist (im Gegensatz zu Komodo) und immer noch auf eine praktisch ausgeglichene Stellung hinweist. Ob also der Contempt auf 24, 15 oder 0 gestellt wird, macht fast nichts aus. Zumal Contempt sowieso nur dann wirksam wird, wenn SF im Suchbaum ein forciertes Remis erreichen kann bzw. könnte.

Hier ein altes Experiment dazu von meiner Website (wesentliches Fazit: Contempt 0, 15, 25 unterschieden sich jeweils um nur 5 Elo. Nicht der Rede wert, nur mit mindestens einigen Tausend Partien überhaupt meßbar. Bei Tests mit ein paar Hundert Partien alles nur Zufallsschwankungen)

2018/01/05 I repeated the 5000 games testrun of Stockfish 171206 with some different Contempt settings. Let's see, if the new contempt-algorithm of Stockfish can lower the draw-rate and/or gain some Elo.

Games Completed = 5000 of 5000 (Avg game length = 424.849 sec)
Settings = Gauntlet/512MB/180000ms+1000ms/M 400cp for 4 moves, D 130 moves
1.  Stockfish 171206 bmi2  3521.5/5000    2299-256-2445      (L: m=0 t=0 i=0 a=256)    (D: r=1631 i=411 f=109 s=17 a=277)
2.  Komodo 11.2.2 x64            412.5/1000    86-261-653      (L: m=0 t=0 i=0 a=261)    (D: r=379 i=178 f=35 s=2 a=59)
3.  Houdini 6 pext               462.0/1000    115-191-694      (L: m=1 t=0 i=0 a=190)    (D: r=510 i=77 f=35 s=10 a=62)
4.  Fire 6.1 popc                209.0/1000    11-593-396      (L: m=0 t=0 i=0 a=593)    (D: r=270 i=39 f=15 s=3 a=69)
5.  Shredder 13 x64              207.0/1000    15-601-384      (L: m=0 t=0 i=0 a=601)    (D: r=260 i=69 f=13 s=2 a=40)
6.  Fizbo 1.9 bmi2               188.0/1000    29-653-318      (L: m=1 t=0 i=0 a=652)    (D: r=212 i=48 f=11 s=0 a=47)

Games Completed = 5000 of 5000 (Avg game length = 437.087 sec)
Settings = Gauntlet/512MB/180000ms+1000ms/M 400cp for 4 moves, D 130 moves
1.  Stockfish 171206 C=15 3551.0/5000    2400-298-2302      (L: m=0 t=0 i=0 a=298)    (D: r=1412 i=430 f=128 s=17 a=315)
2.  Komodo 11.2.2 x64            412.5/1000    105-280-615      (L: m=0 t=0 i=0 a=280)    (D: r=327 i=175 f=27 s=2 a=84)
3.  Houdini 6 pext               461.5/1000    126-203-671      (L: m=0 t=0 i=0 a=203)    (D: r=432 i=121 f=31 s=11 a=76)
4.  Fire 6.1 popc                199.0/1000    21-623-356      (L: m=1 t=0 i=0 a=622)    (D: r=226 i=34 f=28 s=1 a=67)
5.  Shredder 13 x64              186.5/1000    11-638-351      (L: m=0 t=0 i=0 a=638)    (D: r=223 i=53 f=24 s=3 a=48)
6.  Fizbo 1.9 bmi2               189.5/1000    35-656-309      (L: m=1 t=0 i=0 a=655)    (D: r=204 i=47 f=18 s=0 a=40)

Games Completed = 5000 of 5000 (Avg game length = 439.036 sec)
Settings = Gauntlet/512MB/180000ms+1000ms/M 400cp for 4 moves, D 130 moves
1.  Stockfish 171206 C=25  3554.0/5000    2463-355-2182      (L: m=1 t=0 i=0 a=354)    (D: r=1293 i=455 f=118 s=19 a=297)
2.  Komodo 11.2.2 x64            434.0/1000    139-271-590      (L: m=0 t=0 i=0 a=271)    (D: r=282 i=194 f=36 s=1 a=77)
3.  Houdini 6 pext               470.0/1000    150-210-640      (L: m=0 t=0 i=0 a=210)    (D: r=436 i=100 f=34 s=16 a=54)
4.  Fire 6.1 popc                175.0/1000    11-661-328      (L: m=0 t=0 i=0 a=661)    (D: r=192 i=37 f=16 s=1 a=82)
5.  Shredder 13 x64              186.5/1000    17-644-339      (L: m=0 t=0 i=0 a=644)    (D: r=205 i=64 f=18 s=1 a=51)
6.  Fizbo 1.9 bmi2               180.5/1000    38-677-285      (L: m=2 t=0 i=1 a=674)    (D: r=178 i=60 f=14 s=0 a=33)

Games Completed = 5000 of 5000 (Avg game length = 442.943 sec)
Settings = Gauntlet/512MB/180000ms+1000ms/M 400cp for 4 moves, D 130 moves
Time = 554778 sec elapsed, 0 sec remaining
1.  Stockfish 171206 C=40   3618.0/5000    2598-362-2040      (L: m=0 t=0 i=0 a=362)    (D: r=1140 i=447 f=93 s=25 a=335)
2.  Komodo 11.2.2 x64            403.0/1000    118-312-570      (L: m=0 t=0 i=0 a=312)    (D: r=234 i=212 f=23 s=4 a=97)
3.  Houdini 6 pext               483.0/1000    183-217-600      (L: m=0 t=0 i=0 a=217)    (D: r=380 i=97 f=33 s=16 a=74)
4.  Fire 6.1 popc                172.5/1000    12-667-321      (L: m=2 t=0 i=0 a=665)    (D: r=197 i=31 f=14 s=3 a=76)
5.  Shredder 13 x64              164.5/1000    17-688-295      (L: m=0 t=0 i=0 a=688)    (D: r=171 i=60 f=15 s=2 a=47)
6.  Fizbo 1.9 bmi2               159.0/1000    32-714-254      (L: m=3 t=0 i=0 a=711)    (D: r=158 i=47 f=8 s=0 a=41)

Conclusions: (all comparsions to the result of Stockfish 171206 with default Contempt=0)

1) C=+15 gained +5 Elo. Draws overall lowered from 48.9% to 46.0%. 3fold-draws lowered from 32.6% to 28.2%

2) C=+25 gained +5 Elo. Draws overall lowered from 48.9% to 43.6%. 3fold-draws lowered from 32.6% to 25.9%

3) C=+40 gained +17 Elo. Draws overall lowered from 48.9% to 40.8%. 3fold-draws lowered from 32.6% to 22.8%
Parent - - By Benno Hartwig Date 2020-01-23 07:11
Danke, Stefan, interessante Untersuchung (und sie war in Vergessenheit bei mir geraten).
"Welche Auswirkungen (Vorteile) haben verschiedene contempt-Werte beim Spiel gegen schwächere Gegner: Remis-Häufigkeit und Elo-Wert."

Eine Frage für sich wäre schon, welche Auswirkungen auf die Spielstärke auftreten, wenn der Gegner ungefähr gleichstark ist.
"Wie sehr schädlich ist ein positiver contempt-Wert eigentlich dann?"
Ich rechne auch hier mit nur sehr kleinen (kaum messbaren?) Werten.
Darum meine Frage an Clemens, der sich mit "Glauben und Wunschdenken"  so ausdrücklich nicht zufrieden geben wollte. Verstehe ich ja auch.
Parent - - By Stefan Pohl Date 2020-01-23 13:14 Upvotes 1
Benno Hartwig schrieb:

Danke, Stefan, interessante Untersuchung (und sie war in Vergessenheit bei mir geraten).
"Welche Auswirkungen (Vorteile) haben verschiedene contempt-Werte beim Spiel gegen schwächere Gegner: Remis-Häufigkeit und Elo-Wert."

Eine Frage für sich wäre schon, welche Auswirkungen auf die Spielstärke auftreten, wenn der Gegner ungefähr gleichstark ist.
"Wie sehr schädlich ist ein positiver contempt-Wert eigentlich dann?"
Ich rechne auch hier mit nur sehr kleinen (kaum messbaren?) Werten.
Darum meine Frage an Clemens, der sich mit "Glauben und Wunschdenken"  so ausdrücklich nicht zufrieden geben wollte. Verstehe ich ja auch.


Ich mache jetzt mal ein großes RoundRobin mit Stockfish 11 gegen sich selbst. Mit den Contempts: -40, -24, -15, 0, 15, 24, 40. Je 1000 Partien pro Einzelwettkampf, also 21000 Partien. Denn nur Stockfish selbst ist genau gleich stark wie Stockfish. Und andere gleichstarke Gegner gibt es nicht. Außer Lc0 und da kann man eben nicht mehrere Partien parallel auf einem PC spielen, insofern ist das nicht praktikabel.
Mit 1'+1'', natürlich singlethread, und meinem neuen großen (über 30000 Linien) 5moves Eröffnungsfile (aus der Megabase gefiltert, alle Endstellungen von Komodo (eval: [-0.40;+0.60]) analysiert, keine Doubletten, Damen noch auf dem Brett, beide Spieler mindestens 2300 Elo)
Download auf meiner Website:
https://www.sp-cc.de/files/5mvs_30k_analyzed.zip

Das wird aber vermutlich irgendwas um 14 Tage dauern. Aber es eilt ja nicht.
Parent - - By Benno Hartwig Date 2020-01-23 13:22
Super, ich finde die Idee sehr gut!
Und bin gespannt!
Parent - By Stefan Pohl Date 2020-01-23 13:30
Benno Hartwig schrieb:

Super, ich finde die Idee sehr gut!
Und bin gespannt!



Schön. Ich wundere mich nur immer, daß Andreas und ich immer diejenigen sind, die solche Experimente machen. Dürfte auch gerne mal jemand anderes Rechnerzeit und Strom investieren.
Parent - - By Lothar Jung Date 2020-01-23 13:30 Edited 2020-01-23 13:33
Sehr gut!
Ich würde schon gern mein System für einen kooperativen Test einsetzen:
Ryzen 3900X, 2 x RTX 2070 (s), 32 GB RAM
Parent - By Stefan Pohl Date 2020-01-23 13:36 Edited 2020-01-23 13:41
Lothar Jung schrieb:

Sehr gut!
Ich würde schon gern mein System für einen kooperativen Test einsetzen:
Ryzen 3900X, 2 x RTX 2070 (s), 32 GB RAM


Naja, Lc0 gegen diverse SF Contempts testen, das würde dauern. 1000 Partien pro Contempt müßten es schon sein...
Erfahrungswert: 50''+500ms bedeutet, daß man für 3000 Partien etwa 6 Tage braucht, wenn man sie bis zum Matt oder Remis oder einer 5-SteinerStellung ausspielt.
5 Contempt-Werte auszuspielen (-24, -15, 0, +15, +24) (5000 Partien) würde also ca. 10 Tage dauern.
Parent - - By Stefan Pohl Date 2020-01-23 14:41
Hab mich entschieden, noch 50% mehr Partien zu spielen, also 1500 pro Einzelbegegnung, jede Contempteinstellung spielt nun insgesamt 9000 Partien. Also 31500 Partien insgesamt. Wenn ich das nun schon mache, dann auch richtig...denn es wird sicher eine hohe Remisquote geben, daher möchte ich noch mehr Partien spielen lassen.
Wird aber dauern. Morgen kann ich sicher schon die zu erwartende Gesamtdauer abschätzen.
Parent - - By Guenter Stertenbrink Date 2020-01-23 16:31 Edited 2020-01-23 16:35
Parent - - By Stefan Pohl Date 2020-01-23 16:37
Guenter Stertenbrink schrieb:

ich erinnere noch, als contempt eingefuehrt wurde.
ich glaube einige Tage vor SF9,
das gab auf einen Schlag ca. 10 Elo

<a class='ura' href='https://nextchessmove.com/dev-builds'>https://nextchessmove.com/dev-builds</a>
<a class='ura' href='https://github.com/glinscott/fishtest/wiki/Regression-Tests'>https://github.com/glinscott/fishtest/wiki/Regression-Tests</a>
<a class='ura' href='https://camo.githubusercontent.com/1c63286b7342d42ccf2e98092f125f2ce8da17c1/68747470733a2f2f696d6775722e636f6d2f5675704b4a634a2e706e67'>https://camo.githubusercontent.com/1c63286b7342d42ccf2e98092f125f2ce8da17c1/68747470733a2f2f696d6775722e636f6d2f5675704b4a634a2e706e67</a>


Ja, das deckt sich auch mit meinem Experiment, was ich hier gerade noch mal gepostet hatte. Aber was sind schon 10 Elo?!? Unterhalb von mehreren Tausend Partien gar nicht meßbar. Geschweige denn, daß es bei Online Engineschach irgendetwas ausmachen würde oder könnte.
Parent - - By Eduard Nemeth Date 2020-01-23 22:47
Ganz egal was herauskommt, ich werde niemals mit Contempt 25 spielen lassen. Denn die wenigen Gegner die nicht fish heissen, kann man im Onlineschach mit 1 Finger abzählen (abgesehen von Lc0). Die meisten fishe haben ähnliche Hardware wie die meine, aber es gibt etwa 15% die deutlich schneller sind. Da tue ich gut daran mit Contempt 0 zu spielen. Und bisher hat sich das ganz gut bewährt, verliere gegen die Monster kaum bis garnicht, gegen Lc0 läuft es ähnlich gut.
Parent - By Guenter Stertenbrink Date 2020-01-24 02:00
die Entwickler orientieren sich nicht am onlineschach sondern an den Ratinglisten
und da wird meist gegen 10-20 verschiedene Gegner gespielt.
Parent - - By Clemens Keck Date 2020-01-23 07:14
Moin Stefan

danke für die Info.
Ich sagte SF und contempt0 ist besser gegen gleichstarke Gegner, und das ist nun mal nicht die von dir aufgeführte Gegnerschaft.
Ich meine schon Lc0. In matches SF gegen Lcß  ist es messbar.
Übrigens hat auch Komodo team ct0 für Komodo empfohlen bei matchen gegen Houdini und SF.

C.K.
Parent - By Stefan Pohl Date 2020-01-23 13:26 Upvotes 1
Clemens Keck schrieb:

Moin Stefan

danke für die Info.
Ich sagte SF und contempt0 ist besser gegen gleichstarke Gegner, und das ist nun mal nicht die von dir aufgeführte Gegnerschaft.


Stimmt, Nur, wenn maßvolle Änderungen im Contempt gegen schwächere Gegner nicht viel ändern, gibt es keinen logischen Grund, anzunehmen, daß das bei gleichstarken Gegner anders sein könnte. Sofern man ausreichend viele Partien spielt, also etliche Tausend. Und mit 100 oder 200 Partien kann man nun mal so geringe Änderungen überhaupt nicht messen. Da wird nur wieder etwas in Zufallsschwankungen hineininterpretiert.
Parent - - By Jörg Oster Date 2020-01-23 10:41
Stefan Pohl schrieb:

... Zumal Contempt sowieso nur dann wirksam wird, wenn SF im Suchbaum ein forciertes Remis erreichen kann bzw. könnte.


Und genau so funktioniert der "Contempt" in Stockfish eben NICHT!

Der Name "Contempt" ist hier sehr schlecht gewählt und höchst irreführend.
"Verstärkung" oder "Optimismus" wären evtl. treffendere Bezeichnungen.
Parent - - By Stefan Pohl Date 2020-01-23 12:15 Edited 2020-01-23 12:18
Jörg Oster schrieb:

Stefan Pohl schrieb:

... Zumal Contempt sowieso nur dann wirksam wird, wenn SF im Suchbaum ein forciertes Remis erreichen kann bzw. könnte.


Und genau so funktioniert der "Contempt" in Stockfish eben NICHT!

Der Name "Contempt" ist hier sehr schlecht gewählt und höchst irreführend.
"Verstärkung" oder "Optimismus" wären evtl. treffendere Bezeichnungen.


Aha. OK, dann ist die Bezeichnung aber wirklich sehr irreführend. Nichtsdestotrotz waren in meinem Experiment damals die Elo-Effekte bei Contempt 0, 15, 25 sehr gering. Vielleicht könntest du uns hier den Contempt in SF etwas genauer erläutern. Das wäre hilfreich.
Ich habe jetzt für meine longtime Testrun von SF gegen LC0 den Contempt auf 15 gesetzt, weil das eben irgendwo zwischen 24 und 0 liegt. Und ich hab ja auch schon einen deutlich schwächeren Gegner gehabt (Fat Fritz), insofern möchte ich eigentlich auch nicht auf 0 gehen.
Parent - By Jörg Oster Date 2020-01-23 19:37
Ich werde versuchen, an diesem Wochenende eine genauere Erklärung zu liefern. Sofern überhaupt möglich. 
Parent - - By Eduard Nemeth Date 2020-01-22 21:00
Zitat: Stockfish 11 übertrifft die Erwartungen.
Parent - - By Reinhold Stibi Date 2020-01-22 22:01 Edited 2020-01-22 22:10 Upvotes 2
Die Überschrift von Lothar: Stockfish 11 - das Ende einer Ära ? finde ich vollkommen unangebracht; auch mit ?.

Mir geht die Hochjubellei von Lc0 auf den Geist

Momentan ist auch wieder Stillstand im 59er und 62er Netz. Es geht kaum etwas vorwärts.

Wenn ich die Wahl hätte nur Stockfish oder Lc0 würde ich natürlich Stockfish nehmen.

Lc0 spielt  z.T. vollkommenes Anfängerschach z.B. Mattsetzen mit wenigen Figuren. Ob diese gravierende
Schwäche inzwischen behoben wurde werde ich noch nachprüfen.

Auch oft der umständliche Weg zum Matt lässt manchmal verzweifeln.
Von einer Spitzenengine  erwarte ich das Vorzeigen zum schnellstmöglichen Sieg ,nicht den umständlichen und längeren Weg.

Auch ist Stockfish im taktischen Bereich stärker.

Ich wüste nicht, dass Lc0 besser in der Spielstärke wäre wie Stockfsh 11.
Da werden dubiose Testergebnisse aufgezeigt, die man nicht nachvollziehen kann.
Da verlasse ich mich lieber auf meine Tests; die sind aktuell und aussagekräftig.

Auch in keiner Rangliste ist Lc0 vor Stockfish 11, das wäre auch zu früh.

Auch die Mattanzeige funktioniert  bei Lc0 nicht; es ist doch toll wenn z.B. Stockfish ein Matt in 15 anzeigt.

Von Ende einer Ära von Stockfish kann überhaupt keine Rede sein. Es wäre stocklangweilig, wenn es  nur Lc0 gäbe.

Das Stockfish Team hat mit Stockfish 11 eine hervorragende Arbeit geleistet. Ich empfinde die Überschrift eine Herabsetzung
gegenüber Stockfish die absolut nicht angebracht ist.
Parent - - By Tom Paul Date 2020-01-22 22:22
Man könnte doch einpaar der Vorschläge auf LC0 von Stockfish übertragen.
Parent - By Horst Sikorsky Date 2020-01-22 22:55
Tom Paul schrieb:

Man könnte doch einpaar der Vorschläge auf LC0 von Stockfish übertragen.

wer kann mir diesen (Satz) erklären ?
Parent - By Thorsten Czub Date 2020-01-22 22:43
Es wäre stockfishlangweilig
Parent - By Walter Knobloch Date 2020-01-22 23:12
Zitat:
Nur in Bullet-Tunieren haben A/B-Engines Vorteile. Bei längeren Bedenkzeiten und/oder guter Hardware sind NN im Vorteil.


chess.com - Bullet 1+1 Turnier:

Halbfinale: Leela 107 - SF 93
Endspiel: Leela - Leelenstein
Parent - - By Lothar Jung Date 2020-01-23 11:27
Zu Nr. 4:

Bei den RTX 3000er Karten, soll Nvidia die Geschwindigkeit der TensorCores verdoppelt haben:

https://hothardware.com/news/nvidia-geforce-rtx-3000-ampere-gpu-specs-leaked

Das hätte erhebliche Auswirkungen auf die Leela Ratio und das CPU/GPU-Leistungsverhältnis bei NN/SF11.

Lothar
Up Topic Hauptforen / CSS-Forum / Stockfish 11 - das Ende einer Ära?
1 2 Previous Next  

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill