SugaR AI Experience als Buch

By Eduard Nemeth Date 2020-12-17 08:39 Edited 2020-12-17 08:46

Ich habe gestern beim Online-Turnier (5m+0s) auf Schach.de die große Lerndatei als Experience-BUCH getestet. Nach der vierten Runde habe ich den Test abgebrochen, da ich genug gesehen hatte. Zwei weitere Mitspieler haben diese Lerndatei ebenfalls als Buch genutzt, und haben auch nach wenigen Runde umgestellt. Was war passiert?

Ich sah merkwürdig anmutenden Züge, die beiden anderen Spieler sahen es offenbar ähnlich. In der Grundstellung schafft die Engine auf meinem Ryzen 3900X mit der großen Lerndatei nur 19.000 kns, ohne die Lerndatei (bzw. mit nur wenigen KB) 23.000 kns. Außerdem bremst die große Lerndatei nicht nur da, auch während des Spiels bekommt die Engine weniger Zeit zum Nachdenken, wegen zeitlichen Verzögerungen. Einerseits wird die Engine gebremst und andererseits zieht sie etwas schneller. Das alles wäre jedoch weniger tragisch, würde die große Lerndatei die Engine mit guten Bewertungen unterstützen. Doch genau das ist nach meinen Beobachtungen, leider nicht der Fall. Ich habe zwei Tage lang, beginnend mit einer Leeren Lerndatei, auf dem Server 5+0 gespielt. Nach 130 Partien war meine Lerndatei nur 175 kb groß. Die grosse Lerndatei ist jedoch 175 MB groß. Würde ich auf dem Server nur 5+0 Partien spielen rund um die Uhr, ich benötigte mindestens 2 Jahre, damit die Lerndatei ein solches Volumen bekäme.

An der Qualität der großen Lerndatei habe ich also leider meine Zweifel.

Praktischer Teil (ich habe restliche Züge der Partien abgeschnitten wegen der besseren Übersicht):

Gleich bei meiner ersten Weisspartie mit dem Experience-BOOK (Einstellung Best-Move) wurde diese Partie gespielt:

[Event "Wertungspartie, 5 min"]
[Site "Maschinen A"]
[Date "2020.12.16"]
[Round "?"]
[White "SolistaChess, SugaR AI 1.00 avx2E"]
[Black "Ivers, Lc0 v0.26.3b"]
[Result "1/2-1/2"]
[ECO "D05"]
[WhiteElo "2675"]
[BlackElo "2658"]
[Annotator "0.12;0.00"]
[PlyCount "14"]
[EventDate "2020.12.16"]
[SourceTitle "playchess.com"]
[TimeControl "300"]

{Lc0 v0.26.3b (2 cores): 17.9 plies; 31kN/s Intel(R) Core(TM) i7-2600 CPU @ 3.
40GHz 3411MHz, (4 cores, 8 threads), 4096 MB} 1. d4 {0.12/45 5} Nf6 {B 0} 2.
Nf3 {0.05/41 0} d5 {B 0} 3. e3 {0.35/38 0} e6 {B 0} 4. Nbd2 {-0.15/35 0} c5 {
B 0} 5. b3 {0.35/26 0} b6 {B 0} 6. Bb2 {0.28/30 0} Be7 {B 0} 7. Bb5+ {0.26/32 0
} Nbd7 {B 0} 1/2-1/2

Wie gut der 4. Weisse Zug ist, müsste sich in vielen Partien natürlich erst zeigen (mein CTG Buch spielt hier Bd3), aber wenn man sich die Bewertung der Lerndatei ansieht, dann fällt ins Auge dass hier Weiss angeblich schlechter steht "4. Nbd2 {-0.15/35 0}". Wenn Weiss also hier schon so schlecht bewertet wird, wie kann das dann der beste Zug in dieser Stellung sein? Ferner beruht die Bewertung des 5. Weissen Zuges auf einer Suchtiefe von nur "5. b3 {0.35/26 0}" 26 Plies. Der Zug mag ja spielbar sein, doch 26 Plies erzielt meine Engine, wenn sie denn hier schon rechnen würde, fast im Nu. Auf 26 Plies sich zu verlassen bei Beginn einer Partie, kann nicht gut sein.

Nächste Partie:

[Event "Wertungspartie, 5 min"]
[Site "Maschinen A"]
[Date "2020.12.16"]
[Round "?"]
[White "ALEKS II, SugaR AI 1.00 avx2í"]
[Black "SolistaChess, SugaR AI 1.00 avx2E"]
[Result "1/2-1/2"]
[ECO "A21"]
[WhiteElo "2646"]
[BlackElo "2678"]
[Annotator "0.47;0.03"]
[PlyCount "29"]
[EventDate "2020.12.16"]
[SourceTitle "playchess.com"]
[TimeControl "300"]

{SugaR AI 1.00 avx2íîâ.ñ (16 threads): 38.3 plies; 10.673kN/s AMD Ryzen 7 2700
Eight-Core Processor , (8 cores, 16 threads), 4096 MB} 1. c4 {B 0} e5 {
0.03/41 0} 2. Nc3 {B 0} Bb4 {0.17/41 0} 3. Nd5 {B 0} Be7 {0.40/41 0} 4. Nf3 {
B 0} d6 {0.21/41 0} 5. d4 {B 0} Nf6 {0.43/41 0} 6. Nc3 {B 0} O-O {0.31/41 0} 7.
e4 {B 0} Bg4 {0.14/29 3} 8. d5 {B 0} Nfd7 {0.18/31 4} 9. h3 {B 0 (Le2)} Bxf3 {
0.20/31 4} 10. Qxf3 {B 0} Bg5 {0.14/34 4} 11. Bxg5 {B 0} Qxg5 {0.27/35 4} 12.
h4 {B 0} Qh6 {0.27/37 29} 13. Rh3 {0.47/34 32 (g3)} Qf6 {0.28/33 16 (a5)} 14.
Nb5 {0.48/32 19 (De3)} Qd8 {0.28/33 6} 15. O-O-O {0.37/30 1} 1/2-1/2

Wie ich schon erwähnte, bremst die große Lerndatei die Engine, zudem muss die Engine wegen zeitlicher Verzögerungen schneller ziehen. Folglich werden deutlich geringere Suchtiefen erzielt. In der Partie oben hatte die große Lerndatei schon sehr bald keine Züge mehr parat. Auch zog meine Engine viel zu schnell, und es entstand folgende Stellung (ich hatte Schwarz):

ALEKS II,S - SolistaChess,S 1/2-1/2, Wertungspartie, 5 min 2020

Ich spiele viel auf dem Server, und kann sagen dass die folgende Stellung unangenehm ist für Schwarz. Die Stellung ist nicht verloren, aber Weiss steht mir persönlich zu gut da. Ich denke dass ich mit einem üblichen Buch im CTG Format, weit Besseres für Schwarz finde.

Nebenbei habe ich auch noch gekiebitzt. Ich sah folgende Partie (den Rest habe ich abgeschnitten):

[Event "Wednesday 16 December Blitz Tour, 5+0, "]
[Site "Machines A"]
[Date "2020.12.16"]
[Round "2"]
[White "Stabels, KillFish CTR Hybrid"]
[Black "Montemagno, SugaR AI 1.00 avx2"]
[Result "1-0"]
[ECO "A21"]
[WhiteElo "2664"]
[BlackElo "2691"]
[Annotator "0.13;0.03"]
[PlyCount "41"]
[EventDate "2020.12.16"]
[EventType "swiss (blitz)"]
[TimeControl "300"]

1. c4 {B 0} e5 {0.03/41 1} 2. Nc3 {B 0} Bb4 {0.17/41 0} 3. d3 {B 0} d6 {
-0.19/28 0} 4. Bd2 {B 0} Bxc3 {-0.27/28 0} 5. Bxc3 {B 0} Nf6 {-0.13/26 0} 6. e3
{0.13/33 30} O-O {-0.03/28 0 (c5)} 7. b4 {0.13/30 6} Re8 {0.08/27 5} 8. Nf3 {
0.26/29 0} a5 {0.20/28 9} 9. b5 {0.38/30 0} a4 {0.37/30 13} 10. Be2 {0.32/30 1}
Bf5 {0.33/26 3 (h6)} 11. O-O {0.40/27 2} Nbd7 {0.51/28 9} 12. Bb4 {0.52/30 2
(Tc1)} Qe7 {0.47/28 24 (h6)} 13. e4 {0.41/28 4} Bg6 {0.35/27 1 (Lg4)} 14. g3 {
0.31/27 5 (Tb1)} c6 {0.49/27 5} 15. Nd2 {0.21/32 20 (bxc6)} h6 {0.51/27 17} 16.
Kh1 {0.48/30 2 (Tb1)} Bh7 {0.27/26 7 (cxb5)} 17. Rc1 {0.45/28 7 (Tb1)} cxb5 {
0.34/28 12 (Sc5)} 18. cxb5 {0.76/28 5 (f4)} Qe6 {0.00/25 5} 19. f4 {0.85/30 2}
Rec8 {0.50/29 6 (exf4)} 20. f5 {0.99/31 6} Qxa2 {0.81/30 1} 21. Bxd6 {1.19/30 4
} 1-0

Ich weiss dass Schwarz den neusten 32 Kerner Ryzen Threadripper nutzt! Beim 4. Schwarzen Zug "Bxc3 {-0.27/28 0}" erzielt das Experience-BOOK nur eine Suchtiefe von 28, das ist aus der Sicht eines so schnellen Rechners ein Witz. Da hilft auch die gute Bewertung für Schwarz nicht, da diese auf keiner vernünftigen Suchtiefe beruht. Schaut man sich den weiteren Verlauf an, dann fällt ins Auge, dass Schwarz seinen selbst berechneten 18. Zug "18...Qe6 {0.00/25 5}" in einer Suchtiefe von nur 25 Plies produziert, da nutzt auch die Bewertung von 0.00 nicht viel. Die Engine wurde hier doppelt ausgebremst, einmal durch die zu große Lerndatei, und andereseits weil die Engine wegen zeitlicher Verzögerung zu schnell zog. Selbst auf einem 32 Kerner kommt dann nichts Besseres dabei heraus.

Nach nur 21 Zügen steht Weiss klar auf Gewinn, obwohl Schwarz die deutlich stärkere Hardware besitzt:

Stabels,K - Montemagno,S 1-0, Wednesday 16 December Blitz Tour, 5+0, 2020

Analysis by SugaR AI 1.00 avx2:

21...Txc1 22.Dxc1 a3 23.Lb4 Db2 24.Dxb2 axb2 25.Kg1 g6 26.fxg6 Lxg6 27.Lc3 Ta3 28.Lxb2 Ta5 29.Kf2 Txb5 30.La3 Tb6 31.Sc4 Tb3 32.Ld6 Lh5 33.Ke3 b5 34.Sxe5 Lxe2 35.Kxe2 Sxe5 36.Lxe5 Sg4 37.Ld4 Sxh2 38.Tf5 Sg4 39.Kd2 Tb4 40.Kc3 Tb1 41.Td5
+/- (1.01) Tiefe: 33/54 00:00:13 326MN, tb=3465

Es tut mir sehr Leid, aber man muss der Realität ins Auge sehen, und das Fazit für mich lautet: Eine große Lerndatei nutzt nur etwas, wenn sie sehr gute Qualität hat und nur auf hochwertigen Partien aufgebaut ist. Im Blitzspiel wird man mit einer großen Lerndatei zudem extrem ausgebremst. Ich selbst werde nur kleinere Lerndateien nutzen und auch nur als Ergänzung für die normalen Bücher.

By Reinhold Stibi Date 2020-12-17 08:58 Edited 2020-12-17 09:31

Eduard, Montemagno, Assunta ist doch in deiner Buchgemeinschaft und verwendet dein Buch.

Die Stellung ist doch äußerst passiv für Schwarz, wie kann man denn so schlecht aus der Eröffnung kommen.

Da ist ja unser Buch von Lothar und mir, obwohl wir da nicht so viel Erfahrung wie du haben, besser.

By Peter Martan Date 2020-12-17 09:45 Edited 2020-12-17 09:54

Ich versteh vor allem den Sinn nicht ganz.

Verwende ich es mit Experience Book checked, kann die Engine nichts dazu lernen in den Stellungen, die dann gleich ausgespielt werden so wie aus einem Buch, lasse ich es mit einem Buch gemeinsam ausspielen, auch nicht, weil die Engine erst recht nicht rechnet, so lange sie im Buch ist, also auch für den Fall nicht, dass das Buch weiter reicht als die Experience.

Lasse ich ohne Buch aber mit dem geladenen großen Experience- File spielen, Experience Book unchecked, muss sie von der Grundstellung aus rechnen und verliert die ganze Zeit, die sie sonst im Buch wäre durch neu Berechnen der ersten Züge. Und da gerade dort die gespeicherten Tiefen höher sind, wird sie über die nur bei einer gewissen Rechenzeit drüber kommen. Macht sie das mit Experience Book unchecked, werden die neuen Evals die alten nicht überschreiben, so lange sie nicht in größeren als den gespeicherten Tiefen ankommen, und macht sie es zu kurz, wäre es besser, sie würde gleich mit Experience Book ausspielen.

Also fürs Eng-Eng-Blitzen kann ich mir das nicht sinnvoll vorstellen, zum Eröffnungsstudium in der Analyse vielleicht. Man könnte so versuchen, die Züge im Buch nach den Experience- Weights zu editieren, aber da fände ich halt den umgekehrten Weg schon immer noch besser.

By Eduard Nemeth Date 2020-12-17 10:08

Das sag ich doch, wenn man so schlecht rauskommt (hätte mir gestern auch passieren können) dann taugt so ein Buch nichts.

By Marco Zerbinati Date 2020-12-17 10:32 Edited 2020-12-17 10:43

Obviously the file I made available is just an example to show users the new features
As far as the quality of the moves is concerned, the file can certainly be improved, but it is the general concept of the quality of an experience file
many matches contribute to the quality.
The aim is not to replace a book, but to give a little support to all those positions not present in the main book.
To achieve this, many games need to be played.

Using it as a primary book is inadvisable
the concept of learning is much broader and included in the file
so calling it a book file is really an inappropriate term

the learning function of the book and only between quotation marks an added gem.

By Eduard Nemeth Date 2020-12-17 11:03

Dear Marco,
we couldn't know that. We just tested. Now we're smarter.

Regardless of the quality: The big book slows down the engine. I don't think it's suitable for blitz games. There is also a time lag.

I have my own EXP. File created, and this file supports my compact CTG book excellently. I haven't lost a single game in around 200 games I've played, and I won 8 games today and yesterday. Your engine is great, I love it.

By Assunta Schetto Date 2020-12-17 10:26

Reinhold Stibi schrieb:

Hallo Reinhold, Du siehst das nicht richtig. Ich habe gestern SugaR getestet und das Experience Book von SugaR verwendet. Also kein eigenes Eröffnungsbuch. Mir standen die Haare als ich nach wenigen Zügen aus der
Eröffnung kam. Dann das Springeropfer auf d5 gab den Rest.

Gruß Assunta

By Reinhold Stibi Date 2020-12-17 10:52

Hallo Assunta

Ja, und auch das beste Buch kann Lücken aufweisen; es war halt auch Pech.

Gruß

Reinhold

By Stefan Kleinert Date 2020-12-17 16:35

Eduard Nemeth schrieb:

Ich sah merkwürdig anmutenden Züge, die beiden anderen Spieler sahen es offenbar ähnlich. In der Grundstellung schafft die Engine auf meinem Ryzen 3900X mit der großen Lerndatei nur 19.000 kns, ohne die Lerndatei (bzw. mit nur wenigen KB) 23.000 kns. Außerdem bremst die große Lerndatei nicht nur da, auch während des Spiels bekommt die Engine weniger Zeit zum Nachdenken, wegen zeitlichen Verzögerungen. Einerseits wird die Engine gebremst und andererseits zieht sie etwas schneller. Das alles wäre jedoch weniger tragisch, würde die große Lerndatei die Engine mit guten Bewertungen unterstützen. Doch genau das ist nach meinen Beobachtungen, leider nicht der Fall. Ich habe zwei Tage lang, beginnend mit einer Leeren Lerndatei, auf dem Server 5+0 gespielt. Nach 130 Partien war meine Lerndatei nur 175 kb groß. Die grosse Lerndatei ist jedoch 175 MB groß. Würde ich auf dem Server nur 5+0 Partien spielen rund um die Uhr, ich benötigte mindestens 2 Jahre, damit die Lerndatei ein solches Volumen bekäme.

An der Qualität der großen Lerndatei habe ich also leider meine Zweifel.

Das Experience-BUCH hat schon bei Eman nie richtig funktioniert , da hilft auch keine hochwertige Lerndatei . Ich hab mich Monate mir dem Experience-BUCH beschäftigt und Khalid darauf aufmerksam gemacht das immer wieder schlechte Züge gespielt werden. Leider war er aber immer der Meinung das es an meiner Leindatei liegen muss. . Ich hab locker 50 verschiedenen Lerndateien mit dem Tool von Eman generiert , egal was man lernt oder einstellt das Experience-BUCH spielt schlechte Züge

By Eduard Nemeth Date 2020-12-17 16:52

Hallo Stefan,
Du bist für mich der absolute Experte wenn es um diese Lerndateien geht. Deshalb schätze ich deine deine Meinung sehr.

Ich kann auch nichts dafür wenn sich diese Datei so seltsam verhält. Einige andere sind der gleichen Meinung.

Es ist sehr schwer Programmierer zu überzeugen, besonders wenn es um Eman geht. Da liegen die Fehler immer bei uns Anwendern.

By Damir Desevac Date 2020-12-17 17:09

[quote="Eduard Nemeth"]

Ich spiele viel auf dem Server, und kann sagen dass die folgende Stellung unangenehm ist für Schwarz. Die Stellung ist nicht verloren, aber Weiss steht mir persönlich zu gut da. Ich denke dass ich mit einem üblichen Buch im CTG Format, weit Besseres für Schwarz finde.

Nebenbei habe ich auch noch gekiebitzt. Ich sah folgende Partie (den Rest habe ich abgeschnitten):

[Event "Wednesday 16 December Blitz Tour, 5+0, "]
[Site "Machines A"]
[Date "2020.12.16"]
[Round "2"]
[White "Stabels, KillFish CTR Hybrid"]
[Black "Montemagno, SugaR AI 1.00 avx2"]
[Result "1-0"]
[ECO "A21"]
[WhiteElo "2664"]
[BlackElo "2691"]
[Annotator "0.13;0.03"]
[PlyCount "41"]
[EventDate "2020.12.16"]
[EventType "swiss (blitz)"]
[TimeControl "300"]

1. c4 {B 0} e5 {0.03/41 1} 2. Nc3 {B 0} Bb4 {0.17/41 0} 3. d3 {B 0} d6 {
-0.19/28 0} 4. Bd2 {B 0} Bxc3 {-0.27/28 0} 5. Bxc3 {B 0} Nf6 {-0.13/26 0} 6. e3
{0.13/33 30} O-O {-0.03/28 0 (c5)} 7. b4 {0.13/30 6} Re8 {0.08/27 5} 8. Nf3 {
0.26/29 0} a5 {0.20/28 9} 9. b5 {0.38/30 0} a4 {0.37/30 13} 10. Be2 {0.32/30 1}
Bf5 {0.33/26 3 (h6)} 11. O-O {0.40/27 2} Nbd7 {0.51/28 9} 12. Bb4 {0.52/30 2
(Tc1)} Qe7 {0.47/28 24 (h6)} 13. e4 {0.41/28 4} Bg6 {0.35/27 1 (Lg4)} 14. g3 {
0.31/27 5 (Tb1)} c6 {0.49/27 5} 15. Nd2 {0.21/32 20 (bxc6)} h6 {0.51/27 17} 16.
Kh1 {0.48/30 2 (Tb1)} Bh7 {0.27/26 7 (cxb5)} 17. Rc1 {0.45/28 7 (Tb1)} cxb5 {
0.34/28 12 (Sc5)} 18. cxb5 {0.76/28 5 (f4)} Qe6 {0.00/25 5} 19. f4 {0.85/30 2}
Rec8 {0.50/29 6 (exf4)} 20. f5 {0.99/31 6} Qxa2 {0.81/30 1} 21. Bxd6 {1.19/30 4
} 1-0

Ich weiss dass Schwarz den neusten 32 Kerner Ryzen Threadripper nutzt! Beim 4. Schwarzen Zug "Bxc3 {-0.27/28 0}" erzielt das Experience-BOOK nur eine Suchtiefe von 28, das ist aus der Sicht eines so schnellen Rechners ein Witz. Da hilft auch die gute Bewertung für Schwarz nicht, da diese auf keiner vernünftigen Suchtiefe beruht. Schaut man sich den weiteren Verlauf an, dann fällt ins Auge, dass Schwarz seinen selbst berechneten 18. Zug "18...Qe6 {0.00/25 5}" in einer Suchtiefe von nur 25 Plies produziert, da nutzt auch die Bewertung von 0.00 nicht viel. Die Engine wurde hier doppelt ausgebremst, einmal durch die zu große Lerndatei, und andereseits weil die Engine wegen zeitlicher Verzögerung zu schnell zog. Selbst auf einem 32 Kerner kommt dann nichts Besseres dabei heraus.

Nach nur 21 Zügen steht Weiss klar auf Gewinn, obwohl Schwarz die deutlich stärkere Hardware besitzt:

Stabels,K - Montemagno,S 1-0, Wednesday 16 December Blitz Tour, 5+0, 2020

Analysis by SugaR AI 1.00 avx2:

21...Txc1 22.Dxc1 a3 23.Lb4 Db2 24.Dxb2 axb2 25.Kg1 g6 26.fxg6 Lxg6 27.Lc3 Ta3 28.Lxb2 Ta5 29.Kf2 Txb5 30.La3 Tb6 31.Sc4 Tb3 32.Ld6 Lh5 33.Ke3 b5 34.Sxe5 Lxe2 35.Kxe2 Sxe5 36.Lxe5 Sg4 37.Ld4 Sxh2 38.Tf5 Sg4 39.Kd2 Tb4 40.Kc3 Tb1 41.Td5
+/- (1.01) Tiefe: 33/54 00:00:13 326MN, tb=3465

Es tut mir sehr Leid, aber man muss der Realität ins Auge sehen, und das Fazit für mich lautet: Eine große Lerndatei nutzt nur etwas, wenn sie sehr gute Qualität hat und nur auf hochwertigen Partien aufgebaut ist. Im Blitzspiel wird man mit einer großen Lerndatei zudem extrem ausgebremst. Ich selbst werde nur kleinere Lerndateien nutzen und auch nur als Ergänzung für die normalen Bücher.
[/quote]

Hallo Eduard

Wie weisst Du dass Schwarz besseres PC hat? Soweit Ich weiss nutzt Stefan ( Stabels) einen 64 cores Threadripper....

By Eduard Nemeth Date 2020-12-17 17:14

Ich weiss dass er mehrere PCs hat, auch einige Schnelle. Die hat er aber meist in der Cloud laufen. Habe auch heute gegen ihn gespielt, da hatte er einen 22 Kerner Xeon. Aber OK, vielleicht hatte er gestern seinen Schnellsten dabei?