Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / FatFritz / Fritz 17 Installation
1 2 3 Previous Next  
Parent - - By Stefan Pohl Date 2019-11-13 12:06 Edited 2019-11-13 12:08
Stefan Pohl schrieb:

(die ersten 15 Partien meines FatFritz-Testrun liefen sehr gut für FatFritz, es funktioniert also alles, wie es soll. Der Testrun dauert nun 6 Tage. Eventuell poste ich mal einen Zwischenstand, wenn das Ergebnis sich halbwegs eingependelt hat).


Nach knapp 600 von 3000 Partien liegt Fat Fritz 1.0 in meinem Testrun so bei ca. 3500 SPCC-NN-Elo. Siehe den Auszug aus meiner kompletten NN-Rangliste. Wäre also der neue 8.Platz, so ca. -30 Elo zum besten Lc0 (Lc0 0.22.0 T40B.4-160). Natürlich kann sich das Ergebnis noch leicht ändern. Grundlegend aber höchstwahrscheinlich nicht mehr. Das Ergebnis liegt aber auch in einem Bereich, den ich erwartet hatte. Es mag zwar sich zwar als Verkaufsargument schön anhören, menschliche Meisterpartien und Engine-Engine Partien von AB-Engines in ein NN zusätzlich einzuspeisen. Aber es ist dadurch ein "MischMasch" von Spielstilen in den Lerndaten. Das kann letzlich der Spielstärke nicht zuträglich sein, da sich das NN beim Lernen immer wieder in eine etwas andere Richtung entwickelt, statt einen Spielstil zu perfektionieren.
Dennoch ist das bisher ja kein schlechtes Ergebnis. Nur eben nicht absolut Spitze. Und für Analysen eigener Partien kann das FatFritz NN schon anderen und interessanten Output erzeugen, als die klassischen Selfplay-NN von lc0. Und dafür spielen ja 30 Elo mehr oder weniger keine Rolle.

Code:

     Program                         Elo    +    -   Games   Score   Av.Op.  Draws

   1 Stockfish 190622 bmi2         : 3532    4    4 14500    63.8 %   3425   51.2 %
   2 Lc0 0.22.0 T40B.4-160         : 3530   10   10  3000    67.9 %   3391   47.0 %
   3 Lc0 0.21.2 42741              : 3524   10   10  3000    67.5 %   3389   46.7 %
   4 Lc0 0.22.0 T40B.2-106         : 3521    9    9  3000    67.1 %   3389   45.7 %
   5 Lc0 0.21.3 42850              : 3517   10   10  3000    66.7 %   3389   46.0 %
   6 Lc0 0.21.2 42595              : 3514    9    9  3000    66.3 %   3389   47.0 %
   7 Lc0 0.21.2 T40.T8.610         : 3512    9    9  3000    66.1 %   3389   46.0 %
   8 Lc0 0.22.0 LStein 10.2        : 3492    9    9  3000    63.7 %   3389   46.0 %
Parent - - By Guenter Stertenbrink Date 2019-11-13 12:24
fuer mich besser als erwartet.
Zwar nur Platz 8 in deiner Liste, aber nur ca. 25 Elo hinter Platz1.

Wo wir die letzten Jahre pre-NN dieses 3er-Gespann mit 200Elo Vorsprung hatten

25 Elo ist ca. 1/2 Jahr StockFish Entwicklung oder ~60% mehr Rechenpower

Und wieviel Training steckt jetzt dadrin , verglichen mit dem Spitzenreiter ?
Parent - - By Stefan Pohl Date 2019-11-13 12:39
Guenter Stertenbrink schrieb:

fuer mich besser als erwartet.

Und wieviel Training steckt jetzt dadrin , verglichen mit dem Spitzenreiter ?


Tja, das mußt du Albert Silver fragen. Das kann ich nicht sagen.
Parent - - By Eduard Nemeth Date 2019-11-13 13:18
Ich finde den Ansatz von Fat Fritz besser. Bei Lc0 heisst es: Ich spiele nur gegen mich selbst und werde dadurch immer stärker. Jetzt nehme ich dafür ein grösseres Brett damit ich noch mehr sehe. Aber irgendwann ist auch das ausgereizt, und hinter den eigenen Horizont kann man nicht sehen. Ausser, es wird einem gezeigt. Ideen von Aussen werden auf Dauer gut tun. Soweit ich das im CCC Forum gelesen habe, soll es kostenlose Updates von Fat Fritz geben, A. Silver soll darauf bestanden haben.
Parent - - By Stefan Pohl Date 2019-11-13 13:23 Edited 2019-11-13 13:28
Eduard Nemeth schrieb:

Ich finde den Ansatz von Fat Fritz besser. Bei Lc0 heisst es: Ich spiele nur gegen mich selbst und werde dadurch immer stärker. Jetzt nehme ich dafür ein grösseres Brett damit ich noch mehr sehe. Aber irgendwann ist auch das ausgereizt, und hinter den eigenen Horizont kann man nicht sehen.


Diese Aussage ist grundfalsch. Jedes neue Netz im SelfPlay Trainingsverlauf, das einen Tick besser als das davor ist, widerlegt diese Aussage, denn es schaut ein kleines Stück weiter "hinter den eigenen Horizont". Das ist ja gerade das bahnbrechende am Zero-Ansatz, daß sich diese Netze (wie Münchhausen) am eigenen Schopf nach oben ziehen. Und da gibt es einfach kein Limit, wenn auch der Trainigsfortschritt langsamer wird, je besser die Netze werden (logisch). Bei Menschpartien gibt es schon Grenzen.
Es ist m.E. daher ganz im Gegenteil so, daß der FatFritz-Ansatz, der Menschpartien und AB-Engine-Engine Matches miteinbezieht irgendwann ausgereizt ist.
Parent - - By Eduard Nemeth Date 2019-11-13 13:41 Edited 2019-11-13 14:08
Menschpartien und AB-Engine-Engine Matches

Na ja, auf dem Server werden tausende Partien täglich gespielt, und ich denke da nicht an Menschenschach, sondern an den Maschinenraum. Es wird hart an Eröffnungsbüchern gearbeitet und diese dann oft auf Monsterhardware ausgespielt. Lc0 Partien sind auch dabei. Es gibt da einige Accounts, die sind nur damit beschäftigt, alle diese Partien, alle, abzuspeichern.
Parent - By Eduard Nemeth Date 2019-11-13 14:05
Ich könnte allein locker 50.000 Partien im Jahr mit nur einem Account dort spielen. Es wird zwar viel geblitzt, aber nicht nur. Mitsamt anderen Quellen, ergibt das viele Millionen qualitativ klasse Trainingpartien im Jahr. Fantastisch.
Parent - - By Guenter Stertenbrink Date 2019-11-13 13:26
Ideen von aussen kommen kaum von einem neuen Netz, sondern eher von ab .

Lc0 war/ist _sehr_ trainingsintensiv, Aber wieviel Training wird benoetigt fuer ein
Weltklasse Programm ? Sagen wir, auf Rybka-Niveau, welches viele Jahre lang dominierte.

Und, waere das ganze nicht auch schon damals gegangen ? Woran ist es gescheitert ?

Gibt es in anderen Bereichen aehnliches ?
Parent - - By Rainer Maikowski Date 2019-11-13 14:01
Fat Fritz ist eine weitere Ergänzung im NN-Enginespektrum, nicht mehr und nicht weniger. Dass er teilweise andere Bewertungslinien als Lc0 hat, siet man an folgender Partie (gespielt auf Ryzen 7 3800x mit RTX 2060 super, beide 2 threads, Buch SuperGM_4mvs.ctg) :

Event:
Ort:
Datum:

Weiss:
Schwarz:

Ergebnis
Board
Parent - - By Rainer Maikowski Date 2019-11-13 14:05
31.Txe7! sieht Lc0 nicht. Danach bleibt seine Bewertung moderat (0.00-0.35). Mit 45...Lf8 geht sie runter auf -1.19
Fat Fritz zeigt nach 42.Dxf5 86%.
Parent - - By Eduard Nemeth Date 2019-11-13 14:23
Was für ein schöner Zug! Für NN nicht einfach zu finden. Frage: Hast Du beide Engines auf nur einer Karte laufen lassen?
Parent - - By Rainer Maikowski Date 2019-11-13 14:37
Ja, aber ohne pondern.
Parent - By Rainer Maikowski Date 2019-11-13 14:46
Übrigens hääte 41...Lb5 die Partie für Schwarz noch gerettet.
Parent - - By Tom Paul Date 2019-11-13 17:10
Rainer Maikowski schrieb:

31.Txe7! sieht Lc0 nicht. Danach bleibt seine Bewertung moderat (0.00-0.35). Mit 45...Lf8 geht sie runter auf -1.19
Fat Fritz zeigt nach 42.Dxf5 86%.


Immer diese Behauptungen:

LC0 30x384 (1178)
Der hat den Zug so schnell gesehen, dass ich es bei 0 Sekunden nicht mal geschafft habe zu kopieren!

1.Rxe7 Bxe7 2.Qc3 Bf8 3.Qf6 g4 4.Be3 Qxc4 5.Rc3 Qxc3 6.bxc3 a3 7.Bd4 a2 8.Qh8+ Kf7 9.Qxh7+ Ke8 10.Bf6 a1Q+ 11.Kh2 Bb5 12.Qxf5 Rb7 13.Bxg4 Be7 14.Qe6 Qf1 15.Bd4 Bd7 16.h7 Bxe6 17.h8Q+ Bf8 18.dxe6 Ra5 19.Bh5+ Rxh5+ 20.Qxh5+ Kd8 21.Qa5+ Rc7 22.Bf6+ Be7 23.Bxe7+ Kxe7 24.Qxc7+ Kxe6 25.Qb6 Qd1 26.Qe3+
Weiß steht besser: +/- (0.71)  Tiefe: 18/52   00:00:01  41kN

1.Rxe7 Bxe7 2.Qc3 Bf8 3.Qf6 g4 4.Be3 Qxc4 5.Rc3 Qxc3 6.bxc3 a3 7.Bd4 a2 8.Qh8+ Kf7 9.Qxh7+ Ke8 10.Bf6 a1Q+ 11.Kh2 Bb5 12.Qxf5 Rb7 13.Bxg4 Be7 14.h7 Bxf6 15.Qe6+ Kd8 16.Qxd6+ Rd7 17.Qxf6+ Kc7 18.Bxd7 Kxd7 19.Qe6+ Kc7 20.Qe5+ Kd7 21.h8Q Rxh8+ 22.Qxh8 Qf1 23.Qd4 Qd3 24.Qe5 Bc4 25.Qe6+ Kd8 26.Qf6+ Kd7 27.Qc6+ Kd8 28.d6 Qh7+ 29.Kg2 Qf7 30.f3
Weiß hat minimalen Vorteil: = (0.29)  Tiefe: 41/75   00:05:01  6723kN, tb=39728

Bis Zug 41.Kh2 bzw. hier 11.Kh2 sind sich die Engines einig.
Parent - - By Eduard Nemeth Date 2019-11-13 17:43
Ja es wäre gut, wenn immer das NN angegeben würde, weil Lc0 ist nur die Engine, und Netze gibt es bald wie Sand am Meer. Ich bin mit dem Smartphone unterwegs und da findet das LD2 Netz mit nur 150 nps natürlich nix.
Parent - By Rainer Maikowski Date 2019-11-13 18:09
Für Lc0 war es T40B-160
Parent - - By Rainer Maikowski Date 2019-11-13 18:10
Für Lc0 war es T40B4-160
Parent - - By Eduard Nemeth Date 2019-11-13 18:55
Ich habe diese Stellung nun auch dem Netz T40B.1-106 vorgesetzt und zwar auf dem Smartphone! Das grössere Netz ist schneller als das LD2.

Dabei findet das grosse Netz den Zug nach etwa 9000 nodes und in Tiefe 10 nach 500s. Das LD2 ist nach gleicher Zeit in Tiefe 9 und bei 60000 nodes, findet aber nix.
Parent - - By Peter Unger Date 2019-11-19 12:43
"Ich habe diese Stellung nun auch dem Netz T40B.1-106 vorgesetzt und zwar auf dem Smartphone! "

Wärst du so freundlich und erklärst mir, wie das geht? Ich habe in meinem Galaxy S9+ die "lc0-0.22-LD2-eigen-aarch64" unterDroidFish laufen.
Parent - - By Eduard Nemeth Date 2019-11-19 14:35 Upvotes 1
Das funktioniert genauso wie unter Windows. Die Engine Datei muss sich unter Droidfish im Ordner UCI befinden. In den selben Ordner kopiere ich auch das Weights file. Dann wählt man die Engine aus unter Schach Engines verwalten. Nachdem die Engine geladen ist, wählt man erneut aus, aber diesmal Einstellungen festlegen. Dort muss nun ganz oben der genaue Pfad samt exakten Namen zum Weights file angegeben werden. Bei mir steht dort:

/storage/emulated/0/droidfish/uci/128x10.T17.6

Dann stellt man noch die Prozessorkerne ein. Bei Max Prefetch setze ich bei mir den Wert 8 statt 32. Bei mir läuft es damit besser. Es kann sein dass beim Start der Engine zu einer Verzögerung kommt.
Parent - - By Peter Unger Date 2019-11-19 17:18
besten Dank für die rasche Antwort. Leider habe ich noch  drei Anschlussfragen: Welche engine hast du unter DroidFish geladen. Ich hatte ja die "lc0-0.22-LD2-eigen-aarch64" eingebunden, die wohl für das LD2 Netz passt. Und ist das zum Netz T40B.1-106 zugehörige weights-file das "128x10.T17.6". Und wo bekomme ich das alles her? Von dieser Seite https://github.com/LeelaChessZero/lc0/wiki/Running-lc0-on-Android-with-a-chess-GUI ? Und was muss ich dann auswählen?
Sorry für die vielen Anfängerfragen.
Parent - - By Eduard Nemeth Date 2019-11-19 23:52
Die Konfiguration war nur ein Beispiel, du kannst jedes Netz so einbinden. Es ist übrigens das LD2 Netz gewesen. Ich benütze lieber die Engine ohne integriertes Netz. Man kann ein Duplikat der Engine erstellen (in einem anderen Verzeichnis) und die Datei umbenennen. Dann hat man zwei Engine Dateien im UCI Ordner: zB. eine Lc0-128x10 und eine Lc0-256x20. Droidfish zeigt nach dem Laden der jeweiligen Engine für mich so auch die Netzgröße an. In die eine Engine binde ich das 128x10 Netz und in die andere das 256x20. So mache ich es mit jedem weiteren Netz.
Parent - - By Guenter Stertenbrink Date 2019-11-20 04:32
aber wie lass ich 2 verschiedene Netze gegeneinander spielen in einem Turnier in CfA ?

----------------------------------------
t40b fand Txe7 nicht ueber Nacht, Stufe 17, Huawei Mediapad M3 , 8 threads, droidfish  (Ld1=+0.04)
--------------------------------------
im Endspiel TLBB-TLB zeigen ld2 und t40b merkwuerdig niedrige evals an , 0.10 oder so.
Nicht so 50x8 und sf geht auf ueber 7 mit forward backward  Kb3,Tc6,La6,Bb4,Bc3,Kf7,Tb8,Lf2,Bb5
Parent - - By Stefan Pohl Date 2019-11-20 09:36
Indem du die Engine verdoppelst. Also das eigentliche Android-Engines-file kopierst, eine Version umnennst und so zweimal auf dein Tablet/Handy bringst. Dann kannst du jede der beiden Versionen mit einem anderen Netz einbinden. Theoretisch. Sollte das nicht gehen, dann lade dir die beiden verschiedenen lc0-Versionen herunter, also einmal die Version mit dem integrierten 48x5 Netz und die andere mit dem integrierten LD2 Netz. Die kann man auf jeden Fall separat nutzen, auch mit separaten Engine-Settings, das mache ich in Droidfish, damit ich nicht immer den kompletten Pfad zum Netz angeben muß, wenn ich die Netze wechseln will.
Parent - By Guenter Stertenbrink Date 2019-11-20 10:40 Edited 2019-11-20 11:08
in CfA wird das Netz so wie eine neu engine installiert.
Kein Parameter, kein Pfad ist einstellbar.
Ich nehme an, Lc0 sucht dann einfach
im aktuellen Verzeichnis nach dem erstbesten Netz.

Lc0 mit integriertem LD2 muesste gehen, ich wusste nicht, dass es das gibt.
Mal suchen ...

---------------------------------
https://github.com/LeelaChessZero/lc0/pull/848
https://github.com/LeelaChessZero/lc0/files/3494676/lc0-0.22-eigen-aarch64.zip
Parent - By Guenter Stertenbrink Date 2019-11-19 17:51 Edited 2019-11-19 18:12
gibt's die auch integriert in der lc0-exe, so wie 48x5 ?

Wenn ich mehrere Netze in CfA als engines importiere,
wie weiss CfA dann, welches Netz zum jeweiligen lc0
im Turnier genommen werden soll ?

48x5-ld2 : 48-28
48x5-t40b : 52-24

10+0 , 8 threads , najd.7a3

------------------------------------------

ld2 : https://lc0.org/ld2
t40b-106 :  http://data.lczero.org/files/networks-contrib/T40B.1-106
lco-48x5 , Android-executable mit integriertem weights-file 48x5   : http://magictour.free.fr/lc0-48x5
Parent - By Eduard Nemeth Date 2019-11-13 19:04
Zum eigentlichen Thema noch ein Wort. Es wird bald ein (Fat Fritz) Update geben. Auf dem Server haben Einige Verbindungsprobleme mit CUDA, Fat Fritz steigt immer wieder aus. Darum spielen einige derzeit mit der OpenCl Version. Wird hierbei tatsächlich eine Nvidia Karte gefunden?
Parent - - By Reinhold Stibi Date 2019-11-13 18:32
31. Te7:  Dieser Zug sieht schön aus,  ist er aber in Wirklichkeit nicht, da nur Remis.

Genauso gut wären die Züge 31.Tc3 und Lh5  mit ebenfalls einer Bewertung von 0.00

41... La4 ?? war ein ganz grober Fehler.

42. Df5  +10.25  23/49  0  Sek.  mit Stockfish und Ryzen 5  4 CPUs
Parent - By Reinhold Stibi Date 2019-11-13 19:03 Edited 2019-11-13 19:14
Der Schnapszug 41...La4 ??  wird auch von Lc0 T40B-106 nicht gespielt; sondern in  0 Sek. 41... Lb5 !.

31.Te7:  wird auch von Lc0  T40B-106   nach 2 Sek. gespielt  mit RTX 2070  +0.36  8/23
Parent - - By Stefan Pohl Date 2019-11-18 06:12
Guenter Stertenbrink schrieb:

fuer mich besser als erwartet.
Zwar nur Platz 8 in deiner Liste, aber nur ca. 25 Elo hinter Platz1.


Der Testrun ist jetzt durch.
https://www.sp-cc.de/lc0-testing.htm

Und das Ergebnis ist hintenraus noch deutlich abgesackt - leider. Aber das zeigt mal wieder eindrücklich, daß ein paar hundert Partien für ein zuverlässiges Ergebnis eben nicht reichen...

-48 Elo zum besten Selfplay-Netz Lc0 0.22.0 T40B.4-160 (obwohl dieses Netz ja von J.Horthos noch mit Endspielbases etwas modifiziert wurde. Ganz strenggenommen ist es also kein reines Selfplay-Netz, aber wenigstens fast). Auffallend (und für mich nicht überraschend) ist, daß auch die Leelenstein-Netze etwa in diesem Spielstärkebereich liegen. Diese sind ja auch keine reinen Selfplay-Netze. Das stützt meine Theorie, daß dieser Daten-Input Mischmasch aus Selfplay und nicht-Selfplay Partien der Spielstärke eines Netzes nicht zuträglich ist - im Gegenteil.
Parent - - By Eduard Nemeth Date 2019-11-18 06:37 Edited 2019-11-18 06:39
Also ist das LD2 Netz auf einer RTX 2060 stärker als Fat Fritz 1.0? Ich kann mir das ehrlich nicht vorstellen, außer natürlich im Bullet. Da würde ich auf dem Server auch das LD2 vorziehen. Auf einer RTX 2060 und bei 16 Min (was ich derzeit spiele) eher umgekehrt. Die Tests bei ChessBase basieren auch auf 20 Min Spiele. Es gibt inzwischen Behauptungen, Fat Fritz sei für sehr kurze Zeitkontrollen nicht besonders geeignet. Ich hoffe daher dass Fat Fritz beim nächsten TCEC mitspielt, dann sehen wir was Sache ist.
Parent - - By Stefan Pohl Date 2019-11-18 06:43 Edited 2019-11-18 06:45
Eduard Nemeth schrieb:

Also ist das LD2 Netz auf einer RTX 2060 stärker als Fat Fritz 1.0?


Bedingt. Zunächst mal: Der Abstand ist minimal und weit innerhalb der Errorbar. Insofern ist es statistisch unzulässig, zu sagen, LD2 wäre in meiner Rangliste "besser" als Fat Fritz: Die Vergleichserrorbar beider Engines ist 12.7 Elo (sqrt ((9*9)+(9*9))). Der Abstand aber nur 4 Elo...
Und mittlerweile wissen wir, daß auf wirklich schnellen RTX Karten, lc0 nicht imstande ist, diese kleinen Netze so schnell abzuarbeiten, wie es die Hardware der schnellen RTX-Karten eigentlich erwarten ließe. D.h. die Knotenzahlen sind auf RTX 2080 und Co. nicht so hoch, wie sie eigentlich sein sollten. Daher ist auf wirklich starker Hardware das LD2 Netz sicher schwächer als Fat Fritz. Aber das ist eher ein technisches Problem von lc0. Würde das LD2 Netz auf diesen Karten so schnell laufen, wie es eigentlich sollte, sähe es auch dort eventuell anders aus. Aber das ist natürlich spekulativ.
Parent - - By Eduard Nemeth Date 2019-11-18 08:04
Das LD2 Netz spielt bei mir bärenstark (siehe mein Thread mit 16m+0s). Der Platz bei dir bzw. die Elo ist gerechtfertigt. Ich habe zwar nur wenige Partien gespielt, aber alle gegen Stockfishe mit mindestens 6 Kernen, mit nur einer GTX 1050 Ti. Wer hat das LD2 Netz denn trainiert? Und gibt es evtl. einen Nachfolger?
Parent - By Stefan Pohl Date 2019-11-18 09:23
Eduard Nemeth schrieb:

Das LD2 Netz spielt bei mir bärenstark (siehe mein Thread mit 16m+0s). Der Platz bei dir bzw. die Elo ist gerechtfertigt. Ich habe zwar nur wenige Partien gespielt, aber alle gegen Stockfishe mit mindestens 6 Kernen, mit nur einer GTX 1050 Ti. Wer hat das LD2 Netz denn trainiert? Und gibt es evtl. einen Nachfolger?


Sicher, für alle nicht-RTX Karten ist das LD2 Netz aufgrund seiner geringen Grösse momentan das stärkste Netz. Und für den CPU-Betrieb von lc0 auch.
Parent - - By Stefan Pohl Date 2019-11-18 06:47
Eduard Nemeth schrieb:

Es gibt inzwischen Behauptungen, Fat Fritz sei für sehr kurze Zeitkontrollen nicht besonders geeignet. Ich hoffe daher dass Fat Fritz beim nächsten TCEC mitspielt, dann sehen wir was Sache ist.


Das sind eben auch nur Behauptungen. Es gibt keinen Testrun mit wenigstens 1000 Partien mit langer Bedenkzeit, der diese Behauptung stützt. Das ist ja genau das Problem: Statistisch belastbare Testruns mit langer Bedenkeit dauern eben auch extrem lange. Insbesondere bei lc0, da man nie mehr als eine Partie gleichzeitig auf einem PC spielen kann. Daher gibt es solche Testruns auch eben so gut wie nicht.
Und beim TCEC sehen wir mit Sicherheit nicht "was Sache ist". Das TCEC ist ein schönes Turnier. Aber statistisch völlig belanglos.
Parent - - By Heinz Hagenstein Date 2019-11-18 10:11 Upvotes 1
Ich habe ein Turnier gestartet,Zeit 30 min+5s.

Grafikkarte RTX 2060,nach 16 Partien alle Remis.

Ich berichte von Zeit zu Zeit.
Parent - By Eduard Nemeth Date 2019-11-18 11:08
Super, danke!
Parent - - By Stefan Pohl Date 2019-11-18 12:58
Heinz Hagenstein schrieb:

Ich habe ein Turnier gestartet,Zeit 30 min+5s.

Grafikkarte RTX 2060,nach 16 Partien alle Remis.

Ich berichte von Zeit zu Zeit.


Da kommt doch keine Menge raus, die groß genug ist, um ein statistisch belastbares Ergebnis zu erzielen. Oder du müßtest das mindestens 3-4 Wochen laufen lassen.
Aber, um diese Debatte endlich zu beenden, habe ich jetzt den Direktvergleich von Fat Fritz gegen Stockfish 190622, 500 Partien, HERT_250 Eröffungen, der Teil meines 3000 Partien Testruns war nochmal gestartet, mit 4facher Bedenkzeit (und 4fachem Hash bzw. NNCachesize) und sonst identischen Bedingungen - die 500 Partien sollten ca. 4-5 Tage dauern.

Das Ergebnis bei 50''+500ms (Partiedauer ca. 3 Minuten) in meinem Test war:
Fat Fritz 1.0 vs. Stockfish 190622 bmi2         : 500 (+ 74,=318,-108), 46.6 % (Remisqoute: 63.6%)

Ich erwarte nun, daß bei 200''+2'', also der 4fachen Zeit, die Remisqoute deutlich steigen wird. Dies kann bewirken, daß das Ergebnis näher an die 50%-50% Marke gedrückt wird, wodurch dann die Illusion entstünde, Fat Fritz würde leicht besser abschneiden. Obwohl das nur an dem Mehr an Remisen liegt. Wenn Fat Fritz wirklich mit mehr Bedenkzzeit überproportional zulegt (was ich auf keinen Fall glaube), dann müßte er in diesem Wettkampf nun leicht über die 50%-Marke klettern, also Stockfish 190622 besiegen. Aber, wie gesagt, ich glaube nicht, daß das passieren wird.
Naja. Aber letzlich gilt die goldene Regel: Nur Versuch macht kluch...
Parent - - By Benno Hartwig Date 2019-11-18 20:31
Aber super ist (wieder!), dass du diesen Versuch durchführst, und das auch mit einer Partienanzahl, die schon eine gewisse Aussagekraft hat.

Danke!
Parent - By Heinz Hagenstein Date 2019-11-19 19:42
Es sind jetzt 43 Patien gespielt.

Stand 22,5 : 20,5 Für Fat Fritz.

Ich benutze den PC ja Tagsüber dashalb wird das dauern.

Gruß Heinz
Parent - - By Stefan Pohl Date 2019-11-21 13:31
Stefan Pohl schrieb:

Heinz Hagenstein schrieb:

Ich habe ein Turnier gestartet,Zeit 30 min+5s.

Grafikkarte RTX 2060,nach 16 Partien alle Remis.

Ich berichte von Zeit zu Zeit.


Da kommt doch keine Menge raus, die groß genug ist, um ein statistisch belastbares Ergebnis zu erzielen. Oder du müßtest das mindestens 3-4 Wochen laufen lassen.
Aber, um diese Debatte endlich zu beenden, habe ich jetzt den Direktvergleich von Fat Fritz gegen Stockfish 190622, 500 Partien, HERT_250 Eröffungen, der Teil meines 3000 Partien Testruns war nochmal gestartet, mit 4facher Bedenkzeit (und 4fachem Hash bzw. NNCachesize) und sonst identischen Bedingungen - die 500 Partien sollten ca. 4-5 Tage dauern.

Das Ergebnis bei 50''+500ms (Partiedauer ca. 3 Minuten) in meinem Test war:
Fat Fritz 1.0 vs. Stockfish 190622 bmi2         : 500 (+ 74,=318,-108), 46.6 % (Remisqoute: 63.6%)

Ich erwarte nun, daß bei 200''+2'', also der 4fachen Zeit, die Remisqoute deutlich steigen wird. Dies kann bewirken, daß das Ergebnis näher an die 50%-50% Marke gedrückt wird, wodurch dann die Illusion entstünde, Fat Fritz würde leicht besser abschneiden. Obwohl das nur an dem Mehr an Remisen liegt. Wenn Fat Fritz wirklich mit mehr Bedenkzzeit überproportional zulegt (was ich auf keinen Fall glaube), dann müßte er in diesem Wettkampf nun leicht über die 50%-Marke klettern, also Stockfish 190622 besiegen. Aber, wie gesagt, ich glaube nicht, daß das passieren wird.
Naja. Aber letzlich gilt die goldene Regel: Nur Versuch macht kluch...


Ich hab nach 250 Partien abgebrochen, weil ich meinen PC anderweitig brauche. Auch ist das Ergebis bis dortin exakt so, wie ich es erwartet hatte.
200''+2000ms:
Fat Fritz 1.0 vs. Stockfish 190622 bmi2 :250 (+ 35,=177,- 38), 49.4 % (Draws: 70.8%) =

Die Remisqoute stieg um ca.7% an, was das Ergebnis ca. 3-3.5% Richtung 50%-50% Marke drücken sollte. Das ist exakt das, was wir auch sehen. Aber Fat Fritz kann eben nicht an SF vorbeiziehen. Also alles so, wie es zu erwarten war. Ich bleibe bei meinen kurzen Bedenkzeiten und spiele lieber mehr Partien. Das ist weit nutzbringender.
Parent - - By Rainer Maikowski Date 2019-11-21 14:07
Kann man die 250 FatFritz-Partien mit langer Bedenkzeit bei Dir runterladen? Sie würden mich interessieren.
R. Maikowski
Parent - - By Stefan Pohl Date 2019-11-21 16:38 Upvotes 1
Rainer Maikowski schrieb:

Kann man die 250 FatFritz-Partien mit langer Bedenkzeit bei Dir runterladen? Sie würden mich interessieren.
R. Maikowski


Momentan nicht,  bin gerade arbeiten. Aber ich kann sie morgen auf mein Google Drive hochladen und den Link hier posten. Falls ich es vergesse, bitte mich nochmal erinnern.
Parent - - By Rainer Maikowski Date 2019-11-21 18:07
Ok. Danke
Parent - - By Stefan Pohl Date 2019-11-22 11:35
Rainer Maikowski schrieb:

Ok. Danke


https://drive.google.com/file/d/1Gk1Zj60Mao8GGXIM4ggwlezSbJDlQO-5/view?usp=sharing
Parent - By Rainer Maikowski Date 2019-11-22 12:14
nochmal danke!
Parent - By Guenter Stertenbrink Date 2019-11-18 12:48
aber mit weniger Trainingspartien, keine fleissige Gruppe von vielen Trainern mit guter
Hardware , so wie bei Lc0.
Parent - - By Rainer Maikowski Date 2019-11-18 13:09
Man kann nur immer wieder den Hut ziehen vor den aktuellen und präzisen Testreihen von Stefan Pohl.
Allerdings muss auch deutlich sein, dass es hier "nur" um einen zuverlässigen Vergleich von engines mit und ohne NN  geht, die eine Aussage darüber treffen, wer unter vergleichbaren Bedingungen und der vorgegebenen kurzen Zeit insgesamt die meisten Punkte/Elos erzielt. Welche engine in welcher Phase der Partie oder bei welchen Stellungen am besten ist, darüber kann mit diesen Tests keine Aussage gemacht werden. Das ist aber für die Frage nach der "Wahrheit" in einer Partie /einer Partiephase/einer Stellung das weit aus interessanteste - vor allem für Fernschachspieler. Welche engine hat hier auch so etwas wie strategische Kompetenzen? Hier haben Lc0 und Co. ja schon einiges zu bieten. Etwa die neue Behandlung von Eröffnungen und etwa der frühe Vorstoß von h- und g-Bauern. Das schmälert die Leistung der Testreihen nicht, sondern ist einfach ein anderer wichtiger Aspekt.Im Buch The Game Changer ist dazu einiges zu finden.
R.Maikowski
Parent - - By Stefan Pohl Date 2019-11-18 13:21 Edited 2019-11-18 13:33
Rainer Maikowski schrieb:

Man kann nur immer wieder den Hut ziehen vor den aktuellen und präzisen Testreihen von Stefan Pohl.
Allerdings muss auch deutlich sein, dass es hier "nur" um einen zuverlässigen Vergleich von engines mit und ohne NN  geht, die eine Aussage darüber treffen, wer unter vergleichbaren Bedingungen und der vorgegebenen kurzen Zeit insgesamt die meisten Punkte/Elos erzielt. Welche engine in welcher Phase der Partie oder bei welchen Stellungen am besten ist, darüber kann mit diesen Tests keine Aussage gemacht werden. Das ist aber für die Frage nach der "Wahrheit" in einer Partie /einer Partiephase/einer Stellung das weit aus interessanteste - vor allem für Fernschachspieler. Welche engine hat hier auch so etwas wie strategische Kompetenzen? Hier haben Lc0 und Co. ja schon einiges zu bieten. Etwa die neue Behandlung von Eröffnungen und etwa der frühe Vorstoß von h- und g-Bauern. Das schmälert die Leistung der Testreihen nicht, sondern ist einfach ein anderer wichtiger Aspekt.Im Buch The Game Changer ist dazu einiges zu finden.
R.Maikowski


Du hast mit allem völlig Recht. 
Das Buch habe ich auch. Kann ich jedem nur empfehlen! Toll!

Was du machen kannst, ist, dir die ganzen Partien von mir herunterladen und sie genauer anschauen und aufgliedern.

https://www.sp-cc.de/files/nn_engine_games.zip

Mittlerweile sind es 20 Testruns von NN-Engines (je 3000 Partien gegen 6 AB-Gegnerengines), also immerhin 60000 Partien. Das bedeutet, zu jeder der 250 Vorgabestellungen (HERT_250) gibt es mittlerweile jeweils 240 Partien(!). Vielleicht kannst du da schon interessante Muster bzw. Stärken und Schwächen finden? Rückmeldungen sind immer willkommen.

Und von den reinen AB-Engines Testruns (Stockfish, Brainfish etc.) sind es alleine im 2019-Archiv knapp 270000 Partien: https://www.sp-cc.de/files/archive_hert_2019.zip

PS: Seit Mitte September nutze ich die cutechess-cli, nicht mehr die LittleBlitzerGUI. Seitdem ist bei allen Partien auch bei allen Zügen die Rechenzeit, die Rechentiefe und die Stellungsbewertung mit in der Notation enthalten.
Parent - - By Rainer Maikowski Date 2019-11-18 14:44 Upvotes 1
"Was du machen kannst, ist, dir die ganzen Partien von mir herunterladen und sie genauer anschauen und aufgliedern."

Damit habe ich auch schon begonnen. Ist natürlich ein mühsames Geschäft. Und an vielen Punkten der Partien wird nur der 2. oder 3.beste Zug gespielt, sodass man die Stellung nochmal mit mehr Zeit und mehr engines überprüfen muss.
In die Suche und das Erkennen von neuen strategischen/erfolgreichen Eröffnungsmustern sollte man aber ruhig mehr Zeit investieren.
Up Topic Hauptforen / CSS-Forum / FatFritz / Fritz 17 Installation
1 2 3 Previous Next  

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill