Echter Praxistest mit FEOBOS v10 Contempt 5 gestartet

By Stefan Pohl Date 2017-10-14 10:22

Im Praxistest geht es um die Remisqoute in den gespielten Partien und die Anzahl der 3fach Remisen. Insgesamt. Nicht bis Zugtiefe X. Das Computerschach braucht weniger Remisen. Insgesamt. Nicht weniger Remisen bis Zugtiefe X. Sondern bis Zugtiefe: Partieschluß.

Und als Anmerkung: meine aktuellen SALC-Stellungen und auch das Buch sind alle 10 Vollzüge tief. Nicht 12.
Und FEOBOS enthält viele Linien, die viel tiefer sind als 10 Vollzüge. Nicht nur flachere Linien. Im Schnitt wird FEOBOS sicher nicht sooo weit weg von 10 Vollzügen Tiefe sein. Aber für die Vergleichbarkeit praktischer Ergebnisse in realen Partien ist das auch ohnen wesentlichen Belang, denn da interessiert das Ergebnis einer Partie am Ende derselben (ist das wirklich eine neue Erkenntnis???).

So, und damit bin ich aus dem Thema raus. Endlose Diskussionen über das kleine Test-einmaleins zu führen, ist nun wirklich Zeitverschwendung, dafür bin ich zu alt. Endergebnis meines Testruns am Dienstag auf talkchess. Wer sich für das Ergebnis interessiert, möge es sich dort anschauen. Du weißt ja schon jetzt, daß FEOBOS super-duper und besser als alles andere im Eröffnungsbereich ist - worüber du uns ja auch nun wirklich permanent in Dauerschleife in Kenntnis setzt. Insofern kannst du dir den Blick ja dann ersparen, wenn du sowieso sicher weißt, das du ja alles richtig machst.

Stefan

By Frank Quisinsky Date 2017-10-14 15:00

Hallo Stefan,

nicht ich denke alles richtig zu machen, ich muss es annehmen.
Jede andere Annahme wäre eher nicht Akzeptierung der derzeitigen Spielstärke unserer Engines.

Die Engines sind der Meinung ...
Es sind die Analysen der Engines auf die das Buch beruht, nicht meine!
Wurde von Dir schon oft ins Rennen geworfen, weiß gar nicht warum Du das machst?
Muss einen Grund haben?

Und diese Endlosdiskussionen entstehen nicht gewollt von mir.
Ich hoffe das sich diese vermeiden lassen bis die Doku steht auch wenn ich alles schon x mal geschrieben habe, stimmt!

Grundsätzlich hast Du mit der Aussage recht das Computerschach insgesamt weniger Remise benötigt.
Ich hoffe durch bessere Contempt Programmierung. Buchtechnisch können wird das nur beeinflussen durch Zuglänge x nach Buchvorgabe.
Also kurze Remise definitiv vermeiden durch Auswahl der Varianten die in ein Buch eingehen.

Ein wenig mehr sicherlich durch die Idee der unterschiedlichen Rochaden.
Nur sollte alles im Rahmen bleiben bleiben.

Entgegengesetzte Rochaden im Schach sind eher nicht der Standard.
Auch wenn die Idee sehr gut ist aber wir gehen dadurch auch hin und versuchen Märchenschach in Bücher zu bringen, denn die Realität schaut anders aus hinsichtlich wie oft kommt es zu entgegengesetzte Rochaden?!

Gruß
Frank

By Frank Quisinsky Date 2017-10-14 10:27 Edited 2017-10-14 10:32

Code:


Games   = 12412   ( no result = 0,  FEN tags = 0 )
Players = 1   ( clusters = 1 )
Date Range: 2017.09.26 - 2017.09.26

Elo Range:  3000 - 3000
Games with:  WhiteElo = 12412   BlackElo = 12412   BothElos = 12412
Elo Average:  White = 3000.0   Black = 3000.0   AllElos = 3000.0
Elo StdDev:  White = 0.0   Black = 0.0   AllElos = 0.0
Elo Gap:  Max = 0   Average = 0.0   StdDev = 0.0

White Wins = 0 ( 0.0 % )
Draws      = 12412 ( 100.0 % )
Black Wins = 0 ( 0.0 % )
White Pct = 50.0 %
Black Pct = 50.0 %

ECO:  Total = 12412  A: 2506  B: 3135  C: 1964  D: 2363  E: 2444
PlyCount:  Total = 12412  Range: 8-34  Average = 17.08  StdDev = 4.41

finished: be sure to rename/copy outSummary

Die korrigierte summary Datei.
Aus dieser Statistik geht auch die durchschnittliche Zuglänge aller Buchvorgaben hervor:
Average = 17.08 ... sind dann Halbzüge

= 8.54
Wenn Dein Buch z. B. pauschal 12 Züge tief geht ... was ich für einen absoluten Fehler halte (pauschal zu sagen x Züge) dann wäre der Vorteil von Deinem Buch für einen Vergleich zu hoch.

Warum ich das für falsch hatte:
Das Verhältnis hinsichtlich Popularität innerhalb der ECO Codes stimmt nicht.
B01 beginnt bei Zug 2. Wenn ich pauschal sagen würde 12 Züge Tiefe würde ich mehr B01 Stellungen im Buch haben als z. B. populäres E12 etc..
Das heißt ich produziere zu seltenen ECO Codes z. B. viel Material wenn der ECO Code schnell endet, produziere zu anderen ECO Codes wenig - gar nichts weil der ECO Code erst nach 12 beginnt.
Und genau diesen Fehler machen sehr viele Computerschächler.

Hoffe ja immer das sich die Leute ein wenig mehr Mühe machen als schnell mal etwas zu produzieren.
Ist natürlich Arbeit die Vorgaben nach ECO Code Länge zu kürzen und war richtig Arbeit das dann auch noch in die Excel von Klaus einzuführen ... denn diese sollte natürlich exakt durch die Anzahl der Positionen auch Aussagen zur Beliebtheit von Codes treffen.

Vorgaben lassen sich z. B. mit truncate kürzen (Tool findet sich in der Toolsammlung von Norm Pollock).

Weil Dein Buch durchschnittlich 3.5 Züge = 7 Halbzüge tiefer gehen würde und mithin bis Zugtiefe 20 mit einem ganz erheblichen Vorteil in den Vergleich geht.

Die durchschnittliche Zugtiefe vom Buch bei dem bei Stockfish getestet wird kenne ich nicht.

Nochmal:
Ziel von FEOBOS ist es auch, dass die Engines möglich schnelll beginnen selbst zu rechnen.
Die Eröffnungsvorgaben sollen alle 500 ECO Codes abdecken aber nur 3 Züge nach ECO Code Bildung.
Das ist lt. meinen Stichproben für Eng-Eng optimal.

Gruß
Frank

Danke für Deinen Hinweis zum Fehler.
Hatte nur in den Doku Dateien geschaut (readme Dateien), nicht in den Statistik Dateien.
Gott sei Dank stimmt die Datenbank auf denen die Contempt 1-5 Bücher beruhen. Hatte offenbar nur vergessen die 3 Statistik Dateien beim Update von FEOBOS v9 zu FEOBOS v10 auszutauschen.

By Stefan Pohl Date 2017-10-14 10:30

Frank Quisinsky schrieb:

Die korrigierte summary Datei.
Aus dieser Statistik geht auch die durchschnittliche Zuglänge aller Buchvorgaben hervor:
Average = 17.08 ... sind dann Halbzüge

= 8.54

Das ist doch ein schöner Wert. Die Stockfish-Standarvorgaben sind 8 Züge tief, die ich für meinen Verlgleichstest benutze. Und meine SALC-Stellungen sind 10 Züge tief. Also liegt FEOBOS dazwischen und alle liegen sehr dicht beisammen.

By Frank Quisinsky Date 2017-10-14 10:37 Edited 2017-10-14 11:06

Wenn Deine Vorgaben 10 sind hast Du 3 Halbzüge Vorteil ... wäre so als wenn die 10 Engines erst 3 Halbzüge später begonnen hätten zu analysieren.
Da können dann wieder viele 0,00er entstehen.

Stefan, dass lässt sich einfach nicht vergleichen!
Macht überhaupt keinen Sinn und wenn dann wäre jetzt FEOBOS maximal mit den Stockfish Standard Vorgaben zu vergleichen.
Muss mir die mal ansehen bzw. mal einen schnellen Test unterziehen. Kann in Minuten herauspicken was unterschiedlich zu FEOBOS ist und in Minuten feststellen was das für Stellungen sind. Wahrscheinlich sind viele drin die auf den Weg zu den FEOBOS Basis Daten schon rausgeholt wurden.

Wenn ich Zeit dafür habe ...

So, trotz aller Kritik zum Vergleich!
Dir ein schönes WE

Gruß
Frank

Will das Nigel Short eProm ... das interessiert mich derzeit mehr

By Frank Quisinsky Date 2017-10-12 21:01

Hallo Günther,

Die PGN ist nach dem Rating der Stellungen sortiert.
Sprich auf Platz 1 die beste FEOBOS Position und auf Platz 26.146 die schlechteste.
Macht keinen Sinn die besten und schlechtesten zu nehmen denn die schlechten eignen sich nicht.

Nehme die besten 500 nach dem Rating wenn Du 500 haben möchtest.

Klar das die schlechtesten die unten stehen und aussortiert sind Partien produzieren bei denen es zu Entscheidungen kommt wenn der Vorteil zu groß ist.
Macht keinen Sinn ...

Gruß
Frank

By Frank Quisinsky Date 2017-10-12 21:45

Hallo,

noch besser ist es zu jedem ECO Code die beste Stellung aus der Excel zu generieren.
Die Excel zeigt Dir die Positionnummer in der Datenbank an, so dass Du aus den Basis Daten diese Positionen dann einfach heraussuchen kannst.

Einen solchen Test hatte ich mit FEOBOS v5 gemacht und im Wettkampf Komodo - Stockfish war die Remisquote bei weit unter 60%.
Hatte in TalkChess berichtet ...

Nun sind die 26.146 Analysen durch.
Nun genau diesen Test-Set zu kreieren ist einfach.

Und noch besser wird dieser Test-Set wenn die Upd.1 Daten Ende Januar durch sind.

Gruß
Frank

Problem bei dieser Vorgehensweise ist:
Selbst 3 Züge nach ECO Code Bildung entstehen bei weiteren Zügen wieder Positionen die aus E53 dann wieder was ganz anders machen.
Daher ist es schwierig zu jedem ECO Code die beste Stellung zu generieren weil bei einem Komodo - Stockfish Wettkampf dann doch nicht zu 500 ECO Codes Partien gibt sondern mindestens 20 Codes sich wiederholen. Bei einem anderen Wettkampf sind es dann wieder andere Stellungen die in andere Codes abgleiten.

Die 500 Stellungen müssen eindeutig dem Code zugeordnet werden. Es gibt 4 ECO Codes bei dem das kaum zu bewerkstelligen ist.

By Guenter Stertenbrink Date 2017-10-13 05:51

ich teste dann mal die Remisquote und Weiss-Performance in 1000 Partien asmFish gegen asmFish
bei 0.5s pro Zug auf dem Tablet.

500 erste Stellungen
500 letzte Stellungen
500 mit groesster Abweichung in der 10er Bewertung
500 mit groesster Abweichung Komodo-asmFish [evtl. auch 1000 Partien asmFish-Komodo]
500 mit hoechster Bewertung

andere Testideen ?

By Stefan Pohl Date 2017-10-13 12:27 Edited 2017-10-13 12:30

Guenter Stertenbrink schrieb:

Finde ich super, das sind sehr gute Testideen! Bin sehr gespannt auf die Ergebnisse.

Gruß- Stefan

By Klaus Wlotzka Date 2017-10-13 16:38

Hallo Günter,

interessante Testzyklen, ich bin gespannt, was da heraus kommt.

Bei der Engineauswahl hätte ich eher zwei unterschiedliche Engines gewählt, zum Beispiel Houdini gegen Andscacs oder auch Houdini gegen asmFish. Egal, danke im Voraus für die Tests.

Viele Grüße

Klai

By Guenter Stertenbrink Date 2017-10-14 07:24 Edited 2017-10-14 08:16

allererstes Ergebnis fuer fb-500 (groesste durchschnittliche Abweichung der 10 Engines) :

60.9% Remisen, 56.2% Weiss-Performance , +10.3 Elo fuer t-Oct03 gegen p-may22

liegt also zwischen SALC-500 mit 52.8% und HERT-500 mit 66.9% Remisquote

---Klaus, leider laeuft nur asmFish vernuenftig auf X86-Android Tablets
spaeter teste ich vielleicht auch Komodo und andere Engines auf meinem Ryzen1700x
und mit mehr Kernen, Bedenkzeit.
----------------------------------------

ohne Buch : 73.0%
CfA-50 (Chess for Android) : 69.7%
topGM-500 : 66.6% 500 zufaellig aus TopGM_8-10000
HERT-500 : 66.9% 500 zufaellig
HERT-100 : 57.0% HERT-500 mit niedrigster Remisquote
fbb-500 : 60.9%
SALC-500 : 52.8%
SALC-100 : 41.4%
opcas-1 : 57.1% (Nf3,Nc6,Rg1,Rb8,Rh1,Ra8,Ng1,Nb8)
noo16-50 : 56.5% (Noomen-2016, aehnlich TCEC9 superfinale)

By Guenter Stertenbrink Date 2017-10-18 09:54 Edited 2017-10-18 10:27

columns:
whitescore
draws
performance of 1st engine
book
timecontrol
name of tablet/smartphone
first engine (2nd engine : p-may22 (PedantFish) , rc-Oct07 (CFish) )[r-:armFish,
.... i-:asmFish best thread regardless of depth]
#openings for white with 0,0.5,1,1.5,2 points in 2 games
filename
#openings for 1st engine with 0,0.5,1,1.5,2 points in 2 games
#draws before move 25

----------------------------
booknames:
fb-500 : 500 feobos openings with highest deviation of evals by the 10 engines
fbt-500 : top 500 feobos (best rating)
fbb-500 : bottom 500 feobos (worst rating)
fb-afko : 500 feobos with highest absolute difference of komodo and asmfish evals
fbsfw : 500 feobos with highest asmfish-eval
fbsfb : 500 feobos with lowest asmfish eval
fbkow : 500 feobos with highest Komodo eval
fbkob : 500 feobos with lowest Komodo eval
fb-sf0 : 3046 feobos with asmfish eval=0

Code:



564.0,618,489.0,fbb-500 ,0.5s ,x01,r-0ct04, 12,075,229,141,43, i9 ,13,121,256,095,15 , 19
562.5,609,515.5,fb-500  ,0.5s ,C01,i-Oct03, 18,075,212,154,41, i6 ,08,105,249,124,14  , 23
521.0,690,514.0,fbt-500 ,0.5s ,T17,i-Oct03, 11,091,261,119,18, i8 ,12,116,269,094,09  , 28
581.5,633,504.5,fbb-500 ,0.5s ,C01,i-Oct03, 04,065,236,154,41, k6 ,13,108,252,111,16  , 14
555.0,630,525.0,fb-afko ,0.5s ,C01,i-Oct03, 11,079,236,137,37, j0 ,10,092,255,124,19  , 29
561.5,639,518.5,fb-afko ,0.5s ,T17,i-Oct03, 08,082,233,133,44, j3 ,07,096,264,119,14  , 19
615.5,595,524.5,fb-sfw  ,0.5s ,C01,i-Oct03, 04,055,203,182,56, j4 ,07,104,239,133,17  , 08
               ,fb-sfw  ,120+1,T31,i-Oct03,                                          
436.0,682,514.0,fb-sfb  ,0.5s ,C01,i-Oct03, 32,144,252,064,08, k3 ,08,089,277,119,07  , 18
430.5,657,506.5,fb-sfb  ,0.5s ,T04,i-Oct03, 33,150,247,063,07, k1 ,10,105,262,108,15  , 21
635.5,585,488.5,fb-kow  ,0.5s ,x01,r-Oct04, 03,036,213,183,65, k5 ,19,113,251,106,11  , 08
428.5,669,511.5,fb-kob  ,0.5s ,T22,i-Oct03, 39,144,242,071,04, j8 ,09,093,270,122,06  , 23
---------------,fb-sf0  ,0.5s ,i-Oct03
               ,fb-500  ,120+1,I03,i-oct03,

632.5,419,527.5,salc-100b,0.5s,T17,i-oct03, 26,070,131,159,114,k4 ,20,083,235,146,16 , 04
622.0,602,523.0,fb-kow  ,0.5s ,T17,i-oct03, 05,043,218,171,063,k2 ,06,096,262,118,18  , 10    (k4,34701) defekt?
630.5,631,487.5,fbsfw   ,1.0s ,u01,r-Oct03, 02,033,220,192,053,k8 ,12,118,258,107,05  , 11

By Guenter Stertenbrink Date 2017-10-20 12:11 Edited 2017-10-20 12:17

2*3946 Partien "fb-sf0.pgn" sind beendet, die 15.1% feobos-Eroeffnungen mit Bewertung 0.00 von asmFish

extrem viele (2327, vergleichbar mit 590 in obiger Liste) Paare mit eins aus 2 ,
321 (=4.1%) mit Remis in 24 Zuegen oder eher ,
also macht es Sinn, diese rauszunehmen, zumindest fuer asmFish/Stockfish Partien.

Code:


514.4,730,519.1,fb-sf0  ,0.5s ,i-Oct03, 78,647,2294,823,104,l3,51,631,2327,839,98 ,321