Statistiken zu FEOBOS 20.1, kein Grund für weitere Verbesserungen!

By Frank Quisinsky Date 2018-04-03 11:00 Edited 2018-04-03 11:58

Hallo zusammen,

es wurden also 3 Test-Turniere bei 40 Züge in 40 Minuten ohne Ponder und ohne Aufgabefaktor gespielt.
Die Partien findet sich auf der Startseite meiner Webseiten inklusive der zugehörigen Statistiken.

Code:

    Program                          Elo    +   -   Games   Score   Av.Op.  Draws

  1 Komodo 11.3.1 BMI2 x64         : 3260   61  55    84    78.6 %   3034   40.5 %
  2 Houdini 6.03 Pro x64           : 3254   62  57    84    78.0 %   3034   39.3 %
  3 Stockfish 9 BMI2 x64           : 3248   59  53    84    77.4 %   3035   42.9 %
  4 Fire 6.1 POP x64               : 3177   52  49    84    69.0 %   3038   52.4 %
  5 Fizbo 2.0 BMI2 x64             : 3105   41  40   168    66.1 %   2990   42.9 %
  6 Booot 6.2 POP x64              : 3099   36  35   168    65.2 %   2990   53.0 %
  7 Shredder 13 x64                : 3096   53  52    84    57.7 %   3042   51.2 %
  8 Andscacs 0.93 BMI2 x64         : 3092   39  38   168    64.3 %   2990   46.4 %
  9 GullChess 3.0 BMI2 x64         : 3044   50  50    84    50.0 %   3044   54.8 %
 10 Equinox 3.30 x64               : 3044   49  49    84    50.0 %   3044   57.1 %
 11 Chiron 4 x64                   : 3039   39  39   168    56.5 %   2993   46.4 %
 12 Critter 1.6a x64               : 3020   55  56    84    46.4 %   3045   45.2 %
 13 Fritz 16 x64                   : 3017   36  36   168    53.3 %   2994   53.0 %
 14 Nirvanachess 2.4 POP x64       : 3003   36  36   168    51.2 %   2994   52.4 %
 15 Hannibal 1.7 x64               : 2983   34  35   168    48.2 %   2995   57.1 %
 16 Texel 1.08a8 BMI2 x64          : 2975   35  36   168    47.0 %   2996   54.8 %
 17 iCE 3.0 v658 POP x64           : 2970   31  31   252    53.2 %   2948   48.4 %
 18 Laser 1.5 BMI2 x64             : 2957   50  50    84    51.8 %   2945   56.0 %
 19 Nemorino 4.00 POP x64          : 2945   39  39   168    42.6 %   2997   44.6 %
 20 Ethereal 9.32 x64              : 2930   51  49    84    60.7 %   2854   54.8 %
 21 Protector 1.9.0 x64            : 2929   53  55    84    33.3 %   3050   47.6 %
 22 Senpai 2.0 BMI2 x64            : 2928   29  29   252    46.8 %   2950   53.2 %
 23 Pedone 1.7 BMI2 x64            : 2917   36  36   168    52.4 %   2901   53.6 %
 24 Arasan 20.41 BMI2 x64          : 2913   36  36   168    51.8 %   2901   52.4 %
 25 Naum 4.6 x64                   : 2913   51  50    84    58.3 %   2855   54.8 %
 26 SmarThink 1.98 AVX2 x64        : 2909   32  32   252    44.0 %   2951   45.2 %
 27 Vajolet2 2.5 POP x64           : 2901   33  33   168    50.0 %   2901   60.7 %
 28 Hakkapeliitta TCEC v2 x64      : 2882   37  37   168    47.0 %   2902   51.2 %
 29 Ethereal 9.00 x64              : 2877   50  51    84    39.9 %   2949   53.6 %
 30 Rodent III 0.234 POP x64       : 2862   38  38   168    44.0 %   2903   48.8 %
 31 Xiphos 0.1 BMI2 x64            : 2861   52  52    84    50.6 %   2857   51.2 %
 32 Wasp 2.60 BMI2 x64             : 2856   31  32   252    36.3 %   2953   46.4 %
 33 Junior 13.3.00 x64             : 2854   52  52    84    49.4 %   2858   51.2 %
 34 Hiarcs 14 WCSC w32             : 2850   57  57    84    48.8 %   2858   42.9 %
 35 Amoeba 2.7 x64                 : 2822   55  57    84    32.1 %   2951   45.2 %
 36 Tomcat 1.0 x64                 : 2810   48  49    84    42.9 %   2860   57.1 %
 37 Demolito 2018-03-01 POP x64    : 2810   59  59    84    42.9 %   2860   38.1 %
 38 Quazar 0.4 x64                 : 2802   57  57    84    41.7 %   2860   42.9 %
 39 Cheng 4.39 x64                 : 2794   57  57    84    40.5 %   2861   42.9 %
 40 Amoeba 2.8 x64                 : 2794   52  53    84    40.5 %   2861   50.0 %
 41 Crafty 25.2 x64                : 2781   59  59    84    38.7 %   2861   39.3 %
 42 Spark 1.0 x64                  : 2781   57  58    84    38.7 %   2861   41.7 %
 43 Atlas 3.91 POP x64             : 2768   43  43   168    31.0 %   2908   36.9 %

Das wäre für Rating Fans die Liste, die sich aus den 3 Test-Turnieren bildet.
Da im FEOBOS v20.1 keine Fehler sind werden natürlich auch die Ratings schneller genauer.
Sicherlich sind wir uns alle einig, dass die Anzahl der Partien nicht ausreicht für genaue Ratings.
Dennoch erstaunliche Angleichungen an die CEGT ... obwohl ca. 8x mehr Zeit als bei der 40 in 20 CEGT Liste.
Und einfach unglaublich exakte Ratings nach meist nur 84 Partien.
Engines reihen sich sehr schnell auf den korrekten Ratinglisten Platz ein.

Alle Ratings sind logisch nach FCP Rating Liste Ergebnisse bis auf die von ICE.
Das Junior mit mehr Zeit stärker wird wissen wir ja.
Vielleicht spielt ICE deutlich besser bei längeren Bedenkzeiten (aber wie gesagt, kann auch ein Zufall sein).

Nicht das Thema:
Geht eher um das FEOBOS v20.1 Buch.

Nur 6 von 2.772 Partien die mit Remis unter 20 Zügen endeten.
Trotz der ausgeklügelten Optionen die unter Excel entwickelt wurden.
Hängt damit zusammen, das es ECO Codes gibt, die sich schon nach einem Zug bilden.
3 Züge nach ECO Code Bildung bedeutet, das für solche ECO Codes die Tiefe bei FEOBOS gering ist.
Das sich dann immer mal wieder schnelle Remise unter 20 Züge bilden sollte klar sein und kann nicht komplett vermieden werden.

Allerdings ist die Remisquote für Partien unter 20 Züge mit 0.216% gigantisch gut.
Um nicht zu sagen das es Traumergebnisse sind.

---

Der Zügedurchschnitt im Vergleich zur FCP Rating Liste ging um ca. 3-4 Züge nach oben.
Das kann mit der 4x höheren Bedenkzeit zu tun haben. Ganz sicher auch damit, dass im Buch alle Varianten eliminiert wurden, die zu schnellen Vorteil führen. Mithin geht logischer Weise auch der Zügedurchschnitt nach oben.

Wir haben bei FEOBOS also:
Einen wahrscheinlich höheren Zügedurchschnitt durch ein ausgeglichenes Buch bei einer insgesamt deutlich niedrigeren Remisquote.
Als FEOBOS gestartet wurde gab es viele Kommentare das dies nicht möglich ist. Selbst war ich anderer Meinung und durch Klaus Wlotzka konnte bekanntlich FEOBOS auch wie gewünscht umgesetzt werden.

Interessant ist das nach 2.722 Partien wirklich 470 ECO Codes ausgespielt wurden.
Mit Prioritäten brauchte ich beim FCP Live Buch ca. 6.000 - 8.000 Partien um 495 von 500 zu schaffen.

Vergleiche ich die 470 nach nur 2.722 erzeugten Partien mit FCP Rating List Ergebnissen ist auch das absolut genial.

Es fehlen 30, wie A02, C38 etc. ... die der Beliebtheit geschuldet natürlich sehr selten aufs Brett kommen sollten und auch tatsächlich tun.
FEOBOS v20.1 Contempt 3 kann grundsätzliche alle 500 Codes ausspielen.

In Download File findet sich natürlich die ecolist.txt.
Schauen wir uns die im Detail an, fällt sofort auf das alle beliebten Varianten aus der GM-Theorie häufiger ausgespielt werden.
Auch hier, kein Verbesserungspotential mehr durch Manipulation und setzten von manuellen Prioritäten von Hand. Das wäre einfach eine vollkommen überflüssige Arbeit.

---

Nun spielte ich die Test-Partien unter der Shredder GUI mit den erarbeiteten Settings (die finden sich im Download der FEOBOS v20.1 Bücher).
Auffällig ist: Zu viel A00-A99 und zu wenig D00-D99 im Vergleich zur GM-Theorie.

Viele der A00-A99 Eröffnungen, z. B. die vielen Holländer, werden in der GM-Praxis seltener gespielt. Auch haben wir deutlich mehr Zugumstellungen zu Hauptvarianten bei A00-A99 Varianten als zu D00-D99 Varianten. Insofern sind die Statistiken die FEOBOS ausgibt folgerichtig.

Prioritäten müssen beim FEOBOS Buch also nicht gesetzt werden.
Die Anzahl der Varianten im Buch sorgt für ein optimale ECO Aufteilung innerhalb der A00-E99 ECO Codes.

Persönlich hätte ich das nicht unbedingt für möglich gehalten.
Spricht auch für die gute Random Umsetzung in der Shredder GUI.

Etwas besser als bei Fritz GUI gelöst weil feiner ... siehe FEOBOS Detailseite (zum Ende springen, Grafiken zu Buchoptionen, Fritz geht in 0.6% Schritten, Shredder GUI etwas feiner in 0.3% Schritten).

---

Interessant wäre noch die Statistiken zu schnellen Remise von Zug Nummer 21 bis ca. 26. Die habe ich auch gefertigt und auch die sind deutlich niedriger als bei der FCP Rating Liste. Bereits mit dem FCP Live Book führte ich unzählige Optimierungen durch aber ein Buch, erstellt von 10 der besten Engines toppt jede Handarbeit. Diese Statistiken (Remisvermeidung von Zug 21-26) durch Contempt = 3 bei FEOBOS sind auch absolut gigantisch. Habe solche Statistiken selbst noch nie gesehen und freue mich darüber sehr.

---

4 Jahre Arbeit zahlen sich aus.
FEOBOS v20.1 ist absolut perfekt um Engines für Ratinglisten zu testen.
Die Fehlerquelle "Eröffnungsvarianten" wurde wirklich in einen Promillebereich geschoben.
Sehe auch kein Verbesserungspotential mehr.

Die Dokumentation zu FEOBOS hat derzeit ca. 60 Seiten.
Wird heute im Laufe des Tages noch um ein Kapitel zu diesen abschließenden Test-Ergebnissen ergänzt.

Damit kann ich das Thema "Allgemein gutes Eröffnungsbuch für den Test von Engines" abschließen.
Für mich war das dann der Abschluss zur FCP Rating Liste bzw. wurde das Partiematerial sinnvoll eingesetzt
und das vorgegebene Ziel wurde erreicht.

Gruß
Frank

Keine weiteren Änderungen an FEOBOS v20.1 notwendig.
Damit das Buch breit bleibt, schnelles Remis durch dreifache Stellungswiederholung so gut es geht vermieden wird verbleibt es bei der Empfehlung die Contempt = 3 Variante zu nutzen.
Die Contempt 4 oder 5 Bücher einzusetzen wird das ohnehin schon gigantische Ergebnis nicht wirklich wesentlich verändern, eher geht zu viel gutes was spielbar ist durch höheres Contempt als 3 verloren.

Also, die 10 Engines, die für die FEOBOS Optimierung eingesetzt wurden haben zusammen in Teamwork etwas großartiges erschaffen.
Wir mit der Excel das Werkzeug zur Verfügung gestellt um das Projekt umzusetzen.
Meines Erachtens geht mehr nicht, es sei denn durch Veränderungen der Settings der Excel Tabelle, siehe Dokumentation.

By Frank Quisinsky Date 2018-04-03 11:43 Edited 2018-04-03 11:45

Hallo zusammen,

der Gegentest: Was 10 unserer besten Engines bei FEOBOS erschaffen haben lief jetzt über einen Monat.
Wollte das nicht mit unsinnigen Blitzergebnisse gegenprüfen und wählte daher 40 Züge in 40 Minuten als Zeitkontrolle aus.

Blitz für Buchtest ist vollkommen ungeeignet.

Natürlich wird die Remisquote als auch der Zügedurchschnitt bei schnelleren Bedenkzeiten fallen.
Es sein denn, Engines mit gleichen Stärken und Schwächen spielen gegeneinander.

Wirklich beeindruckend, auf welches Niveau es die Engine Programmierer gebracht haben.
Ein solches Buch hätte ich mir vor 20 Jahren gewünscht aber seinerzeit war einfach nicht mehr möglich.

Heute können wir wahrscheinlich sagen, dass die besten Engines auch im Eröffnungsbereich weitestgehend den Stand der Super GM erreicht haben.
Zumindest meine persönliche Meinung aber genau wissen wir das sicherlich nicht.

Gruß
Frank

By Guenter Stertenbrink Date 2018-04-03 12:34 Edited 2018-04-03 12:39

ich spiele meist niedrigste Bedenkzeit und nur wenige Partien mit hoeherer, nur wenn Unregelmaessigkeiten auftreten
erhoehe ich die Rate der laengeren Bedenkzeitpartien

ich meine, wenn jemand x Partien mit y Bedenkzeit spielt, dann kann er auch
2*x Partien mit x/4 Bedenkzeit spielen

normalerweise mach ich 4000 Partien mit 0.5s/Zug und 1000 Partien mit 1s/Zug
(beim Testen von engines, Elo , insbesondere asmFish Versionen)
Manchmal 1000 Partien mit 120+1, z.B. beim Testen der Remisquote

bzgl. Remisquote und Ergebnisspreizung war feobos etwa so wie eval-gefilterte
10-Zufallszug Eroeffnungen.
(wegen der grossen Diversitaet ?)

---------------------------------------------
Remisquote in % in je 1000 Partien asmFish - asmFish auf
Tablets mit 1900kn/s in der Startstellung (45000 Partien insgesamt)

Code:


Bedenkzeit,no book, HERT-500,topGM-500,SALC-500,opcas-1,noo16-50,feobos-500,average

Remisquoten , drawrates in %

TC     none,hert,GM  ,salc,sahc,opca,noom,feob,zuf , av. 
-----------------------------------------------------
0+0.5 :73.0,66.9,66.6,52.8,50.5,57.9,56.5,60.9,57.7 , 60.3
000+1 :76.6,71.3,71.7,55.8,53.1,62.2,63.2,63.9,64.8 , 64.7
000+5 :85.1,78.6,77.9,65.3,60.9,80.5,67.7,74.4,73.7 , 73.8
120+1 :87.4,83.0,79.8,66.9,66.8,79.8,70.3,76.9,77.6 , 76.5
240+2 :88.5,82.6,81.4,65.8,67.9,84.7,73.9,78.4,77.9 , 77.9

Code:


Ergebnisspreizung , decisive pairs in %

TC     none,hert,GM  ,salc,sahc,opca,noom,feob,zuf  , av.    +dr
----------------------------------------------------------------
0+0.5 :38.6,47.2,45.6,50.0,61.0,57.6,51.6,50.2,54.4 , 50.7   1108   
000+1 :35.2,40.6,39.4,52.0,57.2,52.6,49.2,46.4,48.6 , 46.8   1115
000+5 :25.4,31.8,31.2,38.2,48.8,34.2,43.2,35.6,36.2 , 36.1   1099 
120+1 :22.6,29.0,29.0,40.5,45.8,33.4,40.4,34.5,35.8 , 34.6   1111 
240+2 :20.2,27.8,28.0,40.6,39.6,27.6,37.2,31.0,32.5 , 31.6   1095

By Frank Quisinsky Date 2018-04-03 12:54 Edited 2018-04-03 13:08

Hi Guenter,

siehst ja schon das 40 Züge in 10 Minuten zu 40 Züge in 40 Minuten zu 3 Züge höheren Durchschnitt führen.
Je mehr Du von 40 Züge in 10 Minuten runter gehst, desto niedriger der Züge Durchschnitt ohne Aufgabefaktor.

Kann auch gut in ein Verhältnis zu Remis Quoten gestellt werden.

Bei FEOBOS sollen ja alle Engines das Buch verwenden.
Sprich, bei einem solchen Test muss ich viele Engines einsetzen (Sinn und Zweck).

Gleich starke Engines mit gleichen Eigenschafften, den einzelnen Partiephasen zugeteilt, erhöhen die Remisquote und eignen sich für pauschale Aussagen zur Remisquote nicht.

Steckt immer in vielen Aussagen ein bissel Wahrheit.
Wenn wir höhere Remisquoten bei TCEC haben, liegt das auch an dem verwendeten Zeitkontrollen! Liegt ferner auch daran, dass gleiche Engines hinsichtlich Stärken und Schwächen um den Titel kämpfen. Alleine aus herausgepickten Aussagen sind keine Schlussfolgerungen zur Remisquote möglich. Immer nur Mosaiksteinchen sind solchen Turnieren zu entnehmen. Auch kommen immer nur ausgewählte Eröffnungen zum Einsatz. Die Theorie wird eigentlich bei keinem mir bekannten und vergleichbaren Buch so komplett abgearbeitet.

Schließe selbst den Test rund um FEOBOS ab.
Weitere Test-Turniere sind nicht notwendig, weil klar ist wohin es geht wenn weitere Test-Turniere hinzu kommen.

Hatte das alles schon mit dem FCP Live Buch ausgetestet.
Da FEOBOS nur eine Verbesserung der FCP Live Buch Ideen ist, können auch nur bessere Ergebnisse dabei heraus kommen.

Weiß nicht genau was Du mit Deiner Frage meinst.
Letztendlich spielt die Shredder GUI ja nach gesetzten Buchoptionen aus.
Diese sind ja auch schon während der FCP Rating Liste optimiert wurden.
Die Einstellungen finden sich in Grafikdateien im Download zu den FEOBOS Büchern selbst.

An vielen Dingen musste ich also nichts mehr ändern!
War vieles schon optimiert.

Fraglich war ja nur, wie sich das Buch verhält, nachdem 10 Engines alle Varianten durchrechneten und wir mittel Excels dann Feintuning betrieben haben.

Der abschließende Test stand also noch aus und wurde jetzt auch erledigt.
Hatte nie bessere Buchstatistiken vorher gesehen, egal was ich prüfte bei Büchern die eingesetzt wurden für Eng-Eng Test-Zwecke.

Muss auch so sein, denn kein mir bekanntes Buch wurde bislang direkt von 10 Engines optimiert.
Jedes andere Ergebnis wäre auch undenkbar gewesen.
Das kann niemand von Hand optimieren was 10 Engines in Teamwork leisten.
Selbst kein Super GM, denn ein Super GM wird nie und nimmer alle 500 ECO Codes gleich gut kennen.
Und letztendlich ist ja das Wissen von 250 GMs aus der Small Encyclopaedia of Chess Openings in FEOBOS eingeflossen.
Dies und viele andere Quellen mehr, neben das was Engines selbst während der Durchführung der FCP Rating Liste herausgefunden haben.

Und beim Test selbst will ich ja jegliche Zufälle vermeiden.
Daher musste eine deutlich höhere Bedenkzeit als 40 Züge in 10 Minuten herhalten.
Sonst bleibt der Gegentest für mich selbst immer fraglich.

Kann ja auch jeder selbst mit den Einstellungen testen.
Es werden bei optimalen Einstellungen keine anderen Ergebnisse herauskommen, als das was ich hier festgestellt habe.

Es sein denn, die Bedenkzeit wird deutlich nach unten gedrückt.

Blitz ist nicht mit Schnellschach vergleichbar.
Das war immer so und wird immer so bleiben.
Nur mit schneller werdender Hardware werden diese Unterschiede immer geringer ausfallen.

Vergleichbar zu ... war die Verdoppelung der Hardware Power in Schachcomputer Zeiten (wenn der selektive Anteil hoch ist) bei um die 100 ELO ... im Winboard Engines Zeitalter dann runde 70 ... und heute sind es vielleicht 50 Elo ... eher so 40 ELO würde ich mal schätzen. Haben wir also irgendwann eine 20 Ghz Maschine bei einem Core ... werden 40 Ghz wahrscheinlich noch zu 25 Elo Steigerung führen ... etc. (grob gesagt).

Viele Grüße
Frank

By Frank Quisinsky Date 2018-04-03 13:34 Edited 2018-04-03 13:44

The Time Maschine:

Selbst will ich ja folgendes:
Mich mit einer Zeitmaschine zurück beamen in die 90er.

Hätte ich das Wissen von heute in den 90er gehabt, oder besser wir allgemein, wären wir als Hexer durchgegangen.
Wir haben Milliarden von Eng-Eng Partien spielen lassen, wissen viel über Spielstärke, Spielphasen etc..

Das Wissen hatten wir in den 90er Jahren nicht.
Noch viel schlimmer, in den 90er Jahren war unsere Spielstärke höher als heute, zumindest überwiegend bei denen die von Beginn an dabei waren.
Durch das Wissen von heute können wir mal locker 200 Elo im Spiel gegen ein Schachprogramm hinzugewinnen. Vielleicht ist die eigene Spielstärke um 100-200 gefallen?
Immerhin 30-35 Jahre später.

TheKing ist ein gutes Beispiel:
Seinerzeit verehrt und heute entblößt.
Denn wir wissen wie sich The King mit 400 Elo mehr gegen gleichstarke Gegner schlägt.
Das wussten wir seinerzeit nicht.
Das es Programme gibt die heute Matt in 25 im späten Mittelspiel ankündigen ...
Wenn das mal jemand früher erzählt hätte ...

Der Grund warum ich unbedingt das Schachcomputer Turnier spielen lassen möchte.
Betrachtungen von früher mitnehme und mit dem Wissen von heute abarbeite.

Das ist wie in die Vergangenheit zu reisen und dort großkotzig Reden schwingen, die früher sicherlich niemand verstanden hätte.
Da hätte sich die Community eher zusammengeschlossen um die hohe Spielstärke vom MMV als sensationell zu verteidigen.
Heute, sind wir 1600 - 1700 Elo über MMV Level drüber und hätten für diese Person kaum ein Verständnis.

Ja wir beschäftigen uns nicht mehr mit dem MMV weil wir sagen, viel zu schwach.
Tatsächlich haben die meisten heute, wie früher ... kaum eine Chance.

Gerne erinnere ich mich als ein Bekannter sich einen Modular MMV kaufte.
Er war so überzeugt von dem Gerät und teilte immer wieder mit, das Teil wird auf absehbarerer Zeit niemand bezwingen.
Weil er selbst kaum eine Chance mit seinen eigenen 1.500 Elo hatte.

Er hatte 1.500 und ein MMV vielleicht 1.775 reguläre Elo bei 5Mhz.
Wie gesagt heute bis zu 3.400 Elo und wenn schon 250 Elo mehr seinrzeit zu solchen Aussagen führten ...

So schwierig ist es Spielstärke richtig einzuschätzen und insofern ist z. B. meine Hochachtung vor einem GM mit 2.500 ungebrochen.

Gruß
Frank