Fire 2.2ax64 schafft Sensation

By Joe Boden Date 2012-05-04 18:35

Im Rahmen eines kleinen Experiments schafft Fire 2.2ax64 eine kleine Sensation. Mit veränderten Settings dreht Fire auf und bietet Houdini Paroli während Stockfish deklassiert wird. Nähes in JOEs Schachblog.
http://schachblog.vsud.de/neue-nummer-1-im-computerschach-experiment-phase-1/

Event:

Ort:

Datum:

Weiss:

Schwarz:

Ergebnis

Board

By U. Haug Date 2012-05-04 18:55

Hallo Joe,

ist es wirklich eine "Sensation", wenn eine Engine eine einzige Partie gegen die Freeware Houdini 1.5a x64 gewinnt?
Oder ist das dann vielleicht doch ein wenig zuviel der Effekthascherei und Möchtegern-Werbung für Joes Schachblog?
Die Gedanken sind frei...

Freundliche Grüße,

Ulrich

By Kurt Utzinger Date 2012-05-04 19:50

[quote="U. Haug"]
Hallo Joe,

ist es wirklich eine "Sensation", wenn eine Engine eine einzige Partie gegen die Freeware Houdini 1.5a x64 gewinnt?
Oder ist das dann vielleicht doch ein wenig zuviel der Effekthascherei und Möchtegern-Werbung für Joes Schachblog?
Die Gedanken sind frei...

Freundliche Grüße,

Ulrich
[/quote]

Hallo Ulrich

Bei der verwendeten Bedenkzeit von 1m/Partie gehe ich doch davon aus,
dass Joe einige Hundert Partien auf Lager hat und uns - auf dem Blog
findet man leider nichts - ein Endresultat melden kann.

Mfg
Kurt

By Joe Boden Date 2012-05-04 20:09

Hallo Ulrich,

also wenn ich mich nicht verzählt habe, dann hat FireExperimental 7 Partien gegen Houdini gewonnen, Houdini hat 7 Partien gewonnen und 6 Partien endeten remis. 20 Partien, Endergebnis 10:10. Das muss erst mal eine andere Engine nachmachen, gegen Houdini 1.5a in einem Wettkampf ein Unentschieden zu erreichen. Irre ich mich?

By Frank Rahde Date 2012-05-04 20:18

Ja, vermutlich irrst Du Dich. Bei so wenig Partien ist die Wahrscheinlichkeit hoch, dass Ausreißer im Ergebnis eine zu gewichtige Rolle spielen. Es könnte theoretisch sein, dass Fire die nächsten 20 Partien am Stück verliert o.a.

Gruß, Frank

By Simon Gros Date 2012-05-04 20:22

"Es könnte theoretisch sein, dass Fire die nächsten 20 Partien am Stück verliert o.a."
Das Selbe muß jedoch auch für Houdini gelten und/oder angenommen werden!
Simon_G

By Joe Boden Date 2012-05-04 20:45

Der Einwand von Simon Gros ist berechtigt. Alles was unter hunderten oder tausenden von Partien liegt ist statistisch sehr ungenau. Diese Diskussion hatten wir schon und wir müssen nicht jedesmal darauf hinweisen. Praktisch ist es eher wahrscheinlich, dass die Ergebnisse aus 20 Partien einen Hinweis darauf geben, wie stark die Gegner gegeneinander scoren. Gegen andere Engines kann das Ergebnis etwas völlig anderes hergeben. Nehmen wir an, eine Engine erreicht in einem Turnier 70%. Dann spielt sie dennoch in der gleichen Liga, denn beim nächsten Mal sind die Vorzeichen vielleicht anders. Sosehr wir uns über Spitzenleistungen freuen dürfen, so sehr ist auch der Spilstil von Interesse, was Michael Scheidl in letzter Zeit zum Thema gemacht hat und dem ich zustimme.

By Ingo Bauer Date 2012-05-04 21:02

[quote="Joe Boden"]
... Praktisch ist es eher wahrscheinlich, dass die Ergebnisse aus 20 Partien einen Hinweis darauf geben, wie stark die Gegner gegeneinander scoren. ...
[/quote]

Praktisch ist es eher Wahrscheinlich, dass die Summe aus deinen 20 Wörtern deutlich weniger ist als das Ganze!

Ingo

By Joe Boden Date 2012-05-04 21:18

Ingo Bauer schrieb:

Zitat:

Praktisch ist es eher Wahrscheinlich, dass die Summe aus deinen 20 Wörtern deutlich weniger ist als das Ganze!

Dieser Satz ist ungefähr so intelligent wie der Satz: "Nachts ist es kälter als draußen."

By Stefan Pohl Date 2012-05-05 06:17

[quote="Joe Boden"]
Der Einwand von Simon Gros ist berechtigt. Alles was unter hunderten oder tausenden von Partien liegt ist statistisch sehr ungenau.
[/quote]

Ich mache gerne einen Testlauf für meine TEB-Liste, das wären dann 3000 Partien. Dann weißt Du, wo das Setting steht. Sende mir dazu das Setting einfach per PM.
Dauert nur ca. 48 Stunden.

Gruß - Stefan

By Ludwig Bürgin Date 2012-05-07 20:43

Hallo Joe

Habe Deine getunte Fireengine runter geladen und mit ihr ein paar Tage im Maschinenraum gespielt.Habe am Buch gedreht und auch verschiedene Hashgrößen ausprobiert.Bei überwiegend 3 min. Spieldauer zeigte sich Fiere als sehr schwach .es konnten kaum Spiele gewonnen werden.

Gruß Ludwig

By Joe Boden Date 2012-05-07 21:42

hallo ludwig,

die engine ist original und nicht getunt. du hast mit den originalsettings gespielt denke ich.

By Benno Hartwig Date 2012-05-07 23:03

[quote="Joe Boden"]also wenn ich mich nicht verzählt habe, dann hat FireExperimental 7 Partien gegen Houdini gewonnen, Houdini hat 7 Partien gewonnen und 6 Partien endeten remis. 20 Partien, Endergebnis 10:10. Das muss erst mal eine andere Engine nachmachen, gegen Houdini 1.5a in einem Wettkampf ein Unentschieden zu erreichen. Irre ich mich?[/quote]Was würde bei 1min/Partie eigentlich der allererste Ipollit reißen können? Bei solchen Zeiten war er doch auch umwerfend, und schon bei etwas längeren konnte er sich dann nicht mehr vor Rybka schieben.
1min/Partie ist schon eine seehr spezielle Sache! Und die Ipollit-Nahen werden hier ggf. schon Vorteile haben.
Benno

By Stefan Pohl Date 2012-05-08 19:02

[quote="Benno Hartwig"]
Was würde bei 1min/Partie eigentlich der allererste Ipollit reißen können? Bei solchen Zeiten war er doch auch umwerfend, und schon bei etwas längeren konnte er sich dann nicht mehr vor Rybka schieben.
1min/Partie ist schon eine seehr spezielle Sache! Und die Ipollit-Nahen werden hier ggf. schon Vorteile haben.
Benno
[/quote]

Hi Benno,

da ich es eben gerade heutzutage auch wichtig finde, zu sehen, wo der erste Ippo steht (im Vergleich zu den neuen Engines), läuft ja bei mir in der TEB-Liste Robbolito 0.085g3 (Ende 2009) mit. Dies ist die stabilste Version des originalen Ippocodes von 2009, bei der Kranium nur ein bißchen was im Timemanagement geändert hat, aber nicht an der Suche (das ging erst mit der kurz darauf folgenden Version 0.09 los). Die Version 0.085g3 läuft stabil (ist natürlich nur singlecore) und ideal als Ippo-Referenzpunkt geeignet.


Rank Name                    Elo    +    - games score oppo. draws 
   1 Houdini 2.0c x64       3098   11   11  2400   63%  3017   43% 
   2 Houdini 1.5a x64       3080   11   10  2400   60%  3017   44% (best freeware)
   3 Critter 1.4a x64s      3059   10   10  2700   55%  3028   52% 
   4 Ivanhoe 46h x64        3023   10   10  2700   49%  3032   55% 
   5 Komodo 4 x64s          3020   10   10  2700   48%  3032   42% (singlecore)
   6 Robbolito 0.10 x64s    3019    9   10  2700   48%  3032   54% 
   7 Rybka 4.1 x64s         3015   10   10  2700   47%  3033   47% 
   8 Robbolito 0.085g3 x64  3000   10   10  2700   44%  3035   53% (Ippolit 2009)(singlecore)
   9 Stockfish 2.2.2 x64s   3000   10   10  2700   44%  3035   45% 
  10 Deep Saros 3.0 x64     2997   10   10  2700   44%  3035   48%

Testbedingungen: Notebook mit Intel i7-2630QM Prozessor (4 Kerne, 2GHz Takt, Windows 7 64bit Home Premium). Geschwindigkeit der Hardware: Houdini 2.0c auf einem Core etwa 2.1 Mio Kn/s, auf 4 Cores etwa 7.5 Mio Kn/s (bei vollem Brett), FritzMark=20.2.
Bedenkzeit: 60''+750ms Fischerbonus (ca. 2 Minuten pro Partie je Engine), keine Tablebases, 1 Core/Thread und 256 MB Hash pro Engine, kein Pondern, 150 Vorgabestellungen aus der Frank Q. Datenbank (von mir handverlesen, nur Hauptsysteme (kein Aljechin, Holländisch etc.)). Gespielt wird bis zum Matt oder bis zum Remis, die GUI gibt keine Partie auf und auch Remis erst bei 500 Zügen - also gar nicht). Benutzt wird die LittleBlitzerGUI. Dazu merke ich hier nochmal an: Alle Partien wurden/werden im Gauntlet-Modus gespielt, weil nur so die Vorgabestellungen auch alle sequentiell und mit vertauschten Farben korrekt abgespielt werden.

Gruß - Stefan

By Timo Haupt Date 2012-05-04 22:49

Hallo Joe,

mein Angebot: Ich lasse mit deinen Settings am Wochenende gegen die "Top 8 Engines" Partien mit längerer Bedenkzeit spielen. Dann werden wir sehen, wie gut Fire mit deinen Spezialsettings wirklich ist (laut deinen Einschätzungen ja mindestens auf der Augenhöhe von Houdini).

Na, Interesse? Dann schreib mir bitte an computerschach(ät)gmx.de

Viele Grüße
Timo

By U. Haug Date 2012-05-04 23:15

Hallo Timo,

[quote="Timo Haupt"]
Hallo Joe,
mein Angebot: Ich lasse mit deinen Settings am Wochenende gegen die "Top 8 Engines" Partien mit längerer Bedenkzeit spielen. Dann werden wir sehen, wie gut Fire mit deinen Spezialsettings wirklich ist (laut deinen Einschätzungen ja mindestens auf der Augenhöhe von Houdini).
Na, Interesse? Dann schreib mir bitte an computerschach(ät)gmx.de
Viele Grüße
Timo
[/quote]

also das ist 'mal ein tolles Angebot! Vielleicht so 10 oder 15 Minuten pro Partie und dann eine Serie gegen hochklassige Engines, das wäre aussagekräftig. Ich freue mich darauf!

Ulrich

By Timo Haupt Date 2012-05-05 11:40

Hallo Ulrich,

ich hätte das auch schön gefunden, aber Joe reagiert bislang nicht auf mein Angebot. Warten wir es mal ab, doch ich schätze, dass er ein schlechtes Abschneiden seiner Settings unter solch aussagekräftigen Bedingungen befürchtet...

Viele Grüße
Timo

By Joe Boden Date 2012-05-05 11:49

Ich werde heute weitere Partien zum Download anbieten. In der letzten Phase meines Experiments bekommen Tester, die mich anschreiben per Mail das endgültige Setting vorab zum Testen. Bis dahin erlaube ich mir noch kleinere Feinjustierungen gegen verschiedene Gegner.

By Timo Haupt Date 2012-05-05 13:22

Ok, dann warten wir geduldig ab bis zur letzten Phase. Viel Spaß und viel Erfolg beim Tunen!

By Joe Boden Date 2012-05-11 12:05

Interessant, dass jetzt in Sedats Liste auch Fire vor Houdini 2.oc geführt wird.
sieher hier: http://www.sedatcanbaz.com/chess/scct-rating/

Es lohnt sich, sich mehr mit Fire zu beschäftigen. Eine Engine die bislang
stark unterbewertet wurde. Die Settings lassen viele Experimentiermöglichkeiten offen.
Sicher ist das Potential dieser Engine mit den default-Einstellungen längst nicht
ausgeschöpft.
In meinen eigenen Tests sind die Ergebnisse allerdings nicht stabil und oft
nicht repoduzierbar. Weiss nicht woran das liegt. In einer Serie gewinnt das
Ding mit überwätigendem Ergebnis, in der nächsten Staffel dann wieder nur
normale Ergebnisse. Auf jeden Fall ist mit Fire in einer Partie immer zu rechnen.

By Thomas Müller Date 2012-05-11 12:48

Hallo,

in der liste haben die eng's ja gerade mal 40 partien im 3+2 modus.
Ich denke mal da kommen noch einige dazu, ansonsten ist sowas für eine "liste" nicht zu gebrauchen.

gruß thomas