K8, SF5 und H4 in CCRL 40/4 1core

By Benno Hartwig Date 2014-09-29 21:48 Edited 2014-09-29 21:51

Einigermaßen verwundert gucke ich die 1-core-Liste von CCRL an
http://www.computerchess.org.uk/ccrl/404/cgi/compare_engines.cgi?class=Single-CPU+engines&print=Rating+list&print=Results+table&print=LOS+table&table_size=12&cross_tables_for_best_versions_only=1

Da finde ich die Einträge

1 Houdini 4 64-bit          3232  
2 Stockfish 5 syzygy 64-bit 3230
  Houdini 3 64-bit          3211   
3 Komodo TCEC 64-bit        3205 
  Komodo 8 64-bit           3201 
  Houdini 2.0c 64-bit       3197

und besonders wenige Partien wurden da gar nicht absolviert!
K8 legte immerhin bereits 699 Partien ab.

Houdini auf Platz 1

und Komodo8 einigermaßen deutlich hinter Houdini und Stockfish, und damit ungefähr auf Houdini2-Niveau.

Erstaunlich!
Immer noch das zu erwartende statistische Rauschen?
Oder doch ein Hinweis ggf. auf ein systematisches Problem?

Benno

By Ralf Mueller Date 2014-09-29 22:21

Das liegt sogar noch innerhalb der angegebenen Errormargins, man sollte also mit Schlussfolgerungen vorsichtig sein, denke ich (das Feld liegt ja auch unheimlich eng beisammen, nur 35 Punkte Differenz zwischen Houdini 2.0c und 4).

By Michael Scheidl Date 2014-09-29 23:16 Edited 2014-09-29 23:18

Ein sehr ähnliches Bild zeichnet CEGT Purelist 5m+3s/pb=on, die sichtlich systematischer erstellt wurde, z.B. jede Engine genau 1.350 Partien:

http://www.husvankempen.de/nunn/5Plus3Rating/Purelist/rangliste.html

Houdini 4 bleibt im Rennen! Zum Beispiel sehe ich das TCEC-Finale absolut in Reichweite, auch zumal ja die viel geringere Partienzahl dort einen größeren Zufallsspielraum läßt. Das wäre lustig, denn ich habe dort im Chat manchmal den Eindruck, daß die "Ultrafans" von Stockfish, vermutlich auch von Komodo, ein wenig zur Hysterie neigen wann immer Resultate gegen die Papierform zustande kommen.

Houdini vs. Komodo wird man ab Stufe bzw. Gruppe 1b sehen, allerdings vorerst nur eine Partie.

By Hauke Lutz Date 2014-09-30 02:46 Edited 2014-09-30 02:48

Und nachher kommt es aufgrund der großen Anzahl an Partien zu Houdini vs. Gull..
DAS wäre doch mal was. Das vermeintlich "kleine" Finale als Superfinale

By Benno Hartwig Date 2014-09-30 08:13

> Ein sehr ähnliches Bild zeichnet CEGT Purelist 5m+3s/p

Thanx.
Ja vielleicht habe ich mich etwas blenden lassen von den allgegenwärtigen SF- und K8-Erfolgsmeldungen bei allen Zeiten.
Es gibt doch auch andere Ergebnisse.
Houdini ist noch nicht wirklich weg vom Fenster mit Blick auf den See.
Zumindest bei kurzen Zeiten. (wie es sich als gut erzogenes Ippo-Kind eben auch gehört)

Benno

By GS Date 2014-09-30 08:54

Vergleichbares Bild bei der IPON:

Code:


1 Komodo 8              :      0     10   2484.5    3300   75.3%
2 Stockfish 5s          :     -6     10   2465.0    3300   74.7%
3 Houdini 4             :    -17      9   2422.0    3300   73.4%

Die TOP-3 sind gerade einmal 17 Punkte voneinander getrennt !

By Kurt Utzinger Date 2014-09-30 11:19

Für mich ist CEGT 40/120 massgebender
http://www.husvankempen.de/nunn/40120new/40_120_ratinglist/40_120_purelist/rangliste.html
Kurt

By Benno Hartwig Date 2014-09-30 14:00

Kurt Utzinger schrieb:

Für mich ist CEGT 40/120 massgebender
<a class='urs' href='http://www.husvankempen.de/nunn/40120new/40_120_ratinglist/40_120_purelist/rangliste.html'>http://www.husvankempen.de/nunn/40120new/40_120_ratinglist/40_120_purelist/rangliste.html</a>

Wofür maßgebend?
Die Leistungen bei Turnierzeiten mag man ja besonders interessant finden, wichtig finden, mache ich ja auch.
Aber ELO-Einschätzungen aufgrund 150, 200 oder auch mal bis 550 Partien sollte man sicher nicht alzu scharf ansehen.
Die jeweiligen Errorbars können da plusminus 50(!) erreichen, es sind dann doch ganz besonders ungenau bestimmte ELO-Werte, die da präsentiert werden.
Ich neige mehr zu statistisch exakter bestimmten Werten bei kürzeren Zeiten, die ich dann frech auch als ganz anständig passenden Schätzwert für längere Zeiten hernehme.

Benno

By Michael Scheidl Date 2014-09-30 21:07

Ja, wir haben derzeit ein Spitzentrio, der Rest sind Details.

By Marcel Kowolik Date 2014-09-30 13:49

Komodo 8 hat noch nicht gegen die Spitze gespielt(Stockfish,Houdini).Spielt man nur gegen ELO-schwächere,verliert man meistens Punkte.Und wir können doch froh sein,dass es an der Spitze so eng zugeht.Spiele momentan ein Turnier 40/120 20/60 mit Stockfish 5Syzygy,Komodo 8,Houdini 4Pro und DeepRybka 4.1 und momentan (nach 3 Partien) liegt Houdini mit 2,5 vorne(nur Remis gegen Rybka) vor Komodo 1,5 (Sieg gegen Stocki und Remis gegen Rybka) und Stocki und Rybka mit je einem Punkt.Aber es sind noch 9 Runden zu spielen und wer am Ende vorne sein wird steht in den Sternen.

MfG Marcel

By Ingo B. Date 2014-09-30 17:58

Die CCRL war und ist ... eigenwillig.

Hochverdient um die kleinen Engines, sehr häufig etwas schräg in ihren Ergebnissen verglichen mit den anderen.
Das Problem der CCRL ist mMn, dass sie ihre beschränkten Resourcen zu sehr zerfasern. Sie wollen "auf allen Hochzeiten gleichzeitig tanzen" und haben Probleme mit der Fokusierung auf das Wesentliche. Sehr schade, insbesondere, da sie eine hervorragende Webseite und Auswertung besitzen.

Gruss
Ingo