Komodo 5.1r2 MP nun kostenlos

By Roland Riener Date 2014-09-13 19:10

Man darf hier ja auch über ältere und nicht ganz so starke Engines berichten. Nach der kürzlichen kostenlosen Freigabe der genannten zwei Komodos wollte ich mal mit den vorherigen Versionen vergleichen.

Gespielt 4 Fünferturniere mit jeweiligem Farbwechsel und geänderten Eröffnungsvorgaben, Zeit 1 Min / 2 Sek pro Zug, Version 5.1 mit 2 CPU.

Hier sticht das schwache Abschneiden der CCT-Version so eklatant hervor, daß ich die Herren Statistiker fragen möchte, in welcher Wahrscheinlichkeitserwartung dies liegt.

Komodo unter sich  2014

                            1 2 3 4 5 
1   Komodo 5 64-bit         * ½ ½ 1 1   3.0/4
2   Komodo64 3              ½ * 1 ½ 0   2.0/4  4.25
3   Komodo64 SSE Version 4  ½ 0 * ½ 1   2.0/4  3.75
4   Komodo 5.1r2 64-bit     0 ½ ½ * ½   1.5/4  2.75
5   Komodo CCT 64-bit       0 1 0 ½ *   1.5/4  2.75

Komodo unter sich 2  2014

                            1 2 3 4 5 
1   Komodo64 3              * ½ ½ 1 ½   2.5/4  4.50
2   Komodo 5.1r2 64-bit     ½ * ½ ½ 1   2.5/4  4.25
3   Komodo 5 64-bit         ½ ½ * ½ 1   2.5/4  4.25
4   Komodo64 SSE Version 4  0 ½ ½ * ½   1.5/4
5   Komodo CCT 64-bit       ½ 0 0 ½ *   1.0/4

Komodo unter sich 3  2014

                            1 2 3 4 5 
1   Komodo64 SSE Version 4  * ½ ½ ½ 1   2.5/4  4.50
2   Komodo 5.1r2 64-bit     ½ * ½ ½ 1   2.5/4  4.50
3   Komodo 5 64-bit         ½ ½ * ½ ½   2.0/4
4   Komodo CCT 64-bit       ½ ½ ½ * 0   1.5/4  3.50
5   Komodo64 3              0 0 ½ 1 *   1.5/4  2.50

Komodo unter sich 4  2014

                            1 2 3 4 5 
1   Komodo 5.1r2 64-bit     * 1 ½ 1 1   3.5/4
2   Komodo 5 64-bit         0 * ½ 1 ½   2.0/4  3.25
3   Komodo64 SSE Version 4  ½ ½ * 0 1   2.0/4  3.25
4   Komodo64 3              0 0 1 * 1   2.0/4  2.50
5   Komodo CCT 64-bit       0 ½ 0 0 *   0.5/4

By Wolfgang Battig Date 2014-09-13 20:34 Upvotes 1

Hallo,

wo soll ich anfangen...?

- gleiche Engines untereinander
- extrem geringe Partienzahl (10 Partien pro Turnier!)
- unterschiedliche Voraussetzungen (5.1 mit 2CPU-Vorteil)

Bedenkzeit ist kurz aber völlig ok, Rechner und Bücher gibst Du nicht an. Aber das sind definitiv nicht die Problemfaktoren!

Vor allem die kleine Partienzahl ist ein Problem und das wird bei diesen Tests noch durch die anderen Faktoren ("Inzest", Hardwareunterschiede) verstärkt.

Bei uns (CEGT) sind beide Versionen (5.1r2 und CCT jeweils 1CPU) "nur" in der 40/4 und der 40/20-Liste enthalten. Demnach sind beide gleichstark.

40/4:
CCT: 3058 aus 2500 Partien
5.1r2: 3054 aus 2200 Partien

40/20:
CCT: 3040 aus 1201 Partien
5.1r2: 3038 aus 1067 Partien

In unserer mittlerweile eingestellten 40/20-Liste mit Ponder
CCT: 3033 aus 1160 Partien
5.0: 3022 aus 1160 Partien

Auch das würde ich als gleichstark ansehen.

Fazit: Aus Deinen Tests kannst Du gar nix schließen (nicht bös gemeint!!) und brauchst auch keinen Statistiker...

Der Zufall spielt bei den Bedingungen einfach eine viel zu große Rolle!!

Gruß
Wolfgang

By Silvio Zschako Date 2014-09-13 21:13

Hallo Roland,

in jeder beliebigen und seriösen Ratingliste kannst Du nachschauen und wirst die von Michael Scheidl beschriebenen Angaben bestätigt finden.

z.B.:
http://www.computerchess.org.uk/ccrl/404/

Glaub's nur, Komodo CCT ist ein ganzes Stück stärker als die anderen Versionen in Deinem Selbstest, aber wohl in etwa gleichauf mit Version 5.1 mit 2 CPU. Aber ich schreibe das eigentlich nur, weil ich seinerzeit viel mit Komodo CCT und den Vorversionen analysiert hatte und die oben erwähnte Überlegenheit bestätigen kann.

Wenn Dich das schlechte Abschneiden wundert in Deinen Selbsttestversuchen, mag das einfach daran liegen, daß Deine Testbedingungen keinen Aussagewert haben, außer den: daß Deine Selbsttestversuche schlecht sind. Und das müssen sie sein, weil sie "verkehrte Welt" anzeigen...

Aber ich bin kein Statistiker, die melden sich sicher noch genauer, exakter zu Wort.

Gruß
Silvio

By Roland Riener Date 2014-09-13 21:58

Danke, Wolfgang und Silvio, für die ausführlichen Antworten. Ich habe den Begriff "Test" selbst peinlich vermieden, weil ich inzwischen auch weiß, daß vor allem die Partienanzahl, aber auch andere Parameter, von den ernsthaften Testern sehr professionell gehandhabt werden müssen.

Ich bezweifle auch gar nicht die angeführten und auch mir bekannten Ratings. Gerade darum erstaunt es mich doch, daß über eine bestimmte Anzahl von Partien und laienhaft gesehen fairen Bedingungen eine höher geratete Engine so deutlich unterperformen kann. Und nur dafür würde ich gerne einen Statistiker hören. Die Wahrscheinlichkeit, 10mal hintereinander eine Sechs zu würfeln, kann ich gerade noch selber ermitteln.

Die 5.1 mit 2 CPU spielen zu lassen, finde ich ok, wenn sie es kann, soll sie es auch dürfen.

Roland

By Silvio Zschako Date 2014-09-13 23:28

Hallo Roland,

nimm doch einfach noch zwei Hand voll anderer Engines dazu, damit der "Komodo-Inzestfaktor" nicht so extrem ist, und lass' ein vielrundiges, sagen wir 10-rundiges, Turnier spielen. Je mehr Runden, umso mehr wird sich die reale Spielstärke dann auch in den Platzierungen erkennen lassen.

Gruß
Silvio

By Benno Hartwig Date 2014-09-14 09:39

Ach, man darf hier auch gern intensiv Inzest betreiben.
Und es ist durchaus interessant, die Ergebnisse mit denen ohne Inzest zu vergleichen.
Nur bitte sollten es viel(!) mehr Partien sein.
Und bei den hier benutzten Zeiten käme da in wenigen durchrechneten Tagen (oder wenigstens Nächten) schon was raus, was wenigstens eine gewisse Aussagekraft hat.
Roland, lass die 5 (bei gleicher Kernanzahl) doch einfach mal 'ne Woche durchrechnen. Dann wäre der Vergleich z.B. zu den CEGT-Ergebnissen durchaus interessant.

Benno

By Ingo B. Date 2014-09-14 09:59

Benno Hartwig schrieb:

Ach, man darf hier auch gern intensiv Inzest betreiben.
Und es ist durchaus interessant, die Ergebnisse mit denen ohne Inzest zu vergleichen.
...

Ich habe keine genauen Zahlen im Kopf, weiß aber, dass der "inzestuöse" Gewinn den der SF Framework anzeigt sich bisher in dieser Höhe nie in den "Vielengine"-Ranglisten so auch gezeigt hat, sondern das der echte Gewinn immer kleiner war. Wenn im Moment also 15Elo dort angezeigt werden, bin ich recht entspannt mit einer Annahme von weniger als echten 10 unterwegs.

Gruß
Ingo

By Benno Hartwig Date 2014-09-14 12:47

> sondern das der echte Gewinn immer kleiner war.

Du magst ja Recht haben.
Aber umfangreiche Ergebnisse mit gemischten Gegnern gibt es einige.
Wenn jetzt ein statistisch belastbares Komodo-Inzest-Turnier hinzukäme, böte sich eben auch mal mit K die Gelegenheit, deine These zu prüfen.
Fänd' ich gut.

Benno

By Silvio Zschako Date 2014-09-14 17:58

Aber bitte dann auch mit längern und langen Bedenkzeiten. Nichtssagende "Kastrations-Turniere" mit derart kurzen Bedenkzeiten gibt es schon genug...

By Benno Hartwig Date 2014-09-14 20:50

Warum empfindest du Turniere bei 1m+2s als dermaßen nichtssagend?
Wie sehr unterschiedlich sind die Ergebnisse z.B. im Vergleich zu normalem Blitz?
Benno
(Der schon meint, dass die Ergebnisse schon sehr denen bei längeren Zeiten ähneln)

By Kurt Utzinger Date 2014-09-14 21:03

Benno Hartwig schrieb:

Hallo Benno
Silvio geht es m.E. nicht um die Ergebnisse, sondern um die Qualität
der gespielten bzw. produzierten Partien. Heute scheinen wir zu wissen,
dass sich die allgemeine Spielstärke anhand vieler Partien mit sehr
kurzen Bedenkzeiten recht genau abbilden/vergleichen lässt. Wer
jedoch an der Qualität der Partien interessiert ist und sich mit diesen
Partien auseinandersetzen will, der benötigt Partien mit viel längeren
Bedenkzeiten. Das sind einfach zwei Paar Schuhe, die nichts miteinander
zu tun haben.
Mfg
Kurt

By Benno Hartwig Date 2014-09-14 21:44

Klar, bei mehr Zeit, werden die Partien besser.
Aber bringen z.B. 2 Extraplys die bei immerhin Zeitvervierfachung so ungefähr entstehen, wirklich Partien, die für den Menschen erkennbar besser gespielt wurden?
Würdest du beispielsweise mit bloßem Auge und Nachdenken entscheiden können, ob eine dir vorgelegte SF-Partie bei 1m+1s oder bei 5m + 5s gespielt wurde?
OK, eine Turnierpartie mag einer mit Erfahrung dann wirklich erkennen können. (Auch wenn ich mich konkret damit schwer tun würde)

Benno

By Michael Scheidl Date 2014-09-14 21:50

Ach was, gar nichts kann man erkennen.

Ich hab kürzlich dieses Buchlos-Turnier auf 12 Sekunden(!) + 1 Sek. laufen lassen, nur i5-Singlecore, und die typischen RT. waren um die 15 Halbzüge - wie immer zuzüglich "mächtiger" Extensions.

Zum live Kibitzen ist das natürlich ein Graus, aber sonst...

By Kurt Utzinger Date 2014-09-14 22:21

Benno Hartwig schrieb:

Hallo Benno
Ich rede weder von 1m+1s noch von 5m+5s Partien, sondern
eben von Partien mit langen Bedenkzeiten, was auf die genannten
überhaupt nicht zutrifft.
Mfg
Kurt

By Roland Riener Date 2014-09-14 10:33

Ich werde das nicht weiter verfolgen - ich glaube an die Ergebnisse der echten Tester. Wollte zuerst für mich nur EIN Miniturnier anschauen, aber da die CCT hinten lag, habe ich es fortgesetzt, um eine Änderung zu sehen, die eben nicht gekommen ist.

Ein vielrundiges Turnier, wie von dir, Benno, empfohlen, sehe ich als nicht sinnvoll, da ich dabei wohl viele Doubletten produzieren würde. Darum habe ich ja bei den Miniturnieren die Eröffnungsbücher und -Einstellungen sowie die Farbverteilung gewechselt.

Gruß, Roland

By Benno Hartwig Date 2014-09-14 12:50

> viele Doubletten

Warum? Das sollten bereits die Eröffnungsbücher sehr unwahrscheinlich machen.
Ich fänd' solch ein größeres Komodo-Inzest-Turnier tatsächlich sogar recht interessant.
Deutlich interessanter als ein privates Ergründen, ob ich eigentlich die selben ELO-Differenzen erhalte wie CEGT und CCRL und Ingo und Frank und...

Benno

By Silvio Zschako Date 2014-09-14 17:36

Dann bitte aber auch ein "Inzest-Turnier" mit längeren und langen Bedenkzeiten. Man muss Engines nicht immer "kastrieren", indem man ihnen nur derart kurze Bedenkzeiten zuteilt. DAFÜR sind sie letztlich NICHT entwickelt worden. Vielleicht entwickelt Komodo CCT ja erst seine Qualitäten gegenüber seinen kleineren Brüdern bei längeren/langen Bedenkzeiten...

By Benno Hartwig Date 2014-09-14 21:00

Na, die SF-Entwicklung läuft doch ausdrücklich mittels Optimierung bei sehr kurzen Zeiten. Und der Erfolg ist doch augenfällig.

Außerdem:
Zeitverdopplung bringt gerade mal einen schlappen Ply im Durchschnitt. als 16 bis 21 Plys statt 15 bis 20.
Der Übergang von 1m+2s zu Blitz bringt also nur diesen einen Ply.
Der zu Rapid-Chess bringt ca 3 Plys, also 18 bis 23 statt 15 bis 20.
Und selbst Turnerschach bringt dann letztlich trotz der immensen Warterei ca. 21 bis 26 Plys.
Da kommt nirgends eine grundsätzlich neue Qualität rein.

Wie willst du begründen, dass 15 bis 20 Plys nur unbrauchbar schlechte, nichtssagende Ergebnisse liefern, während 16 bis 21 oder letztlich auch 21 bis 26 Plys dann das Innere der Engine so richtig deutlich zeigen?

Benno

By Silvio Zschako Date 2014-09-14 22:30

Die Houdini-Entwicklung läuft auch über ultrakurze Bedenkzeiten und der Erfolg ist wie bei SF augenfällig. Es sind dann aber auch entsprechend viele, ein paar Millionen, Testpartien gespielt worden.

Dass z.B. Tiefe 15 bis 20 letztlich unbrauchbare Ergebnisse liefert, begründe ich mal einfach so: Weil ich damit wahrscheinlich so ziemlich jede Fernschachpartie verlieren würde... Das kann so schwer auch nicht zu verstehen sein: Tiefe 15 bis 20 ist nun mal eine schlechtere Analysequalität als etwa Tiefe 21 bis 26. Und, ja, "das Innere der Engine", also die Qualität des gespielten Zuges, zeigt sich erst so richtig deutlich, wenn sie auch tief in eine Stellung eindringen kann, also eine entsprechende Tiefe erreicht. Und dafür braucht es nun mal ZEIT.

Das wirft sowieso für mich noch einmal die Frage auf: Wozu wurden Schachengines eigentlich entwickelt? Um qualitativ hochwertige Analysen zu erstellen, um möglichst dem "besten Zug" auf die Schliche zu kommen und der "perfekten Partie"? Oder um qualitativ hochwertige Enginepartien, -turniere zu spielen? Oder um qualitativ schlechtere Kurzzeitpartien, -turniere zu spielen?

Mag jeder die Fragen für sich beantworten. Vergessen sollte aber nicht werden, dass, je kürzer die Bedenkzeit bzw. Analysezeit, in der Regel auch die Qualität der Züge und der Partie schlechter ist. Und wer unbedingt das Potential einer Engine "kastrieren" möchte, mittels kurzer Bedenkzeiten, soll das meinetwegen tun. Mein Ding ist es nicht, spüre aber regelrecht die "Kastrationsschmerzen" physisch, wenn ich Bedenkzeiten wie etwa 1min + 2s sehe. Mein Gott, da werden nur 1%-10% der Fähigkeiten eine Engine abgerufen, aber 90% - 99% liegen einfach brach...

By Benno Hartwig Date 2014-09-14 22:42

> Weil ich damit wahrscheinlich so ziemlich jede Fernschachpartie verlieren würde...

Dass du gegen einen Engine-benutzenden Gegner verlierst, der lange Rechnen lässt, bezweifle ich ja nicht.
Mit 1s/Zug werde ich gegen einen 180s/Zug-Gegner verlieren. Darüber staunen wir beide nicht.
Ich denke aber, die Spielstärkeverhältnisse, die sich gegen einen Gegner mit ebenfalls sehr kurzer Zeit zeigen, sind sehr ähnlich denen, die bei längeren Zeiten, auch deutlich längeren Zeiten(!), gespielt werden. Darin sehe ich den Sinn und den Wert der Ergebnisse bei sehr kurzen Zeiten.

Der Entwickler mag erreichen wollen, dass seine Engine bei langen Zeiten gut arbeitet. OK. Und das mag einen auch am meisten interessieren.
Das ändert aber nichts daran, dass die relative(!) Leistungsfähigkeit bei langen Zeiten bereits sehr gut eingeschätzt werden kann, wenn man die relative Leistung bei kurzen und auch sehr kurzen Zeiten betrachte.
Die Abschätzung mag einen gewissen Fehler haben. OK. Diese Fehler wird aber vermutlich deutlich kleiner sein als der, der bei langen Zeiten mit nicht wirklich ausreichender Partienzahl daherkommt.
Darum widersprach ich deiner Kritik an kurzen Zeiten.

Benno

By Silvio Zschako Date 2014-09-15 00:20

Danke. Ich denke, der Sinn von kurzen Bedenkzeiten, bei ausreichender Partieenzahl, ist nun einigermaßen geklärt.

Bleibt noch der Hinweis, für alle, die die spezifischen Stärken von Komodo nutzen oder noch herausfinden möchten: Komodo ist kein allzu guter "100-Meter-Spinter", aber ein hervorragender "Langstreckenläufer". Wer nur kurze Bedenkzeiten mit Komodo nutzt, wird den Unterschied aber nie herausfinden und letztlich den Qualitäten von Komodo nicht wirklich gerecht.

By Silvio Zschako Date 2014-09-14 17:51

Sicher kommen die Änderungen, wenn auch längere und lange Bedenkzeiten verwendet werden... Mach also denselben Spaß noch mal mit längeren und langen Bedenkzeiten. Noch mal 5 Sechsen hintereinander wirst Du dann garantiert nicht mehr würfeln...

Wer sich wundert, dass eine Engine die Qualität nicht bringt, sollte sich zuallererst darüber wundern, dass seine Spielbedingungen gar keine Qualität zu lassen...

Bevor eine Engine von Entwicklern auf den Markt kommt, werden übrigens zig Millionen Testpartien zuvor gespielt. Ob dabei auch "Inzestpartien" dabei sind, kann ich zwar nicht sagen, aber falls doch, dann jedenfalls nicht auf "Kindergartenniveau".

By Michael Scheidl Date 2014-09-14 17:56

Wobei allerdings bei der Stockfish-Entwicklung meines Wissens nur gegen eigene (Vor-)Versionen und nur auf ultrakurzen Bedenkzeiten getestet wird, und anhand dessen entwickelt und ggfs. veröffentlicht wird. Funktioniert also schon - nur sind dort eben die Partienzahlen enorm...

By Silvio Zschako Date 2014-09-14 18:07

Ja, bei Houdini ist es ähnlich - ultrakurze Bedenkzeiten, dafür aber zig Millionen Testpartien, um eine einigermaßen verlässliche Aussage über die Spielstärke finden zu können.

By Benno Hartwig Date 2014-09-14 21:48 Edited 2014-09-14 21:51

> Funktioniert also schon - nur sind dort eben die Partienzahlen enorm...

...was ja gerade der Zweck der Übung ist.
So kannst du diverse Engine-Versionen, die sich ggf. nur in der Höhe eines Schwellwertes unterscheiden, immerhin so eingehend testen, dass du auch eine Einschätzung "hat 3 ELO gewonnen (oder verloren)!" einigermaßen abgesichert hinbekommst. Oder wenigstens: "Hat vermutlich etwas dazugewonnen und mit sehr hoher Wahrscheinlichkeit zumindest nicht verloren!"

Benno