Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / LS-Rangliste: Komodo TCEC Testrun abgebrochen
- - By Stefan Pohl Date 2013-12-10 12:39
Hallo,

leider mußte ich den Testrun von Komodo TCEC abbrechen, weil die Engine einen üblen Bug hat (siehe mein Posting auf talkchess). Ich kopiere das Posting aus Zeitgründen mal hier rein, auf jeden Fall muß ich auf eine gefixte Version warten.

During my testrun of Komodo TCEC 64bit for my LS-ratinglist a serious castling-bug appeared:
When Komodo plays black and the first move of the opponent is 0-0 (and the movecounter is 1 (in the LittleBlitzerGUI the first move has always the movenumber 1)), than Komodo TCEC crashes.
Same under the FritzGUI (I have Fritz 13 GUI):

Take the PGN-game below or just copy the FEN in the FritzGUI, then load Komodo TCEC 64bit and then play 0-0 manually for white - and Komodo TCEC crashes...

Because of that, I could not finish the LS-testrun of Komodo TCEC (I had more than 40 crash-games). Have to wait for a bugfix...

[Event "?"]
[Site "?"]
[Date "????.??.??"]
[Round "?"]
[White "Houdini 4 x64"]
[Black "Komodo TCEC x64"]
[Result "1-0"]
[SetUp "1"]
[FEN "r1b2rk1/pp1nqppp/2pbpn2/3p4/2PP4/2NBPN2/PPQB1PPP/R3K2R w KQ - 0 1"]
[PlyCount "1"]

1. O-O 1-0
Parent - - By Ingo B. Date 2013-12-10 13:48
Das ist ein guter! K6 hatte das noch nicht.

Passiert auch in der Classic, es ist also mit Sicherheit kein GUI Problem - sie Stefan schon schrieb.

Gut das mein Testset keine Stellung mit Erstzugrochade aufweist*. Die meisten Eröffnungen sind kürzer, da geht noch keine Rochade

Ingo

PS: Meine Teststellungen sind PGNs. Hast du diese Stellung als PGN bis dahin. Ich könnte mit Vorstellen das dann die Engine richtig funktioniert ...
Parent - - By Stefan Pohl Date 2013-12-10 14:42
Ingo B. schrieb:

Das ist ein guter! K6 hatte das noch nicht.

Passiert auch in der Classic, es ist also mit Sicherheit kein GUI Problem - sie Stefan schon schrieb.

Gut das mein Testset keine Stellung mit Erstzugrochade aufweist*. Die meisten Eröffnungen sind kürzer, da geht noch keine Rochade

Ingo

PS: Meine Teststellungen sind PGNs. Hast du diese Stellung als PGN bis dahin. Ich könnte mit Vorstellen das dann die Engine richtig funktioniert ...


Ja, es sind PGNs, die alle 8 Züge lang sind (alle Vorgaben sind aus der SWCR-Vorgabedatenbank von Frank Q.). Nur dummerweise setzt die LittleBlitzerGUI den Zugzähler immer auf eins, wenn die Partie losgeht, auch wenn 8 Züge vorgegeben wurden.
Aber das Problem tritt ja auch auf, wenn man eine Stellung "per Hand" oder per FEN-Kopie über die Windoofs-Zwischenablage in die GUI kopiert. Es sind also nicht nur Leute betroffen, die die (sehr spartanische) LittleBlitzerGUI nutzen.
Naja, ich warte auf ein bugfix und mache den Test dann nochmal.
Blöd gelaufen. Leider neigt das Komodoteam dazu, nicht ausreichend getestete Engines in den Verkauf zu bringen. Siehe Komodo 5.1 (r1, r2 bugfixes weil Komodo u.a. sein eigenes Buch nicht fand (peinlich!)). Langsam ist das nicht mehr wirklich komisch...Immerhin ist das ja keine Freeware-Engine, sondern wir haben alle gutes Geld bezahlt. Sicher ist der Fehler seltener/exotischer als der von Komodo 5.1, aber passieren sollte das dennoch nicht, finde ich.

Stefan
Parent - - By Guest Date 2013-12-10 15:08
Stefan Pohl schrieb:

Ja, es sind PGNs, die alle 8 Züge lang sind (alle Vorgaben sind aus der SWCR-Vorgabedatenbank von Frank Q.).


Kannst diese eine, aus dem obigen Bsp, hier als PGN posten bitte?

Stefan Pohl schrieb:

Leider neigt das Komodoteam dazu, nicht ausreichend getestete Engines in den Verkauf zu bringen....


Na ja, dieser spezielle Fall ist ... eben sehr speziell. Ich habe tausende von Partien gespielt und andere, unter ganz anderen Bedinungen, auch aber DAS ist nie vorgekommen ...
Ich teste seit Jahren und wenn ich etwas gelernt habe dann, dass man nie alles testen kann - völlig unmöglich.
Davon abgesehen ist das für den "Normaluser" wohl wenig relevant. Schließlich kann ich auch eine händische Partie spielen mit einer Rochade ... Deswegen ja die Frage nach der PGN. Ich vermute immer noch das das bei normalen GUIs mit PGN geht, weil vollständiges UCI-Protokoll eigentlich die Partie mit jedem Zug komplett überträgt. Bin aber nicht sicher, würde das gerne testen ...

Ingo
Parent - - By Stefan Pohl Date 2013-12-10 19:16 Edited 2013-12-10 19:18
Guest schrieb:

Stefan Pohl schrieb:

Ja, es sind PGNs, die alle 8 Züge lang sind (alle Vorgaben sind aus der SWCR-Vorgabedatenbank von Frank Q.).


Kannst diese eine, aus dem obigen Bsp, hier als PGN posten bitte?

Stefan Pohl schrieb:

Leider neigt das Komodoteam dazu, nicht ausreichend getestete Engines in den Verkauf zu bringen....


Na ja, dieser spezielle Fall ist ... eben sehr speziell. Ich habe tausende von Partien gespielt und andere, unter ganz anderen Bedinungen, auch aber DAS ist nie vorgekommen ...
Ich teste seit Jahren und wenn ich etwas gelernt habe dann, dass man nie alles testen kann - völlig unmöglich.
Davon abgesehen ist das für den "Normaluser" wohl wenig relevant. Schließlich kann ich auch eine händische Partie spielen mit einer Rochade ... Deswegen ja die Frage nach der PGN. Ich vermute immer noch das das bei normalen GUIs mit PGN geht, weil vollständiges UCI-Protokoll eigentlich die Partie mit jedem Zug komplett überträgt. Bin aber nicht sicher, würde das gerne testen ...

Ingo


Bin auf leider z.Zt. auf Arbeit und habe auch sonst momentan sehr wenig Zeit. Lade dir doch einfach die 500 Eröffnugsvorgabestellungen vom meiner LS-Website herunter, da sind alle Vorgabe-Stellungen als 8-zügige PGN-Partien abgespeichert. Dann brauchst du nur per Stellungssuche die Stellung hier aus dem Posting in dieser PGN-Datenbank zu suchen und dann hast du sie...
Sollte ich sie nächsten Tage die Zeit finden, poste ich die PGN-Notation hier noch. Aber wie schon  auf talkchess erwähnt, ist der Zugzähler dann ja auf 8, wenn es zur Rochade kommt und dann gibt es kein Problem mit Komodo TCEC. Ich habe es mit der FritzGUI heute selber getestet und da hat Komodo ganz regulär gezogen. Das Problem tritt wie gesagt nur auf, wenn der Zugzähler auf 1 steht, also wenn man die Stellung per Hand eingibt oder per FEN über die Windows-Zwischenablage oder wenn die LittleblitzerGUI die 8 Züge wegschneidet...Deine Vermutung (s.o.) ist also völlig korrekt, weil im "Normalfall" der Zugzähler bei einer Rochade ja nicht auf 1 steht, ja gar nich stehen kann.
Insgesamt waren bei mir übrigens 9 von 500 Stellungen betroffen, in denen die gegnerischen Engines (nicht alle, aber einige) mit Weiß rochiert haben und Komodo dann abstürzte.

Stefan
Parent - - By Stefan Pohl Date 2013-12-12 06:00
Hallo,

hier die 9 Stellungen (als 8-zügige PGN-Partie aus meiner Vorgabedatenbank), in denen es Crashes von Komodo TCEC gab. Wahrscheinlich mittlerweile nicht mehr von Interesse, zumal das Bugfix schon da ist, aber ich habs Ingo ja versprochen:

[Event "SWCR, opening positions"]
[Site "3395 positions, v4.0"]
[Date "2010.07.09"]
[Round "?"]
[White "Grandmaster"]
[Black "Grandmaster"]
[Result "1/2-1/2"]
[ECO "D45"]
[PlyCount "16"]
[EventDate "2010.07.26"]
[Source "Frank Quisinsky"]
[SourceDate "2010.07.26"]

1. c4 c6 2. d4 d5 3. Nc3 Nf6 4. Nf3 e6 5. e3 Nbd7 6. Qc2 Bd6 7. Bd2 O-O 8. Bd3
Qe7 1/2-1/2

[Event "SWCR, opening positions"]
[Site "3395 positions, v4.0"]
[Date "2010.07.09"]
[Round "?"]
[White "Grandmaster"]
[Black "Grandmaster"]
[Result "1/2-1/2"]
[ECO "A21"]
[PlyCount "16"]
[EventDate "2010.07.26"]
[Source "Frank Quisinsky"]
[SourceDate "2010.07.26"]

1. c4 e5 2. Nc3 Bb4 3. Nd5 Be7 4. e3 d6 5. Ne2 f5 6. g3 Nf6 7. Bg2 c6 8. Nxe7
Qxe7 1/2-1/2

[Event "SWCR, opening positions"]
[Site "3395 positions, v4.0"]
[Date "2010.07.09"]
[Round "?"]
[White "Grandmaster"]
[Black "Grandmaster"]
[Result "1/2-1/2"]
[ECO "D36"]
[PlyCount "16"]
[EventDate "2010.07.26"]
[Source "Frank Quisinsky"]
[SourceDate "2010.07.26"]

1. c4 e6 2. Nc3 d5 3. d4 Be7 4. cxd5 exd5 5. Nf3 Nf6 6. Bg5 O-O 7. e3 Nbd7 8.
Bd3 Re8 1/2-1/2

[Event "SWCR, opening positions"]
[Site "3395 positions, v4.0"]
[Date "2010.07.09"]
[Round "?"]
[White "Grandmaster"]
[Black "Grandmaster"]
[Result "1/2-1/2"]
[ECO "B14"]
[PlyCount "16"]
[EventDate "2010.07.26"]
[Source "Frank Quisinsky"]
[SourceDate "2010.07.26"]

1. e4 c6 2. c4 d5 3. cxd5 cxd5 4. exd5 Nf6 5. Nc3 Nxd5 6. Nf3 e6 7. d4 Nc6 8.
Bd3 Bb4 1/2-1/2

[Event "SWCR, opening positions"]
[Site "3395 positions, v4.0"]
[Date "2010.07.09"]
[Round "?"]
[White "Grandmaster"]
[Black "Grandmaster"]
[Result "1/2-1/2"]
[ECO "E20"]
[PlyCount "16"]
[EventDate "2010.07.26"]
[Source "Frank Quisinsky"]
[SourceDate "2010.07.26"]

1. d4 Nf6 2. c4 e6 3. Nc3 Bb4 4. g3 c5 5. Nf3 b5 6. cxb5 a6 7. bxa6 Bxa6 8. Bg2
d5 1/2-1/2

[Event "SWCR, opening positions"]
[Site "3395 positions, v4.0"]
[Date "2010.07.09"]
[Round "?"]
[White "Grandmaster"]
[Black "Grandmaster"]
[Result "1/2-1/2"]
[ECO "A20"]
[PlyCount "16"]
[EventDate "2010.07.26"]
[Source "Frank Quisinsky"]
[SourceDate "2010.07.26"]

1. c4 e5 2. g3 Nf6 3. Bg2 h6 4. b3 Bc5 5. e3 O-O 6. Bb2 Re8 7. Ne2 d5 8. cxd5
Nxd5 1/2-1/2

[Event "SWCR, opening positions"]
[Site "3395 positions, v4.0"]
[Date "2010.07.09"]
[Round "?"]
[White "Grandmaster"]
[Black "Grandmaster"]
[Result "1/2-1/2"]
[ECO "D30"]
[PlyCount "16"]
[EventDate "2010.07.26"]
[Source "Frank Quisinsky"]
[SourceDate "2010.07.26"]

1. c4 e6 2. d4 d5 3. Nf3 c6 4. Bg5 Be7 5. Bxe7 Qxe7 6. Nbd2 Nf6 7. g3 O-O 8.
Bg2 Nbd7 1/2-1/2

[Event "SWCR, opening positions"]
[Site "3395 positions, v4.0"]
[Date "2010.07.09"]
[Round "?"]
[White "Grandmaster"]
[Black "Grandmaster"]
[Result "1/2-1/2"]
[ECO "D03"]
[PlyCount "16"]
[EventDate "2010.07.26"]
[Source "Frank Quisinsky"]
[SourceDate "2010.07.26"]

1. d4 d5 2. Nf3 Nf6 3. Bg5 Ne4 4. Bh4 c5 5. dxc5 Qa5+ 6. Nbd2 Nc6 7. e3 Bg4 8.
Be2 e6 1/2-1/2

[Event "SWCR, opening positions"]
[Site "3395 positions, v4.0"]
[Date "2010.07.09"]
[Round "?"]
[White "Grandmaster"]
[Black "Grandmaster"]
[Result "1/2-1/2"]
[ECO "C57"]
[PlyCount "16"]
[EventDate "2010.07.26"]
[Source "Frank Quisinsky"]
[SourceDate "2010.07.26"]

1. e4 e5 2. Nf3 Nc6 3. Bc4 Nf6 4. Ng5 Bc5 5. Bxf7+ Ke7 6. Bd5 Qe8 7. d3 d6 8.
Bxc6 bxc6 1/2-1/2
Parent - - By Stefan Pohl Date 2013-12-12 06:05
Nachdem das Bugfix für Komodo TCEC released wurde, wird der 2.Versuch des Tests nun nach dem Testrun von Stockfish 131210 starten, der morgen früh durch sein wird (Ergebnis von Stockfish wird es aber aus Zeitgründen aber leider erst übermorgen geben). Sollte diesmal alles glattgehen, müßte das Ergebnis Sonntag vorliegen...

Stefan
Parent - - By Felix Date 2013-12-12 07:27
Wann wird HERON getestet?
Parent - - By Stefan Pohl Date 2013-12-12 08:49
Felix schrieb:

Wann wird HERON getestet?


Sobald es die Engine überhaupt gibt...
Wenn es sie gibt und sie stabil läuft und sie kein 100%-Klon von irgendwas ist (wie letztens Samsung), dann wird sie natürlich getestet. Aber bisher gibts vom "Autor" meines Wissens nach nur Postings und keine Engine. Sollte sich das ändern, oder ich irgendwas übersehen haben, dann gerne hier im Forum Bescheid geben oder mich über das Kontaktformular meiner Website darauf hinweisen.

Stefan
Parent - - By Heinz Johann Saubermann Date 2013-12-12 18:44
Stefan Pohl schrieb:

Felix schrieb:

Wann wird HERON getestet?


Sobald es die Engine überhaupt gibt...


Na hoffentlich nicht: http://talkchess.com/forum/viewtopic.php?t=50360&postdays=0&postorder=asc&topic_view=&start=50
Parent - - By Thomas Müller Date 2013-12-12 18:53
ja dann sicher nicht
Parent - By Stefan Pohl Date 2013-12-13 06:44
Thomas Müller schrieb:

ja dann sicher nicht


Danke für die Info. Dann werde ich den Test wohl nicht machen, sofern die "Engine" überhaupt noch für die Öffentlichkeit released wird. Sehe mir die "Engine" allerdings auch noch selber an (Parallelmodus (Kiebitz) in der FritzGUI mit Stockfish 4) - sofern ich sie überhaupt irgendwo downloaden kann.

Stefan
Parent - By Stefan Pohl Date 2013-12-12 08:50
Stefan Pohl schrieb:

Nachdem das Bugfix für Komodo TCEC released wurde, wird der 2.Versuch des Tests nun nach dem Testrun von Stockfish 131210 starten, der morgen früh durch sein wird (Ergebnis von Stockfish wird es aber aus Zeitgründen aber leider erst übermorgen geben). Sollte diesmal alles glattgehen, müßte das Ergebnis Sonntag vorliegen...

Stefan


Sorry, ich habe mich mit der Zeitkalkulation etwas vertan: Frühestens Montag kann der Komodo TCECr-Testrun durch sein...

Stefan
Parent - - By Dieter Kraft Date 2013-12-12 12:34
Stefan Pohl schrieb:

Nachdem das Bugfix für Komodo TCEC released wurde, ....

Stefan


Ich sehe leider nicht WO 
Parent - By Stefan Pohl Date 2013-12-12 13:42
Dieter Kraft schrieb:

Stefan Pohl schrieb:

Nachdem das Bugfix für Komodo TCEC released wurde, ....

Stefan


Ich sehe leider nicht WO 


Ja, die Bezeichnung ist leider auf der Komodo-Downloadpage nicht aktualisiert worden. Logg dich einfach in deinen Kunden-Account ein und lade die neueste Engineversion herunter (4. oder 5.12. glaube ich), dann hast du statt dem Komodo TCEC Ordner einen anderen mit einer kryptischen Namensergänzung (bin z.Zt. auf Arbeit und kann daher die genaue Bezeichnung nicht sagen). Da ist dann Komodo TCECr drin.

Stefan
Parent - - By Ingo B. Date 2013-12-12 08:42
Ja, nicht mehr von Interesse da ich mir eine eigene PGN gebastelt hatte.

Es war eine Kombination aus FEN-BUG bei Komodo + ein unnötige FEN Umwandlung in der Testgui obwohl eine PGN vorhanden war (Das ist extra Arbeit und kostet (wenig) Zeit, warum macht man das überhaupt?). Die Mutter aller UCI-GUIs (Cassic) macht das vorbildlich; insofern hatte ich nie Probleme (Leider ist die Classic in anderen Dingen nicht mehr auf der Höhe der Zeit).

Ingo
Parent - By Stefan Pohl Date 2013-12-12 09:26
Ingo B. schrieb:

Ja, nicht mehr von Interesse da ich mir eine eigene PGN gebastelt hatte.

Es war eine Kombination aus FEN-BUG bei Komodo + ein unnötige FEN Umwandlung in der Testgui obwohl eine PGN vorhanden war (Das ist extra Arbeit und kostet (wenig) Zeit, warum macht man das überhaupt?). Die Mutter aller UCI-GUIs (Cassic) macht das vorbildlich; insofern hatte ich nie Probleme (Leider ist die Classic in anderen Dingen nicht mehr auf der Höhe der Zeit).

Ingo


Tja, eine Verkettung unglücklicher Umstände sozusagen. Aber mittlerweile habe ich das Bugfix (Komodo TCECr) schon runtergeladen und morgen wird der Testlauf dann erneut starten.
Viel mehr interessiert mich ja eigentlich, warum von SMK nix mehr Neues kommt - kein neuer Shredder, keine neue GUI-Version? Hat er komplett aufgehört? Wäre für jede Info dankbar, war zu Zeiten von Shredder 7/8 ein echter Fan dieser Engine, sie spielte schön aggressiv und dennoch mit Positionsverständnis.

Stefan
Parent - By Dirk Triebel Date 2013-12-10 21:34
Servus,

ich habe auch mehrere tausend Partien auf der Fritz 13 Gui durchlaufen lassen und kein einzigen bug. Hab gerad noch mal geprüft - alles sauber gelaufen und geendet.

Gruß,
Dirk
Parent - - By Tom Paul Date 2013-12-10 15:09
Das ist eben so, wenn man zwanghaft versucht der besten Weltbesten Engine Stockfish hinterher zu rennen.
Parent - - By Benno Hartwig Date 2013-12-10 15:36
vergessen?

Ich möchte lieber formulieren:
Das ist eben so, wenn man unbedingt das TCEC-superheiße Eisen schmieden möchte.
Aber ich verstehe das andererseits schon. Nach TCEC habe ich auch sehr gespannt und ungeduldig auf eine entsprechende Komodo-Version gewartet.

Benno
Parent - - By Stefan Pohl Date 2013-12-10 15:52
Benno Hartwig schrieb:

vergessen?

Ich möchte lieber formulieren:
Das ist eben so, wenn man unbedingt das TCEC-superheiße Eisen schmieden möchte.
Aber ich verstehe das andererseits schon. Nach TCEC habe ich auch sehr gespannt und ungeduldig auf eine entsprechende Komodo-Version gewartet.

Benno


Ich denke auch, daß das des Pudels Kern ist. Schnell nach dem (extremst knappen, daher reine Glückssache) Sieg im TCEC-Superfinal eine mit heißer Nadel gestrickte Version raushauen, um den Werbeeffekt dieses Sieges zu nutzen.
Versteh mich nicht falsch, wenn ich jemand ein bißchen kommerziellen Erfolg gönne, dann dem Komodoteam, nach dem tragischen Tod von DD. Aber als zahlender Kunde und Tester, der gerade knapp 3 Tage Rechenkapazität und Strom sinnlos verballert hat, bin ich dennoch nicht gerade happy über diesen Aktionismus.

Stefan
Parent - - By Benno Hartwig Date 2013-12-10 16:25

> ...bin ich dennoch nicht gerade happy über diesen Aktionismus.


Verstehe ich sehr gut!
Andererseits verstehe ich auch, dass der Test- und Abnahme-Parcours, den ein Miniteam betreiben kann, (Betriebssysteme, Hardware, Systemkonfigurationen, Berechtigungen, GUIs...) nicht wirklich riesengroß sein kann.
Wenn die schlicht nicht erkannt haben, dass durch irgendeine Änderung eine Abhängigkeit zur Nummer des ersten analysierten Zuges bei gleichzeitigem Auftreten bestimmter Züge besteht ("Wer rechnet denn mit sowas?"), dann können die ggf. monatelang ihre Testläufe quälen und werden nie auf diesen Fehler stoßen.

Benno
Parent - By Stefan Pohl Date 2013-12-10 17:13
Benno Hartwig schrieb:

Verstehe ich sehr gut!
Andererseits verstehe ich auch, dass der Test- und Abnahme-Parcours, den ein Miniteam betreiben kann, (Betriebssysteme, Hardware, Systemkonfigurationen, Berechtigungen, GUIs...) nicht wirklich riesengroß sein kann.
Wenn die schlicht nicht erkannt haben, dass durch irgendeine Änderung eine Abhängigkeit zur Nummer des ersten analysierten Zuges bei gleichzeitigem Auftreten bestimmter Züge besteht ("Wer rechnet denn mit sowas?"), dann können die ggf. monatelang ihre Testläufe quälen und werden nie auf diesen Fehler stoßen.

Benno


Ja, imPrinzip hast du damit Recht. Allerdings weiß ich, daß Larry Kaufman auch mit der LittleBlitzerGUI testet. Von daher hätte das schon mal auffallen können. Aber der Bug ist schon rel. ungewöhnlich, das stimmt.
Wird bestimmt bald gefixt, Larry will dem Problem hohe Priorität geben (laut seiner Aussage auf talkchess).

Stefan
Up Topic Hauptforen / CSS-Forum / LS-Rangliste: Komodo TCEC Testrun abgebrochen

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill