SWCR-32: Chiron 1.1 w32 läuft LIVE

By Frank Quisinsky Date 2011-12-02 06:46 Edited 2011-12-02 06:56

Zwischenergebnis:

Code:

49 Chiron 1.1 x64                 2823   17   17  1240   57%  2771   39% 
60 Chiron 1.1 w32                 2785   35   35   279   56%  2745   35%

Damit scheint sich ein sehr hoher 64bit Zuwachs für Chiron 1.1 abzuzeichnen.
Dieser wurde in der SWCR noch nicht gemessen, Chiron ist ja auch noch relativ neu

Korrigiert wurden bislang 9 Remis Partien, Partien mit Matt-Ankündigung die dann Remis endeten.
Ich komme jetzt nicht mehr dazu in den nächsten Tagen die Partien zu korrigieren bzw. in die Ergebnisse vom laufenden Test einzugreifen.
Werde das am Montag machen. Insofern wird bis Montag die ELO sicherlich um ca. 10 Punkte aufgrund von diesem Fehler nach unten gehen.

Wünsche allen ein schönes Wochenende und zweiten Advent.

Gruß
Frank

Übrigens auch Chiron hat taktische Lücken und frißt sich gerne durch.
Meine auch sehr viele taktische Stärken.

Gegen Protector 1.4.0 x64 gab es eine richtig böse, böse super böse Niederlage ...
Zug 14 war das Problem!
Etwas für's Computerschach-Album, PGN für die Wand als Bild über den Schreibtisch mit Grafik, Cover für ein Computerschachbuch neben der unsterblichen

Quatsch aber richtig böse!

Muss mal C63 in meinen Büchern überprüfen!

Event:

Ort:

Datum:

Weiss:

Schwarz:

Ergebnis

Board

By Peter Martan Date 2011-12-02 08:18

[quote="Frank Quisinsky"]

Damit scheint sich ein sehr hoher 64bit Zuwachs für Chiron 1.1 abzuzeichnen.
...
...
Zug 14 war das Problem!
[/quote]

Beides kann man anhand deines Beispieles wirklich sagen, Frank, Zug 14 war das Problem,
(bei der 32 bit-Version allerdings bei mir mit leerem hash auch nur 30 Sekunden lang:

Neue Partie - Houdini 2.0c Pro x6414, Blitz:3'+1" Dort
4rr1k/ppp4p/2pb1np1/4Nb2/P2Pp2q/1QN5/1PP2PPP/R1B2RK1 w - - 0 1

Analysis by Chiron 1.1 32bitNE:

14.g3 Dh3 15.Sf7+ Txf7 16.Dxf7 Tf8 17.Dc4
+/- (0.74)   Tiefe: 6/21   00:00:00 6kN
...
14.Dxb7 c5 15.Se2 Lc8 16.Db3 cxd4 17.g3 Le6 18.Dxe6 Txe6 19.Sxg6+ hxg6 20.gxh4 c5 21.Lf4 d3 22.Lxd6 Txd6 23.cxd3 exd3 24.Sf4
=/+ (-0.36)   Tiefe: 15/44   00:00:11 5218kN
...
14.Dxb7
=/+ (-0.70 --)   Tiefe: 17/44   00:00:34 15465kN
14.Dxb7 Txe5 15.dxe5 Lxe5 16.g3 Dh3 17.Db4 Te8 18.Dc4 Sg4
-/+ (-1.04)   Tiefe: 17/44   00:00:36 16434kN
14.Se2 Le6 15.Dg3 Dxg3 16.hxg3 c5 17.Le3 cxd4 18.Lxd4 Kg8 19.b3 c5 20.Lb2 Ld5 21.Sc4 Lxc4 22.bxc4 Sg4 23.Tad1 Le5 24.Lxe5 Sxe5
=/+ (-0.58)   Tiefe: 17/44   00:00:39 17635kN
...
14.Se2 Le6 15.Dg3 Dxg3 16.Sxg3 c5 17.Lh6 cxd4 18.f4 Tg8 19.Lg5 Sd5 20.Sxe4 Kg7 21.Tae1 h6 22.Lh4 Lf5 23.Lf2 Lb4 24.Lxd4 Lxe1 25.Txe1 Sxf4 26.Sd7+ Kf7 27.Se5+ Kf8
=/+ (-0.52)   Tiefe: 24/44   00:03:05 86081kN

Danach wird, wie man sieht, der Gegentreffer (Schiff versenkt) ...Txe5 gesehen und der Zug nicht weiter berechnet.)

und der hohe 64 bit- Zuwachs, von dem du auch sprichst, besteht darin, dass das damit nur 15 Sekunden, wieder auf einem Kern und mit leerem hash, dauert:

4rr1k/ppp4p/2pb1np1/4Nb2/P2Pp2q/1QN5/1PP2PPP/R1B2RK1 w - - 0 1

Analysis by Chiron 1.1 64bit14NEL:

14.g3 Dh3 15.Sf7+ Txf7 16.Dxf7 Tf8 17.Dc4
+/- (0.74)   Tiefe: 6/21   00:00:00 6kN
...
14.Se2 Le6 15.Dxb7 Lxe5 16.dxe5 Sg4 17.h3 Txf2 18.hxg4 Txe2 19.Dxc6 Dg3 20.Dxe8+ Lg8
=/+ (-0.65)   Tiefe: 15/44   00:00:04 4670kN
14.Dxb7 c5 15.Se2 Lc8 16.Db3 cxd4 17.g3 Le6 18.Dxe6 Txe6 19.Sxg6+ hxg6 20.gxh4 c5 21.Lf4 d3 22.Lxd6 Txd6 23.cxd3 exd3 24.Sf4
=/+ (-0.36)   Tiefe: 15/44   00:00:04 5218kN
14.Dxb7 c5 15.Se2 Lc8 16.Db3 cxd4 17.g3 Le6 18.Dxe6 Txe6 19.Sxg6+ hxg6 20.gxh4 c5 21.Lf4 d3 22.Lxd6 Txd6 23.cxd3 exd3 24.Sf4
=/+ (-0.36)   Tiefe: 16/44   00:00:06 6397kN
14.Dxb7 Txe5 15.dxe5 Lxe5 16.g3 Dh3 17.Db4 Te8 18.Dc4 Sg4
=/+ (-0.53)   Tiefe: 17/44   00:00:08 8867kN
14.Dxb7
=/+ (-0.53 --)   Tiefe: 17/44   00:00:10 10943kN
14.Dxb7 Txe5 15.dxe5 Lxe5 16.g3 Dh3 17.Db4 Te8 18.Dc4 Sg4
=/+ (-0.70)   Tiefe: 17/44   00:00:11 11877kN
14.Dxb7
=/+ (-0.70 --)   Tiefe: 17/44   00:00:14 15273kN
14.Dxb7 Txe5 15.dxe5 Lxe5 16.g3 Dh3 17.Db4 Te8 18.Dc4 Sg4
-/+ (-1.04)   Tiefe: 17/44   00:00:15 16325kN
...
14.Se2 Le6 15.Dg3 Dxg3 16.Sxg3 c5 17.Lh6 cxd4 18.f4 Tf7 19.Sxf7+ Lxf7 20.Tae1 e3 21.f5 Lc4 22.Se2 Lb4 23.c3 Lxe2 24.Txe2 d3 25.Txe3 Lc5
=/+ (-0.35)   Tiefe: 26/45   00:02:27 160mN
14.Se2
=/+ (-0.35 --)   Tiefe: 26/45   00:03:05 201mN

Führt man den bösen Zug dennoch aus:

4rr1k/pQp4p/2pb1np1/4Nb2/P2Pp2q/2N5/1PP2PPP/R1B2RK1 b - - 0 1

Analysis by Chiron 1.1 64bit:

14...Sg4 15.Lf4 Lc8 16.Dxc6 Txe5 17.dxe5 Txf4
=/+ (-0.55)   Tiefe: 6/16   00:00:00 2kN
...
14...Txe5 15.dxe5 Lxe5 16.g3 Dh3 17.Lf4 Lxf4 18.Db4 Te8 19.Dd4 Le5 20.Dxa7 Sg4
-+ (-1.41)   Tiefe: 10/30   00:00:00 110kN
...
14...Txe5 15.dxe5 Lxe5 16.Lf4 Lxf4 17.g3 Dh3 18.Db4 Te8 19.Dd4 Le5 20.Dd2 c5 21.f3 exf3 22.Txf3 Sg4 23.Kh1 Ld4 24.Taf1 c6
-+ (-3.03)   Tiefe: 17/39   00:00:03 3973kN
14...Txe5 15.dxe5 Lxe5 16.Lf4 Lxf4 17.g3 Dh3 18.Db4 Te8 19.Dd4 Le5 20.Dd2 c5 21.f3 exf3 22.Txf3 Sg4 23.Kh1 Ld4 24.Taf1 c6
-+ (-3.03)   Tiefe: 18/39   00:00:05 5561kN
14...Txe5 15.dxe5 Lxe5 16.Lf4 Lxf4 17.g3 Dh3 18.Db4 Te8 19.Dd4 Le5 20.Dd2 c5 21.f3 exf3 22.Txf3 Sg4 23.Kh1 Ld4 24.Taf1 c6
-+ (-3.03)   Tiefe: 19/40   00:00:06 7649kN

Was hast du da doch gleich noch für Bedenkzeiten verwendet, Frank, und was für eine hardware?

Auch der tbs- bug, den du immer wieder schilderst und der dich veranlasst, ständig das Ergebnis der Partien, die so verschenkt werden, händisch zu korrigieren, sollte bei 1.1 doch eigentlich behoben sein, nachdem er dem Autor bei 1.0 schon bekannt gemacht worden war?

By Frank Quisinsky Date 2011-12-02 13:37

Hi Peter,

der bug ist mir erst bei der 1.1 aufgefallen. Die 1.0 hatte ich nicht getestet. Aufgefallen auch nur deswegen weil ich ohne Aufgabefaktor spielen lasse. In der SWCR wird wie immer 40 Züge in 10 Minuten gespielt (das steht aber auch an x verschiedenen Stellen auf meinen Webseiten oder den geposteten Tabellen). Das bedeutet der Durchschnitt einer Partie ist 40 Minuten bei 86 Züge die, die bislang gespielten 150.247 gedauert haben. Genauer gesagt ist der Durchschnitt 171,55 Züge.

Eine Rechenaufgabe nun den Durchschnitt für einen Zug zu berechnen

Übrigens macht das das Zusehen auch interessant. Es ist immer klar, dass dann mit mehr Zeit auch die Fehler weniger werden. Leider steigt aber der Zügedurchschnitt an und alles wird langweiliger, sowohl das Zusehen als auch die Partien beim Nachspielen. Längere Partien haben auch Nachteile, Vorteile weil die Daten hochwertiger sind und sich so z. B. für Bücher etc. besser nutzen lassen ... was zum Beispiel die Buchfreaks dann wieder selbst interessiert, denn die können das Material auch nicht selbst erzeugen und downloaden sich alles mögliche zusammen.

Womit wir wieder bei einem beliebten Thema sind

Stelle Dir mal vor Du hättest einen Rechner mit 2 Cores.
Dann rechne Dir mal aus, wie viele Jahre es dauern würde um 150.000 40-Minuten Partien zu erzeugen!
Du bist der Rente ein gutes Stück näher gekommen!

Dir ein schönes WE.

Ach so, 40 in 10 sowohl bei der SWCR-32, als auch bei der SWCR-64.
Und, den 64bit Faktor könnten wir auch anhand von Stellungen berechnen, klar. Aber so klar ist es dann aus diversen anderen Gründen auch nicht.

Die Analyse schaue ich mir nachher an.
Habe die Partie nur grob überflogen und fand das Qualle Opfer im Zug 14 ganz nett. Möglich geworden durch einen vergifteten Bauern.

Gruß
Frank

By Peter Martan Date 2011-12-02 17:17

[quote="Frank Quisinsky"]
Die Analyse schaue ich mir nachher an.
[/quote]

Das war keine Analyse, Frank, das war nur engine- output.

By Frank Quisinsky Date 2011-12-02 17:43

Peter,

und was glaubst Du was ein "Engine Output" zu einer Stellung ist?
Vielleicht eine Analyse einer Engine?

Dalli Dalli
Sie sind der Meinung das war ...

Gruß
Frank

By Peter Martan Date 2011-12-02 21:32

Ich sehe schon, Frank, da sind grundlegende Definitionsunterschiede zwischen uns...

Ich konzidiere aber, es handelt sich um analysis mode output zum Unterschied von game mode output.

By Frank Quisinsky Date 2011-12-02 13:57

Hi,

der Autor wollte den Bug mit einer Version 1.1a fixen. Aber da ist auch schon eine Zeit her. Insofern könnte es sein das weitere Programmänderungen einfließen und eine neue Version entsteht. Der Grund warum ich Chiron 1.1 w32 jetzt auch teste, rein organisatorisch weil ich sonst eine getestete 64bit in der Liste habe die aber bei 32bit nicht getestet wurde. So werden meine Listen dann nicht besser. Ist ja in 4 Tagen durch ... so lange dauert das nicht.

Übrigens waren es nach 300 Partien schon 11 die korrigiert werden mussten.
Macht aber nichts, ist auch schnell gemacht wenn der Fehler bekannt ist.

Das Programm selbst gefällt mir seeeehrrrr gut!!!

Gruß
Frank

By Michael Scheidl Date 2011-12-02 15:27

Zitat:

Übrigens waren es nach 300 Partien schon 11 die korrigiert werden mussten.

Entspricht das eigentlich Deiner Testphilosophie, oder mit anderen Worten, wenn Chiron solche Partien unter diesen konkreten Bedingungen tatsächlich nicht gewinnen kann, ist dann der halbe Punkt nicht das richtige Testresultat? Es kann doch durchaus sein, daß sich User die Durchführung diverser Matts von Chiron vorführen lassen wollen. Wenn die Engine das nicht kann, ist das schon ein klares Qualitätsmanko, das sich meines Erachten durchaus in einem Rating auswirken darf. Aber ich kenne Deine genaue Testphilosophie nicht.

Betrifft das nur Wenigsteiner, also vielleicht bis Fünfsteiner, oder auch über Tbs.-Material hinaus? Ist ein Muster erkennbar, welche Art von Matts Chiron nicht abwickeln kann? Offenbar dürfte die Mehrzahl der Mattsetzungen ja doch stattfinden.

Es könnte natürlich sein daß der Fehler schon mit der nächsten (Unter-)Version bzw. mit 1.1a behoben wird, die es wenn ich richtig sehe, jedoch noch nicht gibt. Aber dann wäre das alles Schnee von gestern.

By Frank Quisinsky Date 2011-12-02 16:34

Hallo Michael,

Aufgabefaktor aus bedeutet im Grunde mehr Arbeit, mails schreiben ...
Denn hier fallen viele Fehler auf.

Normal ist die Partie ja schon lange vorher entschieden aber für interessante Matt-Statistiken lasse ich bis zum Ende spielen. Wenn dann ein Matt, wie jetzt bei Chiron in der Anzeige ist, ist die Partie entschieden, ja schon lange vor dem Matt.

281 Partien sind in der SWCR gespielt wurden die bei über +6 aber eigentlich Remis. Partie wird weitergespielt aber bei Aufgabefaktor = aus dann richtig am Ende bewertet. Warum, weil Randbauer und falscher Läufer oder 2 Springer die nicht Matt setzen können etc.. Es gibt hier viele Konstellationen. Diese Partien gehen in Ratinglisten ein und werden abgebrochen und mit Verlust gewertet.

Mit anderen Worten ...
Egal wie Du vorgehst ...

Selbst möchte ich klare Ergebnisse. Es macht keinen Sinn für jemanden der die Partien nachspielt und Buggy Partien in der Datenbank aufspührt, zumal diese zum Download angeboten wird. Partie war entschieden, also Punkt für Chiron. Lieber wäre es mir natürlich wenn der Fehler gefixt wird.

Ob ein Muster erkennbar ist. Nicht wirklich aber bei weniger Figuren. In der SWCR werden die Viersteiner eingesetzt wie das bei 5-Steiner ausschaut keine Ahnung. Aber das Problem ist nicht neu.

Jede Problemkonstellation wiederholt sich:

Engines die das gleiche Problem haben:

Ktulu 9
Junior 2010

Und bei Junior 2010 war das heftig mit Korrekturen.

Wenn aber in der SWCR z. B. mal eine Zeitüberschreitung ist (passiert oft mit dem Zug der Matt setzt) dann wird natürlich auch nur wiederholt wenn die Stellung unklar ist bzw. lasse ich eigentlich immer wiederholen wenn nicht gerade ein Matt schon in der Bewertung ist. Es ist auch schade Zeit zu verlieren durch die vielen Problemkonstellationen, gerade bei Ponder = on und gerade bei Aufgabefaktor = aus.

Ubaldo hat die ganzen korregierten Partien aus dem Chiron 1.1 x64 Test. Er hat den Fehler auch schnell gefunden aber die Zeiteinteilung war auch nicht so optimal und das wollte er sich auch in Ruhe ansehen. Es wird heit meist ohne Ponder und ohne Aufgabefaktor gespielt und die ganzen Fehler fallen nicht auf.

Gruß
Frank

By Ernest Bonnem Date 2011-12-02 19:29

[quote="Frank Quisinsky"]

Code:

49 Chiron 1.1 x64                 2823   17   17  1240   57%  2771   39% 
60 Chiron 1.1 w32                 2785   35   35   279   56%  2745   35%

Damit scheint sich ein sehr hoher 64bit Zuwachs für Chiron 1.1 abzuzeichnen.[/quote]
Nicht unwahrscheinlich!: bei einem Freund ist mit Chiron x64 1,65 schneller als w32 (infinite analysis, Grundstellung, 1 Thread)
70 * log 1,65 /log 2 = 50 Elo
Bei Dir sieht man 38 Elo...

By Simon Gros Date 2011-12-02 19:47

Das sieht ganz gut aus. Bei der CEGT sind es unter 40/20 +29 und unter 40/4 +54 zugunsten der 64Bit-Version mit einem Core.
Simon_G

By Frank Quisinsky Date 2011-12-04 19:28

Hallo Ernest,

nach meinen Berechnungen bedeutet eine Verdoppelung der Geschwindigkeit exakt bzw. nach meinen Bedingungen 56 ELO (da der Zugriff auf die TBs gleichbleibend ist bei durschchnittlicher Remisquote habe ich hier 8 ELO abgezogen). Ohne TBs wären es dann nach meinen Berechnungen 64 ELO.

Zur Zeit, habe gerade ein Zwischenergebnis gepostet, beträgt die Differenz 36 ELO.

56 * log 1,65 /log 2 = 46,2 ELO.
Ich habe den Nutzen der TBs bei meinen 56 ELO einberechnet.

ca. 1.65 kann ich bestätigen!
Würde bedeuten, dass die ELO derzeit ca. 10 Punkte nach 825 Partien zu hoch ist, oder dass die ELO der Version 1.1 x64 10 zu niedrig ist.
Mal schauen wie sich das weiter entwickelt. Aber mit Ausgaben um ca. 10 ELO kann ich sehr gut leben denn das ist auch ca. der eigene Anspruch an meine Liste.
Die Genauigkeit der ELOs sollte ca. bei 10 Punkten liegen, wobei es klar ist dass es immer mal Engines gibt die knapp drüber oder drunter liegen oder es Gründe gibt warum es zu Unterschieden kommt.

Bestes Beispiel in der SWCR ist ChessTiger.
Gegen stärkere Gegner wird bis zu 20 ELO im Durschchnitt mehr erreicht.
Kann leicht nachvollzogen werden wenn alle ChessTiger 2007 Partien nach Gegnerspielstärke aufgeteilt werden.

Viele Grüße
Frank

By Ernest Bonnem Date 2011-12-05 00:00

[quote="Frank Quisinsky"]Aber mit Ausgaben um ca. 10 ELO kann ich sehr gut leben [/quote]

By Frank Quisinsky Date 2011-12-04 19:19

Hallo,

hier mal ein Zwischenergebnis:

Code:

49 Chiron 1.1 x64                 2823   17   17  1240   57%  2771   39% 
59 Chiron 1.1 w32                 2787   21   20   825   57%  2732   35%

Leider ist am Samstag ein SWCR System total ausgefallen wegen Hardwareprobleme. Die Probleme konnten aber jetzt behoben werden. Auch sind zwei GUIs hängen geblieben. Bislang mussten 12 Partien wegen Zeitüberschreitungen wiederholt werden. Überproportional viele Zeitüberschreitungen bei Chiron aber auch das wurde dem Programmierer nach dem 1.1 x64 Test schon gemailt. Es wurden auch alle Partien wegen dem Matt Problem korrigiert, so dass die oben genannte ELO-Ausgabe den aktuellen Stand nach 825 von 1.320 zu spielenden Partien wiederspiegelt. Alles verzögert sich daher um ca. einen Tag. Das Endergebnis liegt voraussichtlich am Dienstag Abend vor.

Viele Grüße
Frank

By Frank Quisinsky Date 2011-12-05 20:20 Edited 2011-12-05 20:22

Code:

49 Chiron 1.1 x64                 2823   17   17  1240   57%  2771   39% 
64 Chiron 1.1 w32                 2779   18   18  1092   57%  2729   36%

Die Differenz beträgt nun 44 ELO. Ist also wie erwartet (siehe Beitrag von Ernest bzw. Antwort) etwas gefallen.
Natürlich wurden wieder die Zeitüberschreitungen entfernt bzw. es gab bei den letzten 150 Partien nur 4 Remis Partien die korrigiert werden mussten.

Der Spießroutenlauf läuft jetzt gemächlich nach dann 1.320 zu spielenden Partien aus.
Endergebniss folgt.

Gruß
Frank