nTCEC Season 1 Stage 3 - 16 cores of chess fun

By Michael Scheidl Date 2013-03-28 12:44

Sensational! I root for Quazar!

By Martin Thoresen Date 2013-03-30 12:17

Now live!

http://www.tcec-chess.net/live.php
http://www.tcec-chess.net/live_wide.php

By Martin Thoresen Date 2013-04-02 18:24

Standings after 3 of 14 rounds:

Code:

N Engine           Pts   SB H K R V S H C Q 

1 Houdini 3        2.5 2.00       =   1   1 
2 Komodo 4534      2.5 1.25         =   1 1 
3 Rybka 4.1        2.0 3.00       = 1 =     
4 Vitruvius 1.19   2.0 2.25 =   =         1 
5 Stockfish 250313 1.5 1.75   = 0       1   
6 Hiarcs 14        1.0 1.25 0   =       =   
7 Chiron 1.5       0.5 0.50   0     0 =     
8 Quazar 0.4       0.0 0.00 0 0   0

Finished games: http://www.tcec-chess.net/stage_3.php

By Martin Thoresen Date 2013-04-06 10:45

.
Standings after 7 of 14 rounds:

Code:

N Engine           Pts    SB R V K S H H Q C 

1 Rybka 4.1        5.5 16.75   = = 1 1 = 1 1 
2 Vitruvius 1.19   4.5 13.75 =   1 = = 0 1 1 
3 Komodo 4534      4.5 11.75 = 0   = = 1 1 1 
4 Stockfish 250313 4.5 11.25 0 = =   = 1 1 1 
5 Houdini 3        4.5 11.25 0 = = =   1 1 1 
6 Hiarcs 14        2.5  8.25 = 1 0 0 0   = = 
7 Quazar 0.4       1.5  1.75 0 0 0 0 0 =   1 
8 Chiron 1.5       0.5  1.25 0 0 0 0 0 = 0

Finished games: http://www.tcec-chess.net/stage_3.php
.

By Michael Scheidl Date 2013-04-06 12:23

Houdini macht's schon wieder spannend!

Vitruvius erwies sich erstmals in TCEC als besiegbar (gegen Hiarcs).

Der erstaunliche Quazar 0.4, ebenso wie Komodo auf nur einem Core gegen (bis zu) 16 kämpfend, remisiert zur Stunde gerade gegen Vitruvius.

By Thomas Müller Date 2013-04-06 12:24

Komodo

unbelievable!
You are right, Komodo has a chance

By Martin Thoresen Date 2013-04-11 19:10

.
Final standings after 14 of 14 rounds:

Code:

N Engine            Pts    SB Ho St Ry Ko Vi Hi Qu Ch 

1 Houdini 3        10.0 56.50    == 01 == =1 1= 11 11 
2 Stockfish 250313 10.0 54.75 ==    0= == =1 11 11 11 
3 Rybka 4.1         9.5 55.50 10 1=    == == == 11 11 
4 Komodo 4534       9.5 54.50 == == ==    01 11 1= 11 
5 Vitruvius 1.19    7.0 38.00 =0 =0 == 10    0= 1= 11 
6 Hiarcs 14         6.0 29.00 0= 00 == 00 1=    == 11 
7 Quazar 0.4        4.0 14.25 00 00 00 0= 0= ==    11 
8 Chiron 1.5        0.0  0.00 00 00 00 00 00 00 00

Finished games: http://www.tcec-chess.net/stage_3.php

Congratulations to Houdini, Stockfish, Rybka and Komodo for qualifying for Stage 4 that will start in a few days.
.

By Michael Scheidl Date 2013-04-11 23:19

Innerhalb der Top-4 wurden 9 von 12 Partien remis; Komodo remisierte alle.

Rybka 4.1 bleibt ein Riese... Die dritte Auflage eines Superfinales Houdini-Rybka ist nicht unwahrscheinlich. Die beiden vorigen wurden jeweils von Houdini 1.5a gewonnen. - Eine noch relativ unbekannte Größe ist die jeweils aktuelle Entwicklungsversion von Stockfish. Es kann sein daß sich viele Mikro-Verbesserungen gut aufsummieren.

By Stefan Pohl Date 2013-04-12 04:41

[quote="Michael Scheidl"]
Innerhalb der Top-4 wurden 9 von 12 Partien remis; Komodo remisierte alle.

Rybka 4.1 bleibt ein Riese... Die dritte Auflage eines Superfinales Houdini-Rybka ist nicht unwahrscheinlich. Die beiden vorigen wurden jeweils von Houdini 1.5a gewonnen. - Eine noch relativ unbekannte Größe ist die jeweils aktuelle Entwicklungsversion von Stockfish. Es kann sein daß sich viele Mikro-Verbesserungen gut aufsummieren.
[/quote]

Wieso unbekannte Größe? Die Version vom 18.03. ist in der LS-Rangliste und dort 15 Elo besser als Version 2.3.1. Die bis dato im TCEC-Würfelbecherturnier benutzte Version ist etwas neuer und daher wohl knapp besser. Ein Test der neuesten Entwicklungsversion wird für die LS-Rangliste bald erfolgen. Im Moment spiele ich das LS-Top10-Tournament mit 20% der LS-Bedenkzeit (9''+0.1'') mit Hilfe von cutechess-cli neu aus (das Tempo ist selbst für die LittleBlitzerGUI zu schnell, dort gibt es timelosses von Houdini und Critter), damit ich in Zukunft Entwicklungsversionen oder Settings schon mit einem über-Nacht-Test beurteilen kann -also ob ein meßbarer Fortschritt erkennbar ist, der einen LS-Testrun, der ja immerhin 5 Tage dauert, rechtfertigt. Dazu brauche ich aber eben ein komplett ausgespieltes top10-Tournament mit dem höheren Tempo als Vergleichsbasis.
Ich überlege, ob ich die Eloergebnisse des superschnellen LS-top10-Tournaments an die Tabelle des regulären LS-top10-Tournaments auf meiner Website ranhänge. Das würde ich den WARP-Faktor nennen, damit könnte man dann gut erkennen, ob eine Engine mit weniger Bedenkzeit besser oder schlechter scort, was wiederum im Umkehrschluß ermöglichen würde, zu erkennen, ob eine Engine mit längeren Bedenkzeiten und/oder schnellerer, zukünftiger Hardware besser scoren würde.
Ist das eine gute Idee, oder haltet ihr das für Quatsch?

Gruß - Stefan

By Michael Scheidl Date 2013-04-12 10:21

Also wenn es keine zusätzliche Testarbeit bedeutet bzw. Du diese WARP-Tests ohnehin machst, spricht sicher nichts dagegen die Resultate darzustellen. - Danke für den Stockfish-Test; eine wichtige Bestätigung daß die Spielstärke tatsächlich zunimmt. Übrigens stelle ich beim internen Benchmark ("bench") von SF. fest, daß die Versionen immer länger dafür zu benötigen scheinen. 231 bei mir ca. 4 Sekunden, die letzten Dev-Versionen über 7 Sekunden?!

By Stefan Pohl Date 2013-04-12 12:09

[quote="Michael Scheidl"]
Also wenn es keine zusätzliche Testarbeit bedeutet bzw. Du diese WARP-Tests ohnehin machst, spricht sicher nichts dagegen die Resultate darzustellen. - Danke für den Stockfish-Test; eine wichtige Bestätigung daß die Spielstärke tatsächlich zunimmt. Übrigens stelle ich beim internen Benchmark ("bench") von SF. fest, daß die Versionen immer länger dafür zu benötigen scheinen. 231 bei mir ca. 4 Sekunden, die letzten Dev-Versionen über 7 Sekunden?!
[/quote]

Ja, ich denke auch, es wäre ganz gut, die Ergebnisse auch online zu stellen. Mal sehen, wie ich das Ganze darstelle/einbaue...Immer vorausgesetzt, es gab mit der cutechess-cli nicht auch diverse timelosses. Wenn das Turnier ausgespielt ist, muß ich mir erst mal die Partien diesbzgl. anschauen. Das Turnier endet voraussichtlich Montag, dann sehe ich mal weiter. Wenn alles so gelaufen ist wie geplant, kann ich dann die neueste Stockfish-development-Version mit WARP-Tempo testen und damit schnell feststellen, ob es einen meßbaren Fortschritt gegeben hat, der dann ggf. einen LS-Testrun rechtfertigt oder eben auch nicht.
Auf jeden Fall ist cutechess-cli nichts für schwache Nerven: Die Bedienung ist kryptisch und die sogenannte Dokumentation ist eine Frechheit.
Das führt mich zu der Frage, ob ich hier demnächst mal eine kurze Anleitung posten soll, wie man (mit Eröffnungsvorgabestellungen) einen Gauntlet-Testrun oder auch ein RoundRobin-Turnier mit cutechess-cli durchführt. Das ist nämlich gar nicht so einfach, dagegen ist die LittleBlitzerGUI geradezu komfortabel, und man muß einiges beachten, was man zunächst gar nicht "auf dem Schirm" hatte, besonders wenn alle Einzelwettkämpfe auch die genau gleichen Eröffnungsstellungen durchspielen sollen.
Sollten aber alle, die es interessiert schon Bescheid wissen, und nur ich bisdato ahnungslos gewesen sein, dann kann ich mir den Schreibaufwand auch schenken. Daher bitte mal ein Feedback dazu...

Gruß - Stefan

By Michael Scheidl Date 2013-04-12 12:24

Da muß ich zugeben daß ich in punkto Cutechess, LittleBlitzer oder sogar ChessGUI nicht (mehr) zur Zielgruppe gehöre...

By Stefan Pohl Date 2013-04-12 12:31

[quote="Michael Scheidl"]
Da muß ich zugeben daß ich in punkto Cutechess, LittleBlitzer oder sogar ChessGUI nicht (mehr) zur Zielgruppe gehöre...

Selbst WinBoard habe ich schon vor Jahren aufgegeben. Zeit wird immer wertvoller. Es freut mich aber wenn all diese Software andere inspiriert, und sie damit produktiv sind. Zum Beispiel bringt ja ChessGUI bei TCEC eine Superleistung für die Live-Onlinepräsentation, unentbehrlich quasi.
[/quote]

Also cutechess-cli sollte man wirklich nur benutzen, wenn die Bedenkzeiten ultrakurz sein sollen (Fischerbonus unter 150ms). Bei allen Zeiten darüber ist auf jeden Fall die LittleBlitzerGUI zu empfehlen.

Stefan

By Stefan Pohl Date 2013-04-15 10:00

[quote="Stefan Pohl"]
[quote="Michael Scheidl"]
Also wenn es keine zusätzliche Testarbeit bedeutet bzw. Du diese WARP-Tests ohnehin machst, spricht sicher nichts dagegen die Resultate darzustellen. - Danke für den Stockfish-Test; eine wichtige Bestätigung daß die Spielstärke tatsächlich zunimmt. Übrigens stelle ich beim internen Benchmark ("bench") von SF. fest, daß die Versionen immer länger dafür zu benötigen scheinen. 231 bei mir ca. 4 Sekunden, die letzten Dev-Versionen über 7 Sekunden?!
[/quote]

Ja, ich denke auch, es wäre ganz gut, die Ergebnisse auch online zu stellen. Mal sehen, wie ich das Ganze darstelle/einbaue...Immer vorausgesetzt, es gab mit der cutechess-cli nicht auch diverse timelosses. Wenn das Turnier ausgespielt ist, muß ich mir erst mal die Partien diesbzgl. anschauen. Das Turnier endet voraussichtlich Montag, dann sehe ich mal weiter. Wenn alles so gelaufen ist wie geplant, kann ich dann die neueste Stockfish-development-Version mit WARP-Tempo testen und damit schnell feststellen, ob es einen meßbaren Fortschritt gegeben hat, der dann ggf. einen LS-Testrun rechtfertigt oder eben auch nicht.
[/quote]

Hallo zusammen,

leider mußte ich feststellen, daß das Testen mit der ultrakurzen WARP-Bedenkzeit (20% der LS-Bedenkzeit, also 9''+100ms), was ja unter der LittleBlitzerGUI wegen diverser timelosses (besonders Houdini und Critter) fehlgeschlagen war, auch mit der cutechess-cli nicht zur gewünschten Stabilität geführt hat. Es waren zwar weniger timelosses (soweit ich das bei 55000 Partien überblicken kann), aber für mich als Freund hoher Ergebnisgenauigkeit dennoch zu viel. Daher habe ich diesen Versuch ad acta gelegt. Ich werde also auch in Zukunft Stockfish-Entwicklungsversionen mit 24-30 Stunden-Tests im LS-Tempo antesten (ca. 2500 Partien) und bei erfolgversprechenden Ergebnissen den Test einfach bis zum Ende durchlaufen lassen. Habe soeben einen Testrun vom allerneuesten Stockfish 130414 gestartet. Schaun mer mal, ob es in nur einem knappen Monat seit der letzten von mir getesteten Version, einen meßbaren Fortschritt gegeben hat.

Weiteres bald hier bzw. auf meine LS-Website

Stefan

By Stefan Pohl Date 2013-04-15 10:29

[quote="Stefan Pohl"]
Habe soeben einen Testrun vom allerneuesten Stockfish 130414 gestartet. Schaun mer mal, ob es in nur einem knappen Monat seit der letzten von mir getesteten Version, einen meßbaren Fortschritt gegeben hat.

[/quote]

Gerade habe ich übrigens auf der Stockfish-Testseite vorbeigeschaut, wo ja jeder mit seiner Hardware mitmachen kann. Inzwischen laufen dort Tests auf 58 (!) Cores. Das ist wirklich ein tolles Projekt (und fürs Computerschach und die Engineentwicklung eine echte Zeitenwende - so was gab es bis dato noch nie!) und wird hoffentlich Stockfish in absehbarer Zeit weiter nach vorne bringen.

http://fishtest.mzero.net/tests

Stefan

By ludwig Buergin Date 2013-04-12 10:39

Hallo Stefan

Eine klare Frage verlangt normalerweise eine ebensolche Antwort.Da jeder Schächer von Beginn seiner Schachtätigkeit mangels "Masse" mit der Ausführung längerer Partien beginnt, macht er eine Entwicklung in verschiedene Richtungen durch.Du hast Dich kurzen Partien zugewendet,während Martin Thoresen sich im Gegensatz zu Dir vorwiegend mit langen Partien beschäftigt.
Aus meiner Sicht haben beide Spiellängen Vor- und Nachteile.
Solange Dir Computerschach Spaß macht,bist Du auf dem richtigen Weg.

Gruß Ludwig

By Stefan Pohl Date 2013-04-12 12:28

[quote="ludwig Buergin"]
Hallo Stefan

Eine klare Frage verlangt normalerweise eine ebensolche Antwort.Da jeder Schächer von Beginn seiner Schachtätigkeit mangels "Masse" mit der Ausführung längerer Partien beginnt, macht er eine Entwicklung in verschiedene Richtungen durch.Du hast Dich kurzen Partien zugewendet,während Martin Thoresen sich im Gegensatz zu Dir vorwiegend mit langen Partien beschäftigt.
Aus meiner Sicht haben beide Spiellängen Vor- und Nachteile.

[/quote]

Sicher ist das so: Mit langer Bedenkzeit generiert man schachliches Niveau, mit kurzer Bedenkzeit statistisch belastbare Ergebnisse. Mein Problem mit TCEC ist nun, daß eifrig über das Abschneiden der einzelnene Engines debattiert wird, was bei der geringen Partienzahl einfach völlig sinnfrei ist, weil alle Ergebnisse reiner Zufall sind und bei einem Neustart dieser ganzen Veranstaltung genausogut umgekehrt sein könnten. Und obwohl eigentlich alle wissen (sollten), daß die Ergebnisse zufällig sind, wird dennoch - nicht vorhandene - Bedeutung hineininterpretiert. Das gleicht dann dem Bürogespräch über das neueste Zeitungshoroskop: Eigentlich weiß man ja, daß es Schwachsinn ist, aber letzte Woche hat es gestimmt...

Stefan

By Andreas Aicher Date 2013-04-12 13:49

Hallo Peter,
schlussendlich geht es doch um schachliches Neveau, bei 100.000 en Blitzpartien oder sogar noch schlimmer, Bullet produziert man doch nur Statistiken.
Wie kann man von Blitz oder Bulletpartien auf die Spielstärke einer Engine schliessen, auf Turnierstufe oder die Analysefähigkeit?
Nur Partien mit vernünftiger, nachvollziehbarer Bedenkzeit haben eine Aussagekraft auf die Analysefähigkeit einer Engine.
Was sollte eine Engine eigentlich anderes sein als ein Hilfsmittel für Schachspieler.
Das, was Du hier als Bürogespräch über das neueste Zeitungshoroskop bezeichnest ist für mich die Championsleage im Computerschach

By Stefan Pohl Date 2013-04-12 14:41 Edited 2013-04-12 14:48

[quote="Andreas Aicher"]
Hallo Peter,
schlussendlich geht es doch um schachliches Neveau, bei 100.000 en Blitzpartien oder sogar noch schlimmer, Bullet produziert man doch nur Statistiken.
[/quote]

Tja, und das ist eben einfach schlicht falsch, was sich leicht beweisen läßt:
Es gilt die Faustregel, daß eine Verdoppelung der Rechenzeit etwa 30 Elo bringt. Bei meinen LS-Ranglistenbedingungen rechnen die Engines im Schnitt ca. 1 Sekunde pro Zug auf einem rel. modernen CPU-Kern. Bis zur Turnierbedenkzeit von durchschnittlich 3 Minuten bzw. 180 Sekunden braucht man also nicht mal 8 Verdoppelungen der Bedenkzeit (8 Verdoppelungen wären schon 256 Sekunden). Aber hier kann ich meinetwegen großzügig aufrunden. Also hätte man knapp 8*30 Elo, also ca. ein Plus von 240 Elo. Nimmt man nun noch 3 weitere Verdoppelungen dazu, weil die Engines in der TCEC mit 8 Kernen rechnen, so ist man bei 11*30=330 Elo Differenz. Nun noch ein paar Ponderhits bei TCEC dazugerchnet, dann ist man bei ca. 350 Elo Differenz.
Wenn man nun animmt, daß die Engines heutzutage auf Turnierbedenkzeit und guter Hardware mindestens 3000 Elo erreichen, so hätten die Partien, die ich für die LS-Rangliste generiere, 2650 Elo schachliches Niveau. Also generiere ich statistisch relevante Ergebnisse auf einem schachlichen Niveau von Super-GMs. Und TCEC generiert ein paar Partien auf unmenschlich hohem schachlichen Niveau aber dafür ohne jede Ergebnisrelevanz.
Es sollte offensichtlich sein, was sinnvoller und nutzbringender ist, gerade wenn man menschliche Maßstäbe und menschlich nachvollziehbaren Nutzen zugrunde legt...

Stefan

By Andreas Aicher Date 2013-04-12 17:17

sorry, ich bin kein Freund von Statistiken, Statistiken sind immer genauso falsch wie richtig.
Wie ging das doch gleich,
immer wenn mein Nachbar bei meinem Fenster vorbeigeht regnet es, mein Nachbar ist also schuld daran, dass es regnet.
Ich finde einfach Bullet und Blitzpartien nicht besonders toll, da lohnt sich kein Blick in die Partien, eine Sekunde pro Zug und wenn es 4 sind dann steigt die Remisquote, dann stimmt die ganze Statistik nicht mehr.
Bei einem anderen Rechner wiederholt, kommen wahrscheinlich andere Ergebnisse heraus.
Gerhard Sonnabend hat vor kurzer Zeit darauf hingewiesen, dass die Elodifferenzen mit zunehmender Bedenkzeit kleiner werden, sogar statistisch untermauert.
Nun gut, ich will keine alte Diskussion neu aufrollen, ich war jahrelang Betatester verschiedener Engines, habe auch viele Testserien gespielt, wirkliche Verbesserungen haben sich erst in längeren Partien gezeigt.

mfG
Andreas

By Stefan Pohl Date 2013-04-13 06:31

[quote="Andreas Aicher"]

Gerhard Sonnabend hat vor kurzer Zeit darauf hingewiesen, dass die Elodifferenzen mit zunehmender Bedenkzeit kleiner werden, sogar statistisch untermauert.

[/quote]

Darauf habe ich hier bereits vor längerer Zeit hingewiesen, als ich meine LS-Rangliste auf die doppelte Bedenkzeit umgestellt habe, und zwar mit weit verläßlicheren Statistiken (weil viel mehr Partien mit den genau gleichen Gegnern+Eröffnungsvorgabestellungen). Und das ist ja auch vollkommen logisch, da die Rechentiefe und damit das schachliche Niveau ansteigt, wenn man mehr Bedenkzeit einräumt (habe ich hier gerade vor kurzem vorgerechnet). Demzufolge steigt logischerweise die Remisquote (auch das habe ich seinerzeit klar gezeigt, und das war nur möglich, weil ich so viele Partien hatte spielen lassen!) und somit ist klar, daß alle Einzelvergleiche zwischen 2 Engines näher an die 50%-Marke heranrücken, wenn mehr Bedenkzeit/Hardwarepower zur Verfügung steht. Das wiederum hat zwingend zur Folge, daß die Eloabstände in einer Rangliste zwischen dem ersten und dem letzten (und damit auch für alle Engines dazwischen) geringer werden.

Genau deshalb ist es ja sinnvoll mit möglichst kurzen Bedenkzeiten zu testen (und deshalb teste ich mit so kurzen Bedenkzeiten), weil bei langen Bedenkzeiten gilt:
a) man schafft weniger Partien in gleicher Zeit = mehr statistische Unsicherheit/Schwankungsbreite
b) die Elo-Abstände der Engines in der Liste werden geringer, dadurch wird die statistische Unsicherheit bei der Rangfolge der Engines in der Liste größer.
Und die unheilvolle Kombination aus a) und b) bedeutet dann eine erheblich geminderte Ergebnissicherheit, die umso schlimmer wird, je länger die gewählte Bedenkzeit ist (abgemildert durch ggf. mehr eingesetzte Hardware, die mehr Partien pro Zeiteinheit erlaubt). Umgekehrt wird die Wahrscheinlichkeit der Reproduzierbarkeit von Ergebnissen/Rangfolgen ansteigen, je mehr Partien zugrunde liegen, d.h. je kürzer die Bedenkzeit ist.

Stefan

By Thomas Schoenegger Date 2013-04-12 14:51

Schließe mich dir, außer der Anrede Hallo Peter (dein Statement galt doch Stefan oder?) vollkommen an.
Außerdem will Martin Thoresen ja überhaupt nicht eine aussagekräftige Rangliste mit sehr sehr langen BZ produzieren, sondern ein Spaßturnier.
Würde man jedem Event, nicht nur Computerschach, die Würfelbecher-Theorie/Turnier anheften, gäbe es keine WM,Olympiade uvm. Diese Theorie kann doch jeder Sportart zugeschrieben werden und zeigen darin ihren Reiz.
Ich verfolge dieses Event mit größerem Interesse, als so manchen Testlauf einer Engine bei Blitz/Bulletzeiten
Grüße Thomas S.

By Andreas Aicher Date 2013-04-12 22:36

Hallo Thomas,
natürlich, weiss nicht, wie Peter dahingekommen ist

Als Rangliste kann (darf) man das natürlich nicht sehen, ich sehe es als schönes Computerschachturnier mit z.T. sehr schönen Partien auf sehr hohem Niveau (aber zB wesentlich Aussagekräftiger als die offiziellen Wm`s).
Am Ende aber wie man sieht, hat es doch nichts mit Auswürfeln zu tun, ich denke die besten 4 Engines haben sich für Stage 4 qualifiziert, auch in den vergangenen Jahren war es so,
wenn ich mich recht erinnere waren es die letzten beiden Jahre Houdini und Rybka die es ins Superfinale geschafft haben.
Ich drücke diesmal Stockfish die Daumen, es bleibt spannend.

schöne Grüsse
Andreas

By Thomas Schoenegger Date 2013-04-13 14:11

wie ich auf der Tcec Seite sehe wurde Stocki wieder geupdatet auf 120413. Finde diese Dev auf dieser Seite http://abrok.eu/stockfish/ wo die aktuellen Testversionen gelistet sind, aber nicht. Die Neuesten beginnen ja alle mit 130.....
Aber Tord wird schon wissen warum. Sollte Beekay ins Finale kommen würde D.D. wohl um eine Freisetzung dieses Babys wohl nicht herumkommen (für alle MP-Enthusiasten).

By Andreas Aicher Date 2013-04-13 20:16

ich habe seit gestern eine Stockfish Mac Version 11-04-13, ich nehme an, da die Mac Versionen meist einen Tag früher erscheinen, ((so auch die 25-03-13 (bei Mac 24-03-13 64bit)), das es dieselbe Version ist, kommt wahrscheinlich daher, dass Tord auch Mac benutzt.
Komodo spielt mit der SP Version, gerade gegen Houdini, eine eher langweilige Remispartie

By Stefan Pohl Date 2013-04-15 15:23

[quote="Thomas Schoenegger"]
wie ich auf der Tcec Seite sehe wurde Stocki wieder geupdatet auf 120413. Finde diese Dev auf dieser Seite http://abrok.eu/stockfish/ wo die aktuellen Testversionen gelistet sind, aber nicht. Die Neuesten beginnen ja alle mit 130.....
Aber Tord wird schon wissen warum. Sollte Beekay ins Finale kommen würde D.D. wohl um eine Freisetzung dieses Babys wohl nicht herumkommen (für alle MP-Enthusiasten).
[/quote]

Das liegt nur daran, daß in der TCEC die Versionsnummern falsch herum sind. Die originalen Versionsnummer sind JahrMonatTag, was auch sinnvoll ist, da die sich schnell ändernden Daten hinten in der Versionsnummer auftauchen (Tage) und die sich langsam ändernden vorn (Jahr). In der TCEC wurden diese Nummern nun falsch herum angegeben (Tag vorne, Jahr hinten). Frag mich nicht warum...Wenn in der TCEC also von 120413 die Rede ist, dann ist die Version 130412 gemeint...

Stefan

By Michael Scheidl Date 2013-04-15 16:35

Die interne Versionsnummer is TT-MM-YY:

By Stefan Pohl Date 2013-04-15 20:03

[quote="Michael Scheidl"]
Die interne Versionsnummer is TT-MM-YY:

[/quote]

Das ist mir durchaus bekannt, diese EngineID wird ja z.B. von der FritzGUI verwendet. Ich bezog mich auf die Dateinamen der Development-Versionen, so wie man sie dwnloaden kann und wie sie dort auch aufglistet sind. Und dort steht das Jahr vorn, was im Sinne einer klassischen Versionshistorien-Nummerierung auch viel sinnvoller ist, denn nur so werden mehrere Versionen als Dateien in einem Ordner/Verzeichnis von Windows korrekt chronologisch sortiert, weil nur so Chronologie und alphabetische Sortierung nach dem ASCII-Code übereinstimmen. Daher habe ich das für die Tests in der LS-Rangliste beibehalten, zumal sonst nur Verwirrung entsteht, wie man ja an der Frage von Thomas sieht.

Stefan

By Thomas Schoenegger Date 2013-04-16 08:28

Danke für die Aufklärung. Hab jetzt Dank Euch die richtige Exe Datei gefunden

Thomas

By Clemens Keck Date 2013-04-12 15:29

Stefan

aus Dir ist ein ganz "schönes" Großm...L geworden seit Du Deine Hyper-Bullet_Liste machst . Das ist echt schlimm.
Du hat den Sinn schachlichen Inhalts total aus den Augen verloren.
Alles unterliegt Deiner dämlichen Statistik Zensur- nur dass die Statistik in Turnieren völlig unintressannt ist, und Turnierergebnisse Ihren eigenen Reiz haben.
Ganz zu schweigen von der guten Aufmachung der TCEC Turniere. Und die 100 - 200 Leute die im Chat online sind müssen alle was an der Waffel haben....

Clemens Keck

By Michael Scheidl Date 2013-04-12 15:47 Edited 2013-04-12 15:50

Die Zahl der Kibitze insgesamt ist noch wesentlich größer; die meisten melden sich anscheinend gar nicht für den Chat an. Seit Start der neuen Saison im Jänner bereits über 30.000 "unique visitors" und wenn ich mich recht erinnere, fast 200.000 Visits. Über die statistische (Un-)Bedeutung ist man sich im Klaren, sind doch z.B. Protector und Equinox schon in der ersten, und Critter in der zweiten Stufe ausgeschieden, andererseits Quazar zu Stufe 3 aufgestiegen.

P.S. Jemand hat sogar TCEC-Wallpapers gestaltet, für Ultrafans: http://ge.tt/4U9uipd/v/1?c

By Martin Thoresen Date 2013-04-12 19:15

Hi,

I can't understand much of this conversation other than what google translate gives me, but nTCEC is about entertainment, not statistics.

I know that theoretically any engine can win each Stage. That is what makes it fun and exciting. And the quality of the games should be interesting for people as well.

In any case, the numbers for the website since January 22nd (start of Stage 1) until April 11 (end of Stage 3) is:
Visits
195,941

Unique Visitors
33,504

Pageviews
477,651

By Michael Scheidl Date 2013-04-12 19:50

Zitat:

nTCEC is about entertainment, not statistics.

And that is exactly what it should be. A great show, and a perfect showcase of computer chess 2013!

(We have enough statistics on other computer chess sites.)

By Stefan Pohl Date 2013-04-13 05:45

[quote="Martin Thoresen"]
Hi,

I can't understand much of this conversation other than what google translate gives me, but nTCEC is about entertainment, not statistics.

I know that theoretically any engine can win each Stage. That is what makes it fun and exciting.
[/quote]

Genau das ist der Punkt. Nichts anderes habe ich gesagt und sagen wollen. Und wenn der Urheber des TCEC es selber sagt, kann man mir doch wohl keine Großm...ligkeit unterstellen, wenn ich dasselbe sage, nämlich, daß TCEC eine Computerschachshow ist. Und ich habe auch nichts gegen eine gute Show, warum auch? Mich interessiert sie nur nicht, aber das ist mein Problem.
Ich habe nur was gegen das Diskutieren nicht vorhandener Resultate (bzgl. des Abschneidens von den Engines), was eine Bedeutung in eine Show-Veranstaltung hineininterpretiert, die einfach nicht vorhanden ist. Nicht zuletzt deshalb, weil das indirekt im Umkehrschluß impliziert, daß man ernsthafte Testarbeit, die statistisch relevant ist, gar nicht braucht.
Und dann habe ich mich erdreistet, mal nachzurechnen, wie hoch das schachliche Niveau der LS-Testarbeit ist - das ja angeblich nicht vorhanden ist -und kam auf Super-GM-Niveau. Ist dieses Ausrechnen wirklich großm...lig, oder nicht doch eher das Absprechen des schachlichen Niveaus meiner Testarbeit?!? Oder das Bezeichnen meiner Testbedingungen als Hyper-Bullet, obwohl jede Engine in der LS-Rangliste im Schnitt ca. 80-90 Sekunden Rechenzeit pro Partie verbrauchen kann (und Bullet, soweit mir bekannt nur 60 Sekunden für die ganze Partie umfaßt) und ein Fischerbonus von 0.5 Sekunden Zeitnotdramen und timelosses vermeidet, was bei Bullet nicht der Fall ist?
Daher schlage ich vor, hier schauen mal einige Leute in den Spiegel, wenn sie ein "Großm...L" (Zitat!) sehen wollen.
Ich lasse Fakten und Meßdaten sprechen, nicht eine verquere Mischung aus überholten Überzeugungen, Unkenntnis, Emotionen und Schimpfwörtern. Leider gilt das nicht für alle.

Stefan

By Ralf Mueller Date 2013-04-12 16:46

Neben den anderen schon aufgeführten Punkten muss angeführt werden, dass deine Ergebnisse ausschließlich für deine (nicht zu gebrauchende) Bedenkzeit statistisch belastbar sind. Somit befriedigt das Ganze fast nur einen Selbstzweck und besitzt keinerlei Praxisrelevanz.

By Michael Scheidl Date 2013-04-12 17:59

Ein etwas zu hartes Urteil wie ich finde, steht doch der Beweis aus daß bzw. ob die LS-Ratings signifikant von sonstigen Blitz- und Langzeitratings abweichen. Allerdings, um das gut beurteilen zu können müßte Stefan m.E. mehr "schwächere" Engines (und weniger Ippoliten) einbeziehen, z.B. die IPON-Top 20. Dann könnte man vergleichen und sehen was wieviel abweicht. Mein Bauchgefühl spricht dafür daß gar nichts signifikant abweicht, aber wer weiß...

(Es ist leicht Ratschläge zu geben wenn man sich selber nicht die Arbeit zu machen braucht

)

By Stefan Pohl Date 2013-04-13 06:11

[quote="Michael Scheidl"]
Ein etwas zu hartes Urteil wie ich finde, steht doch der Beweis aus daß bzw. ob die LS-Ratings signifikant von sonstigen Blitz- und Langzeitratings abweichen. Allerdings, um das gut beurteilen zu können müßte Stefan m.E. mehr "schwächere" Engines (und weniger Ippoliten) einbeziehen, z.B. die IPON-Top 20. Dann könnte man vergleichen und sehen was wieviel abweicht. Mein Bauchgefühl spricht dafür daß gar nichts signifikant abweicht, aber wer weiß...

(Es ist leicht Ratschläge zu geben wenn man sich selber nicht die Arbeit zu machen braucht

)
[/quote]

Hi Michael,

Wie ich hier schon mehrfach auseinandergesetzt habe, ist die Gegnerbandbreite im IPON Top 20 mit fast 380 Elo m.E. deutlich zu groß, um Verzerrungen der Ergebnisse in den Einzelbegegnungen zu vermeiden. Hier müßte man ein 2-Ligensystem einführen, um unverzerrte Ergebnisse zu bekommen. Dafür allerdings fehlen mir die nötige Hardware und auch das Interesse - mich interessiert nun mal primär der Top-Level. Und ich habe zum Testen nur ein einsames 4-Core-Notebook (auch aus Stromverbrauchsgründen!). Und deutlich mehr Geld in mehr Hardware, in mehr Strom und für den Ankauf mittelmäßgier bis untermittelmäßiger kommerzieller Engines wie Fritz, Shredder, Hiarcs, Chiron zu investieren möchte ich eigentlich nicht, weil mir wie gesagt eben auch das Interesse für die mittleren und unteren Spielstärke-Regionen fehlt und - wenn ich mir so das Posting-Niveau vieler Leute hier ansehe (du bist ausdrücklich nicht gemeint!) - habe ich auch keine Lust für diese Community so viel Geld rauszuschmeißen...Die LS-Rangliste führe ich primär aus Eigeninteresse und aus der Erkenntnis heraus, daß alle anderen Listen mehr oder weniger mangelhafte Testbedingungen haben. Ich stelle sie nur online, damit diejenigen, die eine statistisch vernünftige Testarbeit interessiert, sie nicht selber machen müssen - so wie ich.
Daher wirst du wohl mit der LS-Rangliste, so wie sie ist, weiterhin leben müssen...Aber ich hoffe, demnächst den bereits skizzierten WARP-Faktor einführen zu können (versprechen kann ich das noch nicht, ich muß erst mal die Partien auf timelosses checken, wenn der Erstdurchlauf abgeschlossen ist), der dann Rückschlüsse auf das Abschneiden der Top-Engines mit mehr Rechenzeit als in der LS-Rangliste im Umkehrschluß erlauben wird. Auch das erhöht nochmals den Gesamt-Testaufwand, weil ich in Zukunft neben dem normalen LS-Testrun einer neuen Engine/Version, der 5 Tage dauert, noch den WARP-Testrun machen muß, der auch noch mal 24 Stunden dauert. Kommende Woche dazu mehr, hier im Forum.

Gruß - Stefan

By Andreas Aicher Date 2013-04-13 15:34

hast Du Dir schon mal überlegt, wie das wirkt im Zusammenhang mit Hiarcs, Shredder Fritz von mittelmässiger oder sogar untermittelmässiger kommerzieller Engines zu sprechen, ich finde das geht haarscharf einer einer Beleidigung vorbei, ist auch schlichtweg falsch.
Anstattdessen testest Du Engines, von der ich bei einer ganz sicher weiss, dass sie vom Clone von dem sie geclont wirde nur in einer Winzigkeit geändert wurde, das wurde im Chat von denjenigen selbst zugegeben

By Stefan Pohl Date 2013-04-14 12:03

[quote="Andreas Aicher"]
hast Du Dir schon mal überlegt, wie das wirkt im Zusammenhang mit Hiarcs, Shredder Fritz von mittelmässiger oder sogar untermittelmässiger kommerzieller Engines zu sprechen, ich finde das geht haarscharf einer einer Beleidigung vorbei, ist auch schlichtweg falsch.

[/quote]

Ach ja? 250 Elo hinter der Spitze (IPON) und sogar 130-150 Elo hinter der besten OpenSource-Engine (Stockfish) (letzteres besonders peinlich - wenn einem als Autor schon nix mehr einfällt, könnte man sich ja mal dort inspirieren lassen) ist m.E. nicht mal mehr mittelmäßig und dafür noch Geld zu verlangen ist dann wirklich dreist. Und ich bin nicht bereit für solche "Leistungen" Geld auszugeben. Sicher war Shredder mal Spitze, auch Hiarcs und auch Fritz, aber inzwischen ist die Spitze meilenweit weg und die OpenSource-Engine Stockfish sogar auch, ebenso Ivanhoe - ebenfalls OpenSource.
Ich kaufe auch nicht das Office-Paket solange OpenOffice mir alles bietet, was ich brauche und eine Engine sollte ergo schon wenigstens eine Spielstärke bieten, die im Dunstkreis der Spitze und zumindest in der Nähe der besten OpenSource-Engine ist, wenn man beabsichtigt, von den Leuten ihr sauer verdientes Geld zu bekommen. Daß diese Engines mal Spitze waren, kann ja wohl kaum im hier und heute ein Kaufgrund sein und die GUIs von Shredder und Hiarcs brauch ich nicht. Nur die von Fritz, und da habe ich auch Fritz13 gekauft (allerdings benutze ich die Engine nie). Also kauf ich diese Engines nicht. Anders sieht es z.B. beim iOS aus: Für mein iPad mini habe ich mir Shredder, Chess Tiger und Hiarcs gekauft, weil es da nicht viel gratis gibt, was was taugt (nur Stockfish). Da kann man dann auch Geld verlangen und das gebe ich dann auch gerne aus.
Aber auf dem PC zählt primär die Spielstärke und da ist der Zug für die Veteranen im Moment weit, weit abgefahren. Auf diese Tatsache (in der IPON sind diese Engines nun mal mittelmäßig bis untermittelmäßig) hinzuweisen ist keine Beleidigung. Eher, für solche Engines heutzutage noch Geld (und zwar viel Geld) zu verlangen. Sollten die Autoren mal wieder eine Version zustandebringen, die von der Spielstärke her wenigstens halbwegs brauchbar ist, kaufe ich sie mir gerne und sofort.

Stefan

By Kurt Utzinger Date 2013-04-14 12:14

... und ein User, der sich nicht mit Engine-/Engine-Matches beschäftigt, braucht
nicht mal eine kommerzielle GUI, genügen da doch Arena und SCID vollauf, letztere
für solche, die auch noch eine gute Datenbank haben wollen.
Mfg
Kurt

By Stefan Pohl Date 2013-04-14 12:25

[quote="Kurt Utzinger"]
... und ein User, der sich nicht mit Engine-/Engine-Matches beschäftigt, braucht
nicht mal eine kommerzielle GUI, genügen da doch Arena und SCID vollauf, letztere
für solche, die auch noch eine gute Datenbank haben wollen.
Mfg
Kurt
[/quote]

Hallo Kurt,

Völlig korrekt. Würde ich nicht die LS-Rangliste führen, hätte ich mir nur Houdini zugelegt und das wärs gewesen. Die FritzGUI nutze ich halt für meine Datenbank-Operationen und um auf playchess mal im Maschinenraum mit Stockfish und meinem Notebook richtig einen auf die Mütze zu kriegen - das geht nun mal nur mit der FritzGUI...Leider, denn mit jedem neuen "Update" kommen z.Zt. neue Bugs dazu. Das ist auch echt dreist von Chessbase und ärgerlich für den zahlenden Kunden. Daß die altbekannten Bugs, die schon seit Jahren in der GUI vorhanden sind, irgendwann mal behoben werden, glaube ich schon längst nicht mehr.

Gruß - Stefan

By Ralf Mueller Date 2013-04-14 12:51

Zitat:

Ich kaufe auch nicht das Office-Paket solange OpenOffice mir alles bietet, was ich brauche und eine Engine sollte ergo schon wenigstens eine Spielstärke bieten, die im Dunstkreis der Spitze und zumindest in der Nähe der besten OpenSource-Engine ist, wenn man beabsichtigt, von den Leuten ihr sauer verdientes Geld zu bekommen.

Wozu braucht man denn bitteschön als Schachspieler eine Engine mit 3100 Computerelo?

Verantwortungsvolle Autoren wie S. Meyer-Kahlen steigen bewusst, glücklicher- und mutigerweise nicht in das völlig absurde Rennen der elogeilen Computerschächer ein, sondern setzen ihre Energie in Features, die Amateurschachspieler auch wirklich brauchen, wie zum Beispiel eine sinnvolle Spielstärkedrosselung, die die Engine zu einem sinnvollen Sparringspartner macht.
Zu Langzeitanalysen und als Sparringspartner spielt es für mich überhaupt keine Rolle, ob eine Engine auf irgendwelchen Blitzranglisten 2831 Elo oder 3082 Elo hat. Da sind andere Faktoren viel entscheidender, wie gute Trainings- und Analysefeatures.

Ich nehme auch sehr gerne Engines, die auf 2500-Niveau liegen - was soll's? Worin liegt der Unterschied für mich? Gute Ideen in der Vorbereitung kann ich auch damit finden, außerdem macht es mehr Spaß, dagegen zu spielen (bei einem schönen Spielstil), man bekommt unter Umständen bessere Funktionen usw.

Ich finde es ganz schön aufgeblasen, zu fordern, alle Autoren, die versuchen, einen distinktiven, qualitativen Weg fernab von Cloning und Ranglisten zu finden, bitteschön umsonst arbeiten sollen.

Wozu benutzt du denn deine Engine(s) (außer irgendwelche Ranglisten auszuspielen)?

By Andreas Aicher Date 2013-04-14 13:01

es ging doch v.a. um deine Wortwahl, man muss es nicht so ausdrücken, dass es andere als Beleidigung empfinden, wie zB ich und vielleicht andere, die eine etwas andere Erziehung genossen haben und die solche Wortwahl erschrickt.
Gut, ein Fritz Fan war ich nie, auch nicht, als Fritz zu den stärksten Engines gehörten, aber man braucht sie als gebildeter Mensch nicht unbedingt Unterdurchschnittlich zu nennen, ich glaube nicht dass das angemessen ist sondern einfach unhöflich, hat was mit Umgangsformen zu tun, wenn man sie nicht hat, sieht man ja an dir, versteht man das gar nicht.
Bei Hiarcs hast Du wirklich keine Ahnung, wenn Du nur die Liste anschaust und siehst aha so und soviel Elo hinter, Mittelmass, Du hast glaube ich von Schach und Analyse keine Ahnung, beschäftigst Dich wahrscheinlich gar nicht damit.
Junior zb wirst Du gar nicht kennen und wird Dir fremd sein, wie interessant Schach sein kann, zumindest manchmal, wenn Du mit Junior analysierst.
Bei Engine - Engine Matches mit ca 1 Sec pro zug, bleibt einem das wesentliche verborgen.
Dir ist auch nicht klar, dass man nur wissen kann, wie eine Engine auf Turnierstufe spielt, wenn man sie auch auf Turnierstufe spielen lässt, alles andere ist Kaffeesatzleserei

By Ralph Mueller Date 2013-04-13 12:37

Unterschiedliche Bedingungen führen immer zu unterschiedlichen Ergebnissen.
Es wäre zwar schön, wenn es nicht so wäre, aber daran lässt sich nichts ändern. Unter Umständen können Stefans Ergebnisse Fingerzeige geben, aber statistisch belastbar für längere Bedenkzeiten sind sie deswegen noch lange nicht.

Wir sollten uns nicht von dieser falschen Hoffnung trügen lassen, es könnte ja doch irgendwie sein sein, dass die Ergebnisse den mit längeren Bedenkzeiten recht ähnlich sind (oder nicht signifikant abweichen, wie du es schreibst).

By Michael Scheidl Date 2013-04-13 15:56

Ja richtig, ich bin mir auch in dem Punkt überhaupt nicht sicher.

Viele Tester sind so bewundernswert fleißig und drücken mit großen Partienzahlen die statistischen Errormargins auf möglichst geringe Werte. - Ich persönlich könnte auch mit einer etwas größeren Unsicherheit leben. Denselben Gedanken wende ich dann halt auch auf das Verhältnis zwischen ultrakurzen und eher "normalen" Bedenkzeiten an.

By Stefan Pohl Date 2013-04-14 12:37

[quote="Michael Scheidl"]

Viele Tester sind so bewundernswert fleißig und drücken mit großen Partienzahlen die statistischen Errormargins auf möglichst geringe Werte. - Ich persönlich könnte auch mit einer etwas größeren Unsicherheit leben.
[/quote]

Ach? Und was ist z.B. mit der neuesten Stockfish-Entwicklungsversion? Da hast du gerade erst selbst gepostet, daß mein LS-Ranglistentest eine wichtige Bestätigung sei, daß die Spielstärke von Stocki zunimmt. Solch eine Bestätigung setzt voraus, daß man eine solche Steigerung überhaupt statistisch nachweisen kann und das geht in diesem konkreten Fall nur mit der unerreicht genauen LS-Rangliste:
Die Stocki-Entwicklungsversion liegt bei mir +15 Elo zur V2.3.1. Da sich bei solchen Engine-Versions-Spielstärkevergleichen die Errorbars beider betrachteten Versionen addieren, braucht man eine so kleine Errorbar, um bei +15 Elo überhaupt eine Steigerung nachweisen zu können (2* Errorbar von +/-5 = 10 Elo Unsicherheitsbereich). Ich glaube daher nicht, daß man da mit einer "etwas größeren Unsicherheit leben" könnte. Denn dann (z.B. bei IPON-Bedingungen mit Errorbar +/-10*2=20 Elo Unsicherheitsbereich) wäre die Spielstärkesteigerung nämlich gar nicht mehr nachweisbar und könnte ein statistischer Ausreißer sein...

Stefan

By Ralf Mueller Date 2013-04-14 12:59

Und was bringt es für dich als Computerschächler (nicht Entwickler!) zu wissen, dass die neue Stockfishversion auf einer Blitzrangliste ca. 15 Pünktchen besser ist als die ältere Version? Macht das irgendeinen nennenswerten Unterschied?

Versteh mich nicht falsch, sicher kann die Spielstärke

Zitat:

einer von vielen

wichtigen Faktoren sein, aber daraus irgendetwas abzuleiten und sich darüber zu freuen, dass man feststellen kann, dass unter Blitzbedingungen eine Version zu hoher Wahrscheinlichkeit (bewiesen ist damit nichts) wenige Punkte besser ist als eine andere, finde ich unsinnig. Einfach Energie in falsche Kanäle gesteckt, aber ich verstehe, dass es, einmal angefangen, nicht leicht ist, das einzusehen...

By Stefan Pohl Date 2013-04-15 10:08

[quote="Ralf Mueller"]
aber ich verstehe, dass es, einmal angefangen, nicht leicht ist, das einzusehen...
[/quote]

Ich bezweifle ernsthaft, daß du irgendetwas von dem verstehst, was echte Computerschächer (nicht Schachspieler, die Computer für Analysen benutzen!) wie mich antreibt. Wobei ich fairerweise zugestehe, daß ich es auch selber nur schwer (anderen) erklären kann. Wichtiger erster Schritt ist aber, einzusehen, daß das Computerschach den menschlichen Bezugsrahmen und die Nützlichkeit für Menschen, die Schach spielen, in der Spitze längst verlassen hat und daß ich das modernen Computerschach eben nicht vom anthropozentrischen Standpunkt aus, sondern als Selbstzweck betrachte. Wenn ich doch mal selber wieder Lust auf (menschlich sinnvolles und nachvollziehbares) Computerschach bekomme, dann setze ich mich lieber vor einen meiner 25 alten Brettcomputer und spiele gegen ihn (was auch meist in die Hose geht) und nicht vor meine PCs.

Stefan

By Ralf Mueller Date 2013-04-15 11:54

Dein Statement liest sich so, als ob du einräumst, dass es eigentlich sinnlos was du machst, aber du eben Spaß daran hast. Sehe ich das richtig?!

Dagegen habe ich bei Weitem auch nichts, aber dann versteh ich nicht die selbstgerechte Art, wie du Engines, die nicht diesen Selbstzweck erfüllen, als "peinlich" bewertest und davon sprichst, dass deine statistischen Daten Relevanz haben?

Allgemein die Arroganz, mit der du hier auftrittst und eben zum Beispiel mich als "unechten Computerschächer" (klingt so wie "das ist mein Hobby und nicht deins") abklassifizierst, weil ich mich an dem Inhalt der Engines anstatt an ihren oberflächlichen Daten erfreue. Du setzt "echte Computerschächer" mit Ranglistenausspieler bzw. mit dir gleich. Was sind denn "echte Filmliebhaber" - Leute, die die Box-Office-Ergebnisse messen oder Leute, die sich die Filme anschauen, lieben, sich an ihrem Inhalt erfreuen?