TCEC Season 6 - Critter, Fire, Gull, wer geht in Stage 4?

By Michael Scheidl Date 2014-05-01 04:37

Critter hat es geschafft, mit einem hauchdünnen Vorsprung von 3,00 Sonneborn-Berger-Punkten:

N Engine           Rtng  Pts  Gm     SB St   Ho   Ko   Cr   Fi   Gu   Ry   Sh  

 1 Stockfish 080414 3135 21.5  28 263.75 ···· 1110 01=1 =011 ===1 =11= 1111 1111
 2 Houdini 4        3132 18.5  28 222.25 0001 ···· ==== =111 1101 1101 ===1 111=
 3 Komodo 1217      3133 18.5  28 219.50 10=0 ==== ···· =1== 1=10 ==1= =111 1111
 4 Critter 1.6a     3031 13.0  28 165.25 =100 =000 =0== ···· 1=== ==1= ==== ===1
 5 Fire 3.1         3096 13.0  28 162.25 ===0 0010 0=01 0=== ···· 01== ==1= ==11
 6 Gull A228        3021 13.0  28 156.75 =00= 0010 ==0= ==0= 10== ···· ==11 =1=1
 7 Rybka 4.1        3087 10.5  28 111.50 0000 ===0 =000 ==== ==0= ==00 ···· 1111
 8 Shredder 12      2921  4.0  28  54.75 0000 000= 0000 ===0 ==00 =0=0 0000 ····

Erstaunlich, wie unsere drei Kandidaten für Rang #4 zum Schluß ihre Pflichtergebnisse eingefahren haben, um ggfs. noch die letzte Chance auf den Aufstieg zu nutzen.

Stufe 4 wird eine Monsterschlacht, 16 Mal jeder gegen jeden!

Der Ankündigung zufolge ist eine noch größere Bandbreite von Eröffnungsvorgaben zu erwarten, z.B. inklusive Skandinavisch.

Start morgen, bzw. heute den 1.5. um 17:00 Uhr. Es herrscht Anwesenheitspflicht.

By Tom Paul Date 2014-05-01 12:57

Michael Scheidl schrieb:

Critter hat es geschafft, mit einem hauchdünnen Vorsprung von 3,00 Sonneborn-Berger-Punkten:

<code>N Engine    Rtng Pts Gm    SB St   Ho   Ko   Cr   Fi   Gu   Ry   Sh

1 Stockfish 080414 3135 21.5 28 263.75 ···· 1110 01=1 =011 ===1 =11= 1111 1111
2 Houdini 4 3132 18.5 28 222.25 0001 ···· ==== =111 1101 1101 ===1 111=
3 Komodo 1217 3133 18.5 28 219.50 10=0 ==== ···· =1== 1=10 ==1= =111 1111
4 Critter 1.6a    3031 13.0 28 165.25 =100 =000 =0== ···· 1=== ==1= ==== ===1
5 Fire 3.1    3096 13.0 28 162.25 ===0 0010 0=01 0=== ···· 01== ==1= ==11
6 Gull A228 3021 13.0 28 156.75 =00= 0010 ==0= ==0= 10== ···· ==11 =1=1
7 Rybka 4.1 3087 10.5 28 111.50 0000 ===0 =000 ==== ==0= ==00 ···· 1111
8 Shredder 12 2921 4.0 28 54.75 0000 000= 0000 ===0 ==00 =0=0 0000 ····</code>

Erstaunlich, wie unsere drei Kandidaten für Rang #4 zum Schluß ihre Pflichtergebnisse eingefahren haben, um ggfs. noch die letzte Chance auf den Aufstieg zu nutzen.

Stufe 4 wird eine Monsterschlacht, 16 Mal jeder gegen jeden!

Das ist ja gerade das Dilema, Critter hat es geschafft.
Sowohl Fire als auch Gull haben gegen die TOP 3 besser gespielt als Critter.
In Stage 4 hätten wir jetzt den um einiges stärkeren Gull 3 sehen können.
So etwas passiert eben, wenn die Bedenkzeiten zu lang sind und zu wenig Partien gespielt werden.
Dafür werden wir sehen wie Critter jetzt genauso massakriert werden wird wie Shredder zuvor.
Also nur ein Kampf der Top 3 und eben nicht mit Gull der Top 4.

By Benno Hartwig Date 2014-05-01 09:29 Edited 2014-05-01 09:37

Critter ist dabei.
Die 'großen Drei 2014' und eben Critter.
Stage 4 wird etwas mehr verraten über die relativen Spielstärken von SF, K und H.
Ich denke, es werden doch wieder K und SF dicht beeinander vorn liegen und H ein wenig hinterher hinken. Aber mal sehen. Vielleicht erleben wir ja auch doch tatsächlich einen stark dominierenden SF, wie es Stage 3 andeutete.
Und diese Stufe wird den Abstand zur 'zweiten Liga der Engines', die nun durch Critter (wohl auch wirklich ein würdiger Vertreter) repräsentiert wird, ausloten.

Ganz feine Sache, das!

Mir gefällt der TCEC-Spielmodus diesmal noch(!) besser als beim letzten Mal!

Benno

PS:
Faszinierend, wie dieses systematischen Testen und Tunen mit sehr kurzen Zeiten, wie es in der SF-Entwicklung intensiv praktiziert wird, zu einer Engine führt, die auch bei reichlichsten Ressourcen und richtig langen Zeiten einfach super ist.
Ist das, was eine Engine im Bullet stark macht, immer auch gut für Turnierschach? Es sieht danach aus!

By Dirk Triebel Date 2014-05-01 10:40

Gratulation an Critter. Erstaunlich jedoch das Critter in der letzten Saison als vorletzter und hinter Rybka ausgeschieden ist.

Vielleicht gibt es ja von H4 ein update?

Dirk

By Schachhai Date 2014-05-01 10:43

Critter ist immer noch eine sehr starke Analyseengine für´s Fernschach,
insbesondere in taktischen Stellungen, war sie bis zum letztjährigen TCEC meine Nr. 1.
Sehr schade , dass die Engine nicht mehr weiter entwickelt wird.
Bin sehr gespannt wie sie sich nun in Stage 4 gegen die 3 Topengines schlägt.

Gruß Heiko

By Patrick Götz Date 2014-05-01 10:46

Benno Hartwig schrieb:

Faszinierend, wie dieses systematischen Testen und Tunen mit sehr kurzen Zeiten, wie es in der SF-Entwicklung intensiv praktiziert wird, zu einer Engine führt, die auch bei reichlichsten Ressourcen und richtig langen Zeiten einfach super ist.
Ist das, was eine Engine im Bullet stark macht, immer auch gut für Turnierschach? Es sieht danach aus!

Ich schließe aus Stockfishs Erfolgen bei langer Bedenkzeit eigentlich eher, dass K und H mit deutlich kleineren Bedenkzeiten als Stockfish testen.
Sehr gut vorstellen könnte ich mir z.B. ein testen bei H und K mit ausschließlich etwas in der Größenordnung von 15s+0,05s pro Partie und nicht zusätzlich noch wie bei SF mit 60s+0,05s pro Partie.
Im Framework ist aber zu sehen, dass einiges, das mit 15s/P funktioniert, sich bei 60s/P negativ auswirken kann.

PS.
Interessant wäre noch eine 3 Stufe dahinter mit ca. 240s/P und der Beobachtung, ob sich auch positive 60s/P Ergebnisse bei 240s/P negativ auswirken können.

By Benno Hartwig Date 2014-05-01 11:59

> Sehr gut vorstellen könnte ich mir z.B. ein testen bei H und K mit ausschließlich etwas in der Größenordnung von 15s+0,05s pro Partie...

Über die Test-Zeiten bei K und H weiß ich nix.

H war immer als Bullet-Monster bekannt (wie schon die allerersten(!) Ippolits.). Da magst du Recht haben.
K aber wurde doch immer gelobt für seine besonder guten Ergebnisse bei langen Zeiten, oder irre ich da?
Besonders, wo K im letzten Jahr doch TCEC gewinnen konnte, hatte K doch diesen Ruf weg..

Benno

By Tom Paul Date 2014-05-01 12:45

Benno Hartwig schrieb:

PS:
Faszinierend, wie dieses systematischen Testen und Tunen mit sehr kurzen Zeiten, wie es in der SF-Entwicklung intensiv praktiziert wird, zu einer Engine führt, die auch bei reichlichsten Ressourcen und richtig langen Zeiten einfach super ist.
Ist das, was eine Engine im Bullet stark macht, immer auch gut für Turnierschach? Es sieht danach aus!

(Falsch)
Wenn eine Engine super gut Bullet spielen soll, dann muss man kürzere Bedenkzeiten beim Entwickeln/Testen/Tunen benutzen als die Bullet Bedenkzeiten.
Das gleiche gilt für Turnierschach, aber natürlich längere Bedenkzeiten als beim Bullet E/T/T.

Houdini lange Nr.1 im Bullet aber viel kürzer Nr.1 bei langen Partien.
= Super kurze Bedenkzeiten beim E/T/T, da stand auch glaube ich auf der Homepage, dass 10 Mio. Partien nötig waren.

Komodo deutlich längere Bedenkzeiten beim E/T/T, dadurch auch schon seit längerer Zeit Nr.1 bei langer Bedenkzeit, aber noch nie im Bullet.

= Während H und K jeweils auf kurze oder lange Bedenkzeiten E/T/T wurden, wird Stockfish auf beides gleichzeitig E/T/T und es wird nur das in den Code übernommen, was bei beiden Bedenkzeiten Funktioniert und nicht nur bei einer.
Stockfish ist somit eine 2 in 1 Engine und dadurch überall die neue Nr.1.

By Benno Hartwig Date 2014-05-01 14:35

> Wenn eine Engine super gut Bullet spielen soll, dann muss man kürzere Bedenkzeiten beim Entwickeln/Testen/Tunen benutzen als die Bullet Bedenkzeiten.

Warum?
OK, dass man kürzere Zeiten akzeptiert um einfach mehr Partien machen zu können, verstehe ich.
Dass man aber gezielt kürzere Zeiten nähme, weil solche Ergebnisse irgendwie aussagefähiger wären, fänd ich erstaunlich.
Warum kürzere Zeiten?

Benno

By Tom Paul Date 2014-05-01 14:47

Weil es den Profit (+ELO) maximiert, (man muss es natürlich nicht, sollte man aber), man nimmt ja auch nicht bei einer Engine die Turnierschach spielen soll Turnierschachbedenkzeiten zum E/T/T.
Bsp. Stockfish
sprt @ 15+0.05 th 1 -Deshalb spielt Stockfish super gut Bullet.
sprt @ 60+0.05 th 1 -Deshalb spielt Stockfish super gut Turnierschach.
Man kann die zwei Zeiten auch umändern, nur muss man auch einen Kompromiss schließen, weil es eben unterschiedliche Turnierschach usw. Bedenkzeiten gibt und man jetzt nicht einen Test mit 10-20 verschiedenen Bedenkzeiten E/T/T kann.

By Benno Hartwig Date 2014-05-01 17:50

> Weil es den Profit (+ELO) maximiert, (man muss es natürlich nicht, sollte man aber), man nimmt ja auch nicht bei einer Engine die Turnierschach spielen soll Turnierschachbedenkzeiten zum E/T/T.

Man nimmt kürzere Zeiten als Kompromiss zwischen Relevanz ("die eigentlich gewollten Zeiten") und Aussagekraft (große Partienzahl).
Ich sehe keinen Grund, freiwillig kürzere Zeiten aus anderen Gründen zu wählen.
Dein Posting lässt mich vermuten, du auch nicht. Richtig?

Benno

By Ernest Bonnem Date 2014-05-01 19:07 Edited 2014-05-01 19:10

Ernest Bonnem schrieb:

Code:

       Fire    1      1/2      0
Critter
1            Cri      Cri      Cri
1/2          Cri      Cri      Cri  
0            Fir      Gul      Gul

Ergebnis:

Code:

       Fire    1      1/2      0
Critter
1            ---      ---      ---
1/2          Cri      ---      ---  
0            ---      ---      ---