SWCR CL-2011: Rybka 4 so gut wie draußen ...

By Frank Quisinsky Date 2011-02-03 08:00 Edited 2011-02-03 08:08

Hallo zusammen,

möchte mal wissen was da beim Release von Rybka 4 getestet wurde?
Mattführungen ohne TBs zu testen macht im Grunde fast jeder Tester.

Und das bei über 1.000 Beta Versionen vor dem Release von Rybka 4, sofern ich den ChessBase Newsletter richtig in Erinnerung habe, getestet wurden.

Vielleicht sollten das Rybka Team mal ein paar professionelle Tester eine Engine überprüfen lassen!
Das kann auch nicht an den Exp. Settings liegen, glaube ich nicht!
Auch keine Lust das selbst zu testen, so sehr interessiert mich die Engine nun auch wieder nicht.

Hart geschrieben aber bei einer professionellen Engine sollte das nicht passieren bzw. wenn dann hätte ein solcher Bug schon längst gefixt werden müssen.

Gruß
Frank

By Frank Quisinsky Date 2011-02-03 08:10 Edited 2011-02-03 08:13

allo,

gerade die 44 Partien der Runde 3 Gruppe 14 überprüft.
Ich komme derzeit auch kaum dazu das Turnier selbst Live zu verfolgen!

Das Ausscheiden von Rybka 4 ist verdient, denn wer in einer Partie mit KD gegen KT nicht gewinnen kann obwohl Matt schon gefunden war ist es selbst schuld. Das waren zwei verschenkte Punkte und mit diesen Punkten wäre Rybka 4 nicht auf Platz 3 sondern auf Platz 1.

Stand derzeit:
IvanHoe 32 Punkte
Critter 31.5 Punkte
Rybka 31 Punkte
Shredder 17 Punkte

Die Mattführung ohne Table-Bases ist eh eine einzige Katastrophe bei Rybka 4 und insofern ist das Ausscheiden auch verdient.

Die 44 Partien stehen auch in der Replay-Zone.
Wer will kann sich das Rybka 4 Dilemma ja mal ansehen, Remis nach 155 Zügen obwohl Matt schon angezeigt!
Also ein Bug war eher ausschlaggebend dafür das Rybka 4 ausgeschieden ist!

SWCR Champions-League 2011
http://www.amateurschach.de/swcr/_swcr-champions-league-2011-2.htm

Rybka 4 ist also verdient ausgeschieden bzw. spielt verdient nur im kleinen Finale.
Eine ehemalige Nummer 1 sollte auch ohne TableBases mit KD gegen KT auch Matt setzen können!

Schon fast wie bei Stockfish 2.0.1 JA x64.
Stockfish kann offenbar auch nicht Matt setzen mit KLS - K und verlor einen halben Punkt in einer der Vorrunden.

Gruß
Frank

Jetzt habe ich meinen zweiten Beitrag editiert für den dritten ...
Hier der eigentliche zweite Beitrag.

Also der zweite ist der dritte und der dritte ist der zweite Beitrag.
Mein Durcheinander beim Schreiben passt so richtig schön ins Rybka Bild.

By Frank Quisinsky Date 2011-02-03 08:19 Edited 2011-02-03 08:23

Hi,

erinnere mich noch an Spark 0.3. Spark 0.3 lies sich mit KS - KT Matt setzen.
Das schrieb ich Allard der das kaum glauben konnte und das Problem wurde glaube ich mit der 0.4 gefixt.
Ktulu ist auch so ein Experte ... ist ja wirklich ein Endspiel-Experte aber mit KS - KT läßt sich Ktulu auch gerne Matt setzen.

Nun ja ...
Dafür wird auch ohne TBs gespielt damit die Fehler auffallen.
Dennoch, bei einer kommerziellen Engine wie Rybka und den vielen Testern sollte das einfach nicht passieren!

Gruß
Frank

Ärgere mich auch ein wenig.
Hätte gerne die TOP-4 der SWCR auch im Finale gehabt.
Egal, Critter spielt eh schöneres Schach als Rybka und insofern jetzt mal schauen zu was die SWCR Nummer 5 Critter im Finale fähig ist. Glaube bei den 4 offenen Partien wird es auch nicht mehr zu einer Verschiebung der Punktsituation kommen.

Und bei den beiden noch laufenden Rybka Partien steht Rybka jetzt 2x auf über -2.
Verliert Rybka die beiden Partien auch noch wird der Ausgang der Gruppe auch noch nicht mal mehr knapp werden.

By Kurt Utzinger Date 2011-02-03 08:58

[quote="Frank Quisinsky"]
allo,

gerade die 44 Partien der Runde 3 Gruppe 14 überprüft.
Ich komme derzeit auch kaum dazu das Turnier selbst Live zu verfolgen!

Das Ausscheiden von Rybka 4 ist verdient, denn wer in einer Partie mit KD gegen KT nicht gewinnen kann obwohl Matt schon gefunden war ist es selbst schuld. Das waren zwei verschenkte Punkte
[...]
[/quote]

Hallo Frank
Nach meiner Berechnung waren das zwei verschenkte halbe Punkte, somit
also total ein Punkt und nicht zwei Punkte.
Mfg
Kurt

By Frank Quisinsky Date 2011-02-03 09:11 Edited 2011-02-03 09:14

Hi Kurt,

Fußball-Punkte System:
Für einen Sieg drei Punkte, für ein Remis einen Punkt.

Gegen Shredder also durch diesen Bug nur 1 Punkt anstatt 3 Punkte.
Somit hätte Shredder 12 1 Punkt weniger (spielt jetzt keine Rolle) und Rybka 4 hätte 2 Punkte mehr.
Mit zwei Punkten mehr würde es dann so aussehen:

01. Rybka 4, 33 aus 22 Partien
02. IvanHoe B49jA, 32 aus 22 Partien
03. Critter 0.90, 31,5 aus 22 Partien
04. Shredder 12, 16 aus 22 Partien

Schauen wir mal auf die noch 4 laufenden Partien ...

Derzeit sieht es so aus

01. IvanHoe B49jA, 32 aus 22 Partien
02. Critter 0.90, 31,5 aus 22 Partien
03. Rybka 4, 31 aus 22 Partien
04. Shredder 12, 17 aus 22 Partien

Offene Partie 1:
IvanHoe - Shredder, denke zu 90% Remis
Offene Partie 2:
IvanHoe - Rybka, denke zu 85% gewonnen für IvanHoe, IvanHoe jetzt bei +3.5, Rybka bei - 3.0
Offene Partie 3:
Critter - Shredder, denke zu 100% Remis ... könnte gleich enden beide bei 0,00 schon länger
Offene Partie 4:
Critter - Rybka, denke zu 70% gewonnen für Critter, Critter jetzt schon ei +2.83 dennoch kleine Remis-Chancen für Rybka

Gehen wir mal davon aus das Rybka die letzten beiden Partien verliert dann hätten wir folgendes Endergebnis:

01. IvanHoe B49jA, 36 Punkte aus 24 Partien
02. Critter 0.90, 35,5 Punkte aus 24 Partien
03. Rybka 4, 31.0 Punkte aus 24 Partien (spielen dann auch die 1.5 PMPS Punkte von Critter 0.90 keine Rolle mehr)
04. Shredder 12, 19.0 Punkte aus 24 Partien

Also, die 2 verschenkten Punkte gegen Shredder würden also auch keine Rolle mehr spielen.
Selbst wenn die nicht verschenkt wären hätte Rybka dann 33.0 und Critter auch ohne PMPS 1.5 Punkte würde auf 34.0 Punkte kommen.

Mal schauen wie speziell die Partie Critter gegen Rybka ausgeht.
Rybka muss kämpfen mit Turm gegen SL wobei Critter auch noch einen Freibauern hat der aber erst jetzt so langsam in Bewegung kommt.

Gruß
Frank

By Frank Quisinsky Date 2011-02-03 09:25 Edited 2011-02-03 09:31

Und nach der normalen Wertung, bei dem Stand der Dinge der vier offenen Partien hätten wir dann ...

1. IvanHoe 14.5 aus 24
2. Critter 13.5 aus 24
3. Rybka 12.0 aus 24
4. Shredder 8.0 aus 24

Überhaupt hat die Fußballwertung in keiner der bisherigen 14 der gespielten 16 Gruppen die Ergebnisse bzw. die Rangfolge verändert.
Das hätte ich mir auch sparen können.

Auch die eingeführte PMPS Wertung hat nicht ein Gruppenergebnis beeinflusst.
Hätte ich mir auch sparen können, allerdings wurde im Verlauf alles etwas spannender!

Nach der normalen Wertung wäre auch alles so gelaufen wie es bislang gelaufen ist.

Selbst wenn Rybka den vollen Punkt in der Partie gegen Shredder geholt hätte ... wäre es dann zu folgendem Ergebnis nach der normalen Wertung gekommen:

1. IvanHoe 14.5 aus 24
2. Critter 13.5 aus 24
3. Rybka 12.5 aus 24
4. Shredder 7.5 aus 24

Gruß
Frank

By Frank Quisinsky Date 2011-02-03 10:13

Hallo zusammen,

also Critter - Shredder war ja klar, Partie endete Remis.
Critter -IvanHoe kann noch etwas dauern aber eigentlich auch klar ... wird Remis ausgehen.

Und die beiden laufenden Rybka Partien sind nun auch klar.
Beide Partien wird Rybka verlieren, in einer - 5 in der anderen - 6.

Wird noch etwas dauern bis die Partien zu Ende gelaufen sind.
Damit steht fest, Rybka steht nicht im Finale!

Gruß
Frank

By Rudolf Rohs Date 2011-02-03 11:34

Hallo Frank,

prima, dein Turnier ist eine Superbestätigung das Settings nur auf kurze Zeit oder gegen deutlich schwächere
Engines taugen. Der "schwächliche" Shredder wurde von dem Rybka-Setting am deutlichsten bezwungen. Hier
holte es einen Vorsprung gegenüber Ivanhoe und Critter raus.

Der "Hauruckstil" reichte aber nicht mehr für die "starken" Engines Ivanhoe und Critter. Hier wurde das Setting aus-
gekontert und verlor. Da das Setting hier zwei Drittel starke Gegner hatte reichte es nicht mehr zum Finale

Deine Testreihe belegt dies sehr schön.
Elo 3144 in der "leichten" Startgruppe
Elo 2969 in der viel stärkeren zweiten Runde
Elo 2894 in der Hammergruppe der dritten Runde

im jetzt wieder einfacheren kleinen Finale dürfte die Settingbewertung jetzt wieder etwas ansteigen.

Gruß

Rudolf

By Frank Quisinsky Date 2011-02-03 13:10 Edited 2011-02-03 13:12

Hallo Rudolf,

ja genau, stimmt !!
Zunächst gar nicht daran gedacht, völlig richtig !!

Es besteht auch der Verdacht, dass Houdini oder Rybka mit mehr Zeit generell an Spielstärke verlieren. Dachte ich mir bei Vergleichen Blitz / mittlere Bedenkzeit auch schon oft. Schaue Dir mal die Houdini Performance an. Um das besser zu beurteilen brauchen wir aber noch die Ergebnisse der Runde 4 bzw. haben dann hierzu noch ein paar Anhaltspunkte mehr.

Den Performance Vergleich habe ich gerade in die News 145 gepackt.

Gruß
Frank

By Klaus S. Date 2011-02-03 13:42 Edited 2011-02-03 13:44

Hallo Frank,

News 145

Code:

11.5/24 48% 2.866 ELO, SWCR Platz 06. 2.834 ELO = + 68 ELO

+68 ?? eher +32 Elo !!

Gruß
Wilfried

By Frank Quisinsky Date 2011-02-03 14:40

Hallo Wilfried,

ups, direkt berechtigt.
Schön das Du ein wenig mit aufpasst.

DANKE

Gruß
Frank

By Frank Quisinsky Date 2011-02-03 15:03

Hallo zusammen,

so, die letzte Partie ging noch weit über 100 Züge.
Die Partien sind nun komplett und im Download File.

Somit derzeit 480 von 672 Turnierpartien, 40 Züge in 150 Minuten absolviert.
Daten sind Online.

Runde 4 Gruppe 15 (kleines Finale)
ist im vollen Gange!

Gruß
Frank

By Horst SChybulla Date 2011-02-03 13:19

Lieber Frank

Bei einem so kurzrundigen Turnier mit so wenigen PArtien kann alles passieren, sogar ein Endsieg von Colossus 2008b.
Das solltst du selber eigentlich auch wissen nech wahr?

Gruss

By Paul Aner Date 2011-02-03 14:20

Ne, das glaub ich jetzt wirklich nicht mehr. Könntest Du diese Aussage auch begründen?
Colossus 2008b Turniersieger???

Ich bin jetzt mal ganz entspannt auf die Antwort!

Schachmatt!!!

Paul Aner

By Frank Quisinsky Date 2011-02-03 15:13 Edited 2011-02-03 15:17

Hallo Horst,

mal die Wahrscheinlichkeit grob berechnet.
Das eine Engine, die ca. auf maximal 2.500 SWCR ELO kommen würde dieses Turnier gewonnen hätte, bzw. sich durch 3 Gruppen bei 24 Partien in Gruppe 2 und 24 Partien in Gruppe 3 gewurschtelt hätte, liegt bei 1: über einer Milliarde. Wäre vielleicht noch möglich bei den 12 Partien der Gruppe 1 mit über 200 ELO weniger als der Turnierdurchschnitt die Runde 2 zu erreichen. Aber dann mit durchschnittlich 350 ELO weniger Turnierdurchschnitt bei je 24 zu spielenden Partien die Runde 2 zu erreichen liegt schon bei 1: mehreren Hunderttausend. Dann die Runde 3 zu erreichen, mit Einberechnung Runde 2 und wurde erreicht, mehrere Millionen und fast bei 1: Einer Milliarde die Runde 4 überhaupt zu erreichen. Dann noch das Turnier zu gewinnen bei verdoppelter Anzahl der Partien, also jetzt 48 wow ... so viele Nullen!

Muss das mal genau errechnen lassen bzw. mal nachsehen was wahrscheinlicher ist ...
Eine Sechser im Lotto oder Colossus gewinnt die SWCR Champions-League 2011.
Wäre in der Tat mal eine interessante Frage

Gruß
Frank

By Paul Aner Date 2011-02-03 15:39

Hallo Frank,

wenn du 4 Partien pro Tag schaffst, wie viele Jahre müsstest du dann spielen lassen?
Glaube mal dass du das Turnierende nicht erleben würdest!

Paul Aner

By Frank Quisinsky Date 2011-02-03 15:53 Edited 2011-02-03 15:58

Hi,

jetzt kommt bestimmt die Frage ...
Wie hat er das berechnet

Ist im Grunde aufgrund meiner SWCR Statistik Tabellen recht einfach. Wobei ich aber nicht mit einbezogen habe, dass hier in 4 Gruppen gespielt wurde bzw. sich die Anzahl der Partien von Gruppe zu Gruppe gesteigert hat. Benno könnte das ja mal ausrechnen, denke er kennt sich mit den Wahrscheinlichkeitsberechnungen besser aus. Bin da eher hobbymäßig mit Wahrscheinlichkeitsberechnungen unterwegs.

Aber, einfach deswegen weil ...
Nehmen wir mal Colussus und setzen die Engine auf 2.500 ELO, wobei nach der CEGT eher 2.475 anzusetzen wären (sofern ich das auf SWCR Ergebnisse runterrechne), egal ...

Wie wahrscheinlich es ist, dass nach 104 Partien (das wäre die Anzahl der Partien die eine Engine bei der SWCR Champions-League 2011 zu spielen hätte sofern diese unter die TOP-8 gekommen wäre) Colossus das Turnier gewonnen hätte kann ich berechnen nach ... wie wahrscheinlich ist es, dass eine Engine mit 2.500 ELO nach 104 Partien eine Ratingliste anführen würde bei der die Nummer 1 3.000 ELO hat. Mit ein berechnet habe ich dabei, dass nach den wenigen Statistiken, die ich zu Turnierpartien bei 40 Züge in 150 Minuten generieren kann folgendes passiert ...

Bei 40 Züge in 10 Minuten sind es bei der SWCR ca. 560 Partien notwendig um ein Ergebnis von +-10 = 20 ELO zum wahrscheinlich tatsächlichen Resultat zu erzielen. Ich hatte bei 118 getesteten Engines eine Engine dabei, die drüber lag, also über 20 ELO Abweichung zum tatsächlichen späteren Resultat produzierte. Zwei Engines die knapp drunter lagen, spreche gerne vom 1:52 Fall bei den verwendeten Rahmenbedinungen der SWCR.

Bei 40 Züge in 150 Minuten geht die Remisquote nach oben. Das bedeutet, dass weniger Partien notwendig werden um eine solch genaues Rating +-10 ELO zu erzielen. Nach den wenigen Partien grob gesagt, es sind wahrscheinlich nur 340 Partien notwendig um ein Ergebnis von +-10 = 20 ELO zu erzielen. Die Aussage 340 bedeutet +-40 Partien nach meiner Berechnung. Könnten also auch 380 oder 300 Partien notwendig sein.

Scheiß auf die ErrorBar ... die zieht schon lange nicht mehr!

So, wenn also 340 Partien notwendig werden um eine genaues Ergebnis mit einer maximalen Abweichung von 20 ELO zu erzielen wie hoch wäre dann die Wahrscheinlichkeit das eine Engine 500 ELO mehr nach 104 Partien erreicht als die derzeitige Nummer 1 Houdini 1.5. Die Wahrscheinlichkeit liegt bei 1:720.000.000.000 !!

Wobei meine Berechnung jetzt auch nicht stimmen muss, habe einfach mal in 10 Minuten ein bissel in Excel experimentiert.

Gruß
Frank

By Frank Quisinsky Date 2011-02-03 16:08

Wobei meine Berechnung jetzt auch nicht stimmen muss, habe einfach mal in 10 Minuten ein bissel in Excel experimentiert.

Zusatz / Erweiterung:
Und als Grundlage der Berechnung einfach die knappen 80.000 Partien bzw. die generierten Statistiken der SWCR eingesetzt.