SWCR-64: Test Critter 0.90 x64 (1.000 Partien) morgen früh

By Frank Quisinsky Date 2010-12-02 22:45 Edited 2010-12-02 22:54

Hallo Fernschachspieler,

wer jetzt mit gelesen hat wird es schnell in den Fernschachforen bringen oder als Geheimtipp für sich behalten, damit die Anderen nicht wissen das Critter doch Rumpelstilzchen ... und daher zum überrumpeln ... psst!

Also thermoplastisch ausgedrückt:
Wenn Critter 0.90 x64 bei der CEGT unter Blitzbedingungen ca. 57 ELO macht, bei IPON mit ca. doppelter Bedenkzeit auf 74 ELO kommt und in der SWCR die Critters durchschnittlich bei etwas mehr als doppelter Zeit zu IPON dann nochmals 21 ELO drauflegt ... ja dann ... wir begeben uns ins Fernschacheldorado!

Die gewonnenen Partien liegen wie einst die Goldklumpen auf der Straße!

Denn Rybka fällt eher leicht ab bei den längeren Zeiten und Stockfish spielt aufgrund der taktischen Power auch nicht deutlich besser mit mehr Zeit, oder doch, eher nicht, oder weiß nicht ... wer weiß das schon!
Aber wo würde ein Critter beim Fernschach landen?

Und auch hier scheint die Sachlage anmutig / stilistisch klar zu sein!
Critter spielt positionell stark, legte taktisch ab Version 0.80 deutlich zu. Starke aggressive Bauernketten wie bei Fritz. Die Macht der Bauern (Buch von GM Jörg Hickl und ein paar anderen Herren) ist an dieser Stelle Pflichtlektüre ... auch für jeden Schachprogrammierer. Denn wie und wo stehen die Bauern vor der Endspielschlacht und welche Chancen habe ich in Stellung x. Wie bringe ich mein Programm dazu gerade auf die Bauernketten zu achten und die richtigen Abtäusche durchzuführen?

Meine Herren, der erste Blick sollte nicht auf IPON, CEGT oder SWCR gerichtet sein, sondern immer auf die Bauernstruktur der späten Mittelspielstellung. Schon im Mittelalter auf gute Ausgangspositionen von den verbliebenen Bauern arbeiten und genau das macht Critter, vielleicht ein bissel zu aggressiv aber der Erfolg gibt dem Programmierer Recht.

Und die Fernschachspieler feiern Ihren neuen Helden, Ktulu ...
Meine Spark, äh ... stimmt, rede ja gerade von Critter!

Gruß
Frank

By Frank Quisinsky Date 2010-12-03 07:38

Hallo zusammen,

der Test wurde ganz genau (für die Statisten) um 06:30:11 Trierischer Zeit gestartet.

Wer also LIVE verfolgen möchte sollte ca. 100x täglich meine Webseite besuchen und bei der Gelegenheit sämtliche anderen Informationen 10x lesen.
Und wenn möglich nicht 100x täglich das Kontaktformular ausfüllen.

Gruß
Frank

By Frank Quisinsky Date 2010-12-03 08:08

Hallo,

Mann o Mann o Mann oder Frau
Melde Startschwierigkeiten ... leider die ersten vier Partien direkt verloren.
Aber nicht traurig sein, Critter wird es schon richten!

Viele würden die Engine nach den ersten 4 Partien noch nicht mal eines Blickes würdigen.
Die Kritiker werden in Scharen daherkommen und uns mit ihren negativen Kommentaren beglücken (mache stehen drauf).

Wir kennen das doch ... klar ... die Computerschachforen.
Und alles LIVE ohne Farbe ...

So genug, habe zu tun ... muss mal wieder was vernünftiges machen!

Gruß
Frank

By Frank Quisinsky Date 2010-12-05 19:30 Edited 2010-12-05 19:32

Hallo zusammen,

also nach 700 Partien steht fest, ein deutliches + von weit über 50 ELO wird es in der SWCR für Critter 0.90 x64 nicht geben.
Tja, geht die SWCR bei Critter 0.90 x64 also einen anderen Weg als in den anderen Listen zu beobachten ist.
Trifft mich auch völlig überraschend, hätte damit nicht gerechnet !!

Mögliche Gründe:

1.
Critter 0.90 x64 lässt zu viele Puntke gegen die vermeidlich schwächeren Engines.
Probleme gegen Umko 1.1 x64, Equinox 0.87t x64 und auch gegen BugChess2 1.7 x64.
Auch gegen Komodo 1.2 x64 schaut es derzeit leicht negativ aus.

Würde ich die Ergebnisse gegen diese Engines herausrechnen, ja dann ...
Dann würde ich auch auf 60-80 ELO + kommen.

Und wieder einmal zeigt sich wie wichtig es ist gegen möglich viele Engines zu testen.

Allerdings ...
Auch nach 700 Partien geht es Pünktchen für Pünktchen beständig nach oben.
Derzeit +31 zu Critter 0.80 x64.
Wahrscheinlich werden es lt. meiner Prognose +41 werden.

Ein weiterer Grund ...

2.
37% Remisquote ist heftig.
Das kostet bei der Bayesian Berechnung Punkte.

Warten wir mal ab, sind noch ca. 300 Partien zu spielen.
Morgen Nachmittag startet dann der Spießroutenlauf von GullChess 1.1 x64.
Danach geht es mit dem eigentlich noch laufenden SWCR-64 Turnier weiter.
Von den 9.360 zu spielenden Partien stehen für 12 neue Engines noch 3.600 Partien aus ...

Viel zu testen!

Gruß
Frank

By Gerhard Sonnabend Date 2010-12-06 09:03

Hi Frank !

Wenn ich mir so die Resultate für die CEGT-Blitz-Ratingliste
und die Einzelaufstellung für Critter 0.90 x64 ansehe, siehe:
http://www.husvankempen.de/nunn/40_4_Ratinglist/40_4_single/26.html
so komme ich bisher zu dem Schluss, dass Critter 0.90 gegen
schwächere Gegner nicht messbar schlechter, sondern
sogar leicht besser scored als es zu erwarten ist.
Auch die Remisquote (32.8%) liegt im Blitz nicht sonderlich hoch,
sondern bewegt sich z.Zt. sogar auf recht niedrigem Niveau im
Vergleich zu den meisten anderen Engines.
U.U. solltest Du mal nachprüfen, ob Du einige Eröffnungen in
Deiner Datenbank verwendet hast, in welchen nicht mal deutlich
stärkere Programme ohne grobe Fehler des jeweiligen Gegners
mehr als Remis erreichen können ?!

Viele Grüsse,
G.S.

By Frank Quisinsky Date 2010-12-06 09:31 Edited 2010-12-06 09:37

Hallo Gerhard,

ohne Zweifel, solche Eröffnungen sind enthalten.
Bei der Random Datenbank (kannst Du ja runterladen) wurde auf Ausgeglichenheit geachtet.
Viele Eröffnungen sind sehr remisträchtig was aber auch OK ist.

Tja, bei mir 37% Remisquote (beständig) und derzeit 32 ELO +
Nun liegt bei mir aber auch Critter 0.80 höher als bei CEGT oder IPON.

Fest steht, dasss eher Punkte verschenkt werden.
So gibt Critter oftmals den Turm leichtfertig auf.
In über 40 Partien am WE live beobachtet.

Richard Vida postete auf meine Anfrage seine Figurenwerte.
Schön zu erkennen, das die Schwerfiguren in der Eröffnung meines Erachtens zu gering stehen.

Gruß
Frank

Fuchst mich mit dem Ergebnis, völlig unerwartet aber ich kann es nicht ändern.
Und in der aktuellen Runde gab es direkt 4 Niederlagen:
Gegen IvanHoe, Rybka, Stockfish, Komodo gegen Shredder steht es auf Verlust und gegen Sjeng, GullChess, Naum nur Remis.
Das drückt die ELO wieder auf unter 30+ ... geht einfach nicht weiter hoch!

Und erschreckend ...
Alle Niederlagen kamen zu Stande aufgrund dessen dass Critter 0.90 mal wieder Leichtfiguren mehr hatte, Türme weniger ... ungleiches Material und meist entscheiden dann die vorrückenden gegnerischen Freibauern die Partien ... werden von den Schwerfiguren besser unterstützt.

Die aggressiven Critter Bauern sind ja gut aber der Turm steht viel zu niedrig in der Bewertungsfunktion.

By Gerhard Sonnabend Date 2010-12-06 15:44

Hi Frank !

[quote="Frank Quisinsky"]
[...snip...]

Und erschreckend ...
Alle Niederlagen kamen zu Stande aufgrund dessen dass Critter 0.90 mal wieder Leichtfiguren mehr hatte,
Türme weniger ... ungleiches Material und meist entscheiden dann die vorrückenden gegnerischen Freibauern
die Partien ... werden von den Schwerfiguren besser unterstützt.

Die aggressiven Critter Bauern sind ja gut aber der Turm steht viel zu niedrig in der Bewertungsfunktion.
[/quote]

Wegen der Figurenwerte von Critter 0.90.

Ein paar wenige Beispiele:

Code:


Konstellation    Eröffnung/Mittelspiel  Endspiel
KNP                       358             456
KBP                       373             461
KRP                       513             698

KRNP                      786            1036
KRBP                      801            1041
KQ                        838            1088

KBNP                      646             799
KBBP                      699             857

KNP                       358             456
KBP                       373             461
KR                        428             580

KRBP                      801            1041
KQ                        838            1088
KRR                       856            1160
KBBN                      887            1077

KNPP                      443             574
KBPP                      458             579
KRP                       513             698

Ich kann nichts ungewöhnliches entdecken ?!
Einzig das Verhältnis "RR vs Q" im Endspiel scheint mir persönlich etwas
zu stark zu Gunsten der 2 Türme zu sein.

Evtl. meinst Du jedoch folgendes, z.B.:

Code:


KRPPPPP                   853            1170
KBNPPPPP                  986            1271
KBBPPPPP                 1039            1329

?

Diese Fälle werden mit Sicherheit kaschiert durch weitere Faktoren wie z.B.:
- Mobilität
- freie Linien/Reihen
- Bauernketten
- Freibauern
- blockierte Bauern resp. Bauernketten
- Radarfelder
etc. etc.

Die statischen Materialwerte machen ja nur einen kleinen Teil des Ganzen aus.

Viele Grüsse,
G.S.

By Frank Quisinsky Date 2010-12-06 11:52

Hi,

hatte sich Critter 0.90 x64 auf +33 hochgekämpft (im wahrsten Sinne des Wortes) um in Runde 36 dann 10:15 Punkte zu holen und direkt 6 ELO zu verlieren obwohl jetzt schon über 900 Partien gespielt sind. Da hagelte es Verluste und wirklich bei jeder Verlustpartie immer und immer wieder die Figurenkonstellation von Leichtfiguren und Türme. Gegen die Stärkeren Engines geht das in die Hose und gegen die schwächeren führt es zu vielen Remispartien. Verwunderlich das Critter 0.90 x64 in CEGT so viel zugelegt hat. Bei CCRL sind es glaube ich 45 ELO und bei Ingo ... tja der testet mit der SSE2 Version (nicht direkt vergleichbar).

So bin ich mir eigentlich sicher ... das die ELO bei mir mit mehr Partien weiter steigen wird, und bei CEGT mit mehr Partien sinken wird.
Hinzu kommt ferner der Umstand, dass Critter 0.80 bei mir extrem hoch bewertet ist, höher als bei Euch oder CCRL.
Auch merkwürdig da ich schon viele Partien von Critter 0.80 vorliegen habe, daher auch nicht direkt erklärbar.

Also bei Critter 0.90 x64 gibt es jetzt offenbar Unterschiede zwischen den Listen.
Leider ...

Gruß
Frank

By Gerhard Sonnabend Date 2010-12-06 12:09

Nun, fürs CEGT-Blitz sind es nach 1200 Spielen exakt +60 Punkte.
Natürlich kann dieser Wert sich noch um +-15 verändern, 1200 Spiele
sind so ziemlich das Minimum um vernünftige Messungen zu erhalten.
Mal abwarten wie es weiter geht.

Die Sache mit den Figurenwerten sehe ich mir an sobald der
Talkchess-Server wieder erreichbar ist, z.Zt. geht das bei mir nicht.

Viele Grüsse,
G.S.

By Frank Quisinsky Date 2010-12-07 00:08 Edited 2010-12-07 00:13

Hallo Gerhard,

zu der Anzahl der Partien habe ich ja nach meiner jahrelangen Testerei andere Ansichten.
Aber es ist auch immer eine Betrachtungsfrage.

Für mich ist ein Ergebnis welches nicht mehr als 20 ELO zum vermutlichen Endergebnis ausreichend.

Kann ja viele Ursachen haben:
Critter hat eine sehr hohe Remisquote mit 36% erreicht.
Hätte ich mit ELOstat ausgewertet wären es sicherlich mehr als 28 ELO geworden ...

Warte mache ich mal kurz ...

Code:

Critter 0.90 x64               : 2865   18  18  1000    70.3 %   2715   36.4 %
Critter 0.80 x64               : 2826   15  15  1454    68.5 %   2691   32.3 %

Also bei Bayesian 0056 sind es 28 ELO
und bei ELOstat 1.3 sind es 39 ELO

Schaut doch schon etwas anders aus.

Dann kommt hinzu, dass extrem schlechte Abschneiden gegen IvanHoe T0.5.4.1 und Junior 12.0. Auch zu viele Remispartien gegen schwächere Engines. Auch hier zeigt sich, dass es gut ist gegen möglich viele unterschiedlichen zu testen.

Wie dem auch ist ...
Es folgt ja noch die Stichprobe ... Critter 0.90 w32 wird natürlich auch getestet.

Wenn Critter 0.90 x64 wirklich um ca. 60 ELO besser spielt, ich selbst aber jetzt nur 39 (ELOstat) ermittelt habe wäre mein Wert um ca. 30 ELO (ELOstat) nach 1.000 Partien falsch.
Dann müsste ja Critter 0.90 w32 über Critter 0.60 x64 liegen.

Insofern gibt es bei mir auch immer die Stichprobe und bislang gab es immer logische Ergebnisse.
Bin mal gespannt.

Eine andere Erklärung wäre, dass diese Critter Version im Blitz besser spielt.
Die letzten beiden Critter Versionen waren bei längeren Bedenkzeiten besser.
Ist dem so, konnte damit auch niemand rechnen!

Schauen wir mal ob der CEGT Wert von Critter 0.90 x64 zukünftig noch etwas fällt, vielleicht bei mir noch etwas steigt. Das ist eigentlich die Regel wenn zwei Listen jetzt 30 ELO (ELOstat) auseinander liegen.

Gruß
Frank

Kann noch so viel gerätselt werden aber fest steht ...
Ein merkwürdiges SWCR Ergebnis nach den bislang vorliegenden Ergebnisse von CCRL und CEGT.
Allerdings haben CEGT und CCRL natürlich noch keine 1.000 Partien zusammen (meine jetzt nicht die CEGT Blitzergebnisse) und insofern abwarten. Ingo hat ja die SSE Version getestet, auch nicht vergleichbar.

By Thomas Müller Date 2010-12-06 15:14

Hi Frank,

bei mir sind es +30 nach 340 games zur 0.80 mit 4xCPU und 40/3' ponder off....wie immer halt.
Bist also nicht der einzige...so als trost

Aber mein ding ist und soll kein maßstab sein....ich weiß, ich teste "seltsam" und wenig partien

Finde deine, Ingos, Gerds 4CPU viel genauer!

Gruß Thomas

By Frank Quisinsky Date 2010-12-06 18:16

Hallo Thomas,

OK, dann stehe ich ja doch nicht allein mit dem Critter Ergebnis.
Immerhin sind gleich ca. 1.000 Partien gespielt.
Derzeit + 27 für Version 0.90 x64.

Egal ...
Einfach auf zu nächsten Engine und gut ist.

Danke für die Info!
Schaue später nach den CSS OM Partien die ich heute spielen muss (direkt 2) auf Deine Seite.

Viele Grüße
Frank

By Wolfgang Battig Date 2010-12-03 11:23

[quote="Frank Quisinsky"]....
CEGT Wolfgang meldet:
Einen Aufschwung nach 1.000 Blitzpartien von 57 ELO[/quote]

Hi Frank,

nur zur Richtigstellung: ich "meldete" +67, nicht 57, liegt also sehr nah bei Ingos Zahlen.
http://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?tid=3223

Bin gespannt, ob sich noch etwas ändert, GS spielt noch ein paar Matches. 40/20 sieht bislang
auch sehr gut aus.

Viele Grüße
Wolfgang

By Ingo Bauer Date 2010-12-03 11:36

Hallo Wolfgang,

Ja, bei mir sind es 74 im Moment, also 7 Elo Unterschied (Mitten in der Errormargin) obwohl ich mit längerer Zeitkontrolle teste. Bei genug Spielen wird auch bei eurer 40/20 etwas in der Gegend rauskommen und mal wieder wird sich zeigen das, so lange genug Spiele zusammen kommen, die Zeitkontrolle für ein Ranking völlig nebensächlich ist ... und auch natürlich wird dieser Fakt gerne ignoriert weil man so den "Diese Engine braucht mehr Zeit und dann wird sie richtig gut"-Mythos aufrechterhalten kann

Gruß
Ingo

PS: Nur zur Klarstellung: Die Zeitkontrolle darf nicht zu kurz werden, aber davon sind alle Ranglisten weit entfernt.

By Frank Quisinsky Date 2010-12-03 12:17

Hi Ingo,

wir haben doch bei Critter 0.70 und Critter 0.80 schon zwei Vergleiche zu IPON bei doppelter SWCR Bedenkzeit.
Wirklich unglaublich wie felsenfest Du solche Tatsachen wegreden möchtest.

21 ELO zu Dir drauf und das nun 2x und bald 3x

Möchte nur mal wissen warum Du das machst!
Der feste Glaube liegt eher bei Dir, denn wenn Du Fakten nicht sehen möchtest steht der Glaube im Vordergrund.
Also nicht die Anwender sind dem Glauben verfallen sondern Du selbst ... weil Du das immer so oft schreibst.

Sehe einfach den Tatsachen ins Auge und gut ist.
Wie gesagt, immer schön nach Links und nach Rechts schauen, nicht nur auf das Eigene ... dann passiert so etwas auch nicht.

Will Dir nichts böses aber Du ermittelst doch selbst und kannst in andere Listen schauen wie jeder andere auch.
Sinn und Zweck an der Geschichte ist ja, dass die unterschiedlichen Listen auch neue Erkenntnisse bringen und nicht das die unterschiedlichen Listen dazu herhalten sollen um festzustellen wer brüllt am lautesten.

Gruß
Frank

By Ingo Bauer Date 2010-12-03 12:51 Edited 2010-12-03 13:00

Mon Frank

[quote="Frank Quisinsky"]

wir haben doch bei Critter 0.70 und Critter 0.80 schon zwei Vergleiche zu IPON bei doppelter SWCR Bedenkzeit.
Wirklich unglaublich wie felsenfest Du solche Tatsachen wegreden möchtest.

...
[/quote]

OK, ich schaue in mein Liste, deine Liste und die CEGT und finde:

0.7 x64 und 0.8 x64 bei IPON (5+3) 30 Elo, die CEGT hat (40/20) 33 Elo und zu guter letzt die SWCR (40/10) liegt zw.0.7 x64 (2806) und 0.8 x64 (2840) = 34 Elo .

Überrascht bin ich nicht, un warum mache ich das: Weil es stimmt!

Gruß
Ingo

PS: Woebi die CEGT mit der Zeitanpassung wegen Hardware über den Daumen auf deiner Hardware eher einem 40/12 entspricht, also fast das selbe spielt wie du.

By Frank Quisinsky Date 2010-12-03 12:20

Hallo Wolfgang,

stimmt ... habe mich verlesen!
Dann hat 67 im Blitz, 74 bei IPON und auf IPON sind es 21 mehr bei den Critter Vorgängerversionen 0.70 und 0.80 auf SWCR.
Beim CEGT - SWCR Vergleich würden wir wahrscheinlich nach dem vollständigen Test ca. das gleiche Ergebnis haben da CEGT und SWCR (bis auf dem Ponder Mode) sehr gut vergleichbar ist.

Werde zum Ende des Jahres nochmal einen Excel Tabelle mit den Vergleichswerten hochladen.

Viele Grüße
Frank

By Ingo Bauer Date 2010-12-03 12:59

[quote="Frank Quisinsky"]
... und auf IPON sind es 21 mehr bei den Critter Vorgängerversionen 0.70 und 0.80 auf SWCR....
[/quote]

IPON:
Critter 0.8 x64 = 2819
Critter 0.7 x64 = 2789

2819-2789=30 Elo

Gruß
Ingo

By Klaus S. Date 2010-12-03 13:18

[quote="Ingo Bauer"]
[quote="Frank Quisinsky"]
... und auf IPON sind es 21 mehr bei den Critter Vorgängerversionen 0.70 und 0.80 auf SWCR....
[/quote]

IPON:
Critter 0.8 x64 = 2819
Critter 0.7 x64 = 2789

2819-2789=30 Elo

Gruß
Ingo
[/quote]Hi Ingo,
Frank meint wohl dies hier, in seiner Liste wird Cr 0.80 21 Punkte höher gelistet als bei dir.

IPON: SWCR:
Critter 0.8 x64 = 2819 2840 diff 21 zur Ipon
Critter 0.7 x64 = 2789 2807 diff 18 " "

diff 33

auch bei ihm diff 33 EL0, aber insgesamt 21 elo höher.

Gruß
Wilfried

By Ingo Bauer Date 2010-12-03 13:40

Hallo Wilfried,

[quote="Wilfried Lübkemann"]

Hi Ingo,
Frank meint wohl dies hier, in seiner Liste wird Cr 0.80 21 Punkte höher gelistet als bei dir.

IPON: SWCR:
Critter 0.8 x64 = 2819 2840 diff 21 zur Ipon
Critter 0.7 x64 = 2789 2807 diff 18 " "

diff 33

auch bei ihm diff 33 EL0, aber insgesamt 21 elo höher.

Gruß
Wilfried
[/quote]

Ahh, Danke für die Aufklärung!

Ich habe es schon x mal mit Frank durchgekaut, inklusive Exceltabelle, das man so nicht vergleichen darf! Das ist statistischer Müll.

Er muß alle Engines die in beiden Listen vorhanden sind nebeneinander stellen und die Abweichungen minimieren. Ich bin ich auch schon mal durchgegangen mit ihm. Den selben Fehler habe ich hier zu Anfang auch begangen und wurde völlig zu zu Recht von Horst Wandersleben eines besseren belehrt!

Wenn ich Zeit und Lust habe mache ich das mal wieder für die SWCR zu meiner Liste. Für die CEGT 40/20 mache ich das regulär, und da gibt es keine Abweichungen soweit, dass nicht mindestens die kleinen Errorbars sich noch überschneiden.
Jetzt kommt es: Da die CEGT UND die IPON praktisch identisch sind, wäre die in der Mitte leigende SWCR, sofern Frank Recht hat, der Ausreißer. Dann muß Frank sich fragen, warum zwei Listen etwas anderes produzieren als er. Aber wie gesagt, wenn man mathematisch korrekt vergleicht, wird auch die SWCR nicht abweichen. Hat sie in der Vergangenheit nicht und ich zweifle sehr das sie das heute macht!

Gruß
Ingo

By Frank Quisinsky Date 2010-12-03 13:56 Edited 2010-12-03 14:00

Hi Ingo,

Mitte liegenden?
Was meinst Du damit Ingo?

von der Bedenkzeit hat die SWCR eine höhere Zeitkontrolle als die CEGT.

40 in 10 SWCR zu 40 in 20 CEGT
1. Deutlich schnellere Hardware bei SWCR ... wäre ca. 40 in 11 oder 40 in 12 bei CEGT
2. Und jetzt noch Ponder hinzu, CEGT spielt ohne!

CEGT wäre ca. 40 in 8 - bis ca. 40 in 9 im Vergleich zur SWCR bei 40 in 10!
Da wir aber wissen wie hoch der Ponder Faktor wirklich ist (Crafty Test in der SWCR) ist es eher 40 in 7 bei CEGT im Vergleich zur SWCR.

Ferner gibt es eine Excel Tabelle ... Vergleich CEGT zu SWCR und da hatten wir bei 58 vergleichbaren Abweichungen ca. 0.4 ELO Unterschied.
Die Unterschiede nach meiner Tabelle von CEGT zu IPON und von SWCR zu IPON sind deutlich größer.

Was auch logisch ist denn die CEGT kommt sehr nahe an SWCR Zeitbedingungen.
Ipon ist weit entfernt bei einem Vergleich zu SWCR oder CEGT, die wiederrum durchschnittlich um besagte 0.4 ELO bei 58 Vergleichswerten abweichen.

Bei diesen 58 Vergleichswerten habe ich in 52 Fällen deutlich mehr Partien als die CEGT 40 in 20 Liste.
Und dennoch nur 0.4 ELO

Was mal wieder bedeutet das so viele Partien wie oftmals geschrieben gar nicht notwendig sind.

Wenn Du das nachschlagen möchtest.
Die LINKS zum SWCR / CEGT Vergleich stehen in meiner "Aktuell" Seite.

Partie bei IPON dauert ca. 15-16 Minuten (schriebst Du mal).
Partie bei SWCR dauert ca. 40 Minuten im Durchschnitt.

Irgend etwas ist da durcheinander bei Dir!

Gruß
Frank

By Frank Quisinsky Date 2010-12-03 14:15

Hi Ingo,

eiche Deine Liste mal mit ELOstat auf CEGT Shredder 12 ELO.
Das fragte ich Dich seinerzeit im CSS Forum schon mal.

Deine Antwort:
Brauche ich nicht, ist alles gleich.
Der Ingo ...

Kann meine SWCR auf ELOstat geeicht zu CEGT Shredder 12 ELO gerne ins Forum posten.
Und dann vergleiche einfach alles was vergleichbar ist zwischen IPON, CEGT und SWCR.

Ganz einfach ... siehst dann die größeren Abweichungen von IPON zur CEGT / SWCR!
Wobei, ich jetzt nur IPON / SWCR vergleichen kann (habe Deine Partien nicht und von Dir die auf ELOstat berechnete Tabelle nicht) und das ist deutlich mehr als 0.4 ELO Abweichung als CEGT / SWCR.
Ergo muss die Abweichung von IPON / CEGT auch deutlich höhere sein als 0.4!

Gruß
Frank

By Frank Quisinsky Date 2010-12-03 14:24

Also:
CEGT Shredder 12 w32 liegt bei 2.987
Berechnet wird bei der CEGT mit ELOstat 1.3

Also hier die SWCR, berechnet mit ELOstat 1.3 und geeicht auf Shredder 12 w32 mit 2.987
Wer mal vergleichen möchte ...
Wie gesagt, eine Excel Tabelle mit einem älteren Vergleich liegt auf meiner Aktuell Seite.

Code:

    Program                          Elo    +   -   Games   Score   Av.Op.  Draws

  1 Rybka 4 x64 Exp. 42            : 3144   28  27   647    81.9 %   2882   22.9 %
  2 IvanHoe T0.4 x64               : 3134   20  20   920    79.0 %   2904   31.6 %
  3 Rybka 4 x64                    : 3133   17  17  1440    81.8 %   2871   27.7 %
  4 IvanHoe T0.5.4.1 x64           : 3132   25  24   665    80.7 %   2884   29.0 %
  5 Stockfish 1.9.1 JA             : 3098   20  20   960    77.7 %   2881   31.0 %
  6 Rybka 3 x64                    : 3094   22  22   840    78.3 %   2871   27.5 %
  7 Rybka 4                        : 3091   17  17  1200    76.3 %   2888   31.6 %
  8 Stockfish 1.8.0 JA x64         : 3088   18  18  1120    76.3 %   2884   31.2 %
  9 Stockfish 1.7.1 JA x64         : 3087   18  17  1120    75.7 %   2890   33.7 %
 10 Stockfish 1.9.1 JA x64         : 3076   24  24   647    75.1 %   2884   30.6 %
 11 Stockfish 1.7.1 JA             : 3074   18  17  1200    75.3 %   2880   30.7 %
 12 Stockfish 1.8.0 JA             : 3066   19  18   920    73.7 %   2887   37.0 %
 13 Rybka 3                        : 3060   15  15  1520    73.8 %   2880   30.9 %
 14 Stockfish 1.6.3 JA             : 3028   17  17  1080    71.3 %   2870   36.1 %
 15 Naum 4.2                       : 3019   14  14  1680    68.1 %   2887   35.4 %
 16 Critter 0.80 x64               : 3017   15  15  1454    68.5 %   2882   32.3 %
 17 Naum 4.2 x64                   : 3014   13  13  2014    68.5 %   2879   35.3 %
 18 Critter 0.80                   : 3010   17  17  1040    67.0 %   2886   37.1 %
 19 Naum 4.1                       : 3008   19  19   920    68.1 %   2877   35.3 %
 20 Stockfish 1.6.0 JA             : 3004   18  17   960    67.5 %   2878   39.2 %
 21 Critter 0.70 x64               : 2991   18  18   880    64.7 %   2885   38.1 %
 22 Shredder 12                    : 2987    9   9  4214    64.5 %   2884   35.7 %
 23 Naum 4.0                       : 2982   18  18   960    65.3 %   2872   38.1 %
 24 Komodo 1.2 JA x64              : 2982   13  13  1773    65.1 %   2873   37.6 %
 25 Komodo 1.0 JA x64              : 2979   19  18   840    64.3 %   2876   39.5 %
 26 Deep Fritz 12                  : 2975   13  13  1760    62.0 %   2891   41.2 %
 27 Sjeng c't 2010                 : 2973   22  22   647    61.9 %   2888   34.2 %
 28 Critter 0.70                   : 2971   18  18   920    61.0 %   2894   39.3 %
 29 Shredder 12 x64                : 2968   14  14  1600    63.2 %   2874   33.9 %
 30 GullChess 1.0a x64             : 2953   15  15  1297    57.3 %   2902   38.0 %
 31 Komodo 1.2 JA                  : 2951   15  15  1200    58.4 %   2892   40.7 %
 32 Fritz 12                       : 2941   15  15  1160    58.9 %   2879   44.2 %
 33 GullChess 1.0a                 : 2940   17  17   960    57.5 %   2887   39.4 %
 34 Stockfish 1.5.1 JA             : 2927   18  18   840    59.3 %   2861   42.5 %
 35 Hiarcs 13.1                    : 2924   11  11  2500    53.7 %   2898   38.7 %
 36 Spark 0.5 x64                  : 2922   13  13  1774    56.7 %   2875   36.7 %
 37 Thinker 5.4d Inert x64         : 2918   12  12  2014    55.4 %   2881   38.1 %
 38 Komodo 1.0 JA                  : 2909   15  15  1200    53.3 %   2886   39.8 %
 39 Zappa Mexico II x64            : 2904   12  12  2014    53.4 %   2881   39.2 %
 40 Thinker 5.4d Inert             : 2903   11  11  2240    51.8 %   2891   42.2 %
 41 Spark 0.4 x64                  : 2901   18  18   840    53.0 %   2880   40.4 %
 42 Spark 0.5                      : 2901   15  15  1200    51.0 %   2894   40.8 %
 43 Protector 1.3.4 JA x64         : 2898   13  13  1640    52.0 %   2885   37.3 %
 44 Fruit 09_07_05 x64             : 2897   12  12  2014    52.3 %   2881   34.7 %
 45 Junior 12.0 x64                : 2896   22  22   648    50.7 %   2891   32.9 %
 46 Protector 1.3.6-370 JA x64     : 2886   22  22   647    49.1 %   2892   34.0 %
 47 Critter 0.60 x64               : 2883   19  19   840    50.4 %   2881   37.6 %
 48 Doch 1.3.4 JA                  : 2881   18  18   840    50.6 %   2877   44.0 %
 49 Critter 0.60                   : 2881   18  18   920    50.3 %   2879   38.8 %
 50 Junior 11.2                    : 2879   16  16  1200    47.7 %   2895   32.6 %
 51 Spark 0.4                      : 2876   17  17   880    49.0 %   2883   42.4 %
 52 Sjeng WC-2008 x64              : 2873   13  13  1680    48.3 %   2885   36.4 %
 53 Protector 1.3.4 JA             : 2871   13  13  1600    46.9 %   2892   38.8 %
 54 Protector 1.3.5 x64            : 2869   18  18   840    47.0 %   2890   39.2 %
 55 Junior 11.2 x64                : 2869   15  15  1440    48.6 %   2879   31.0 %
 56 Cyclone xTreme Wrath           : 2866   16  16  1080    46.8 %   2889   41.1 %
 57 Protector 1.3.2                : 2865   15  15  1160    46.9 %   2887   41.2 %
 58 Hannibal 1.0a x64              : 2864   14  14  1454    46.8 %   2886   35.0 %
 59 Onno 1.2.70 x64                : 2863   13  13  1774    48.1 %   2876   36.6 %
 60 Protector 1.3.5 JA             : 2861   18  18   840    43.9 %   2903   42.1 %
 61 Junior 2010                    : 2860   15  15  1240    46.8 %   2882   36.2 %
 62 Protector 1.3.1b               : 2858   18  18   840    46.7 %   2881   42.4 %
 63 Hiarcs 12.1                    : 2857   18  18   880    46.8 %   2880   40.8 %
 64 Sjeng WC-2008                  : 2857   11  11  2240    45.0 %   2892   36.9 %
 65 Doch 1.2 JA                    : 2856   18  18   840    48.2 %   2869   40.1 %
 66 Onno 1.1.1 x64                 : 2855   18  18   840    46.1 %   2882   40.0 %
 67 Hiarcs 12.1 Sharpen PV         : 2855   15  15  1280    44.9 %   2890   39.5 %
 68 Zappa Mexico II                : 2852   11  11  2240    44.3 %   2892   42.1 %
 69 Spark 0.3a                     : 2845   16  16  1120    43.6 %   2890   40.8 %
 70 Doch 09.980 JA                 : 2841   18  18   840    46.5 %   2866   41.5 %
 71 Junior 11.1a                   : 2837   18  18   960    43.5 %   2882   36.5 %
 72 Junior 11.1a x64               : 2833   19  19   840    42.8 %   2883   32.3 %
 73 Spark 0.3                      : 2832   18  18   880    43.0 %   2881   41.8 %
 74 Hannibal 1.0a                  : 2829   17  17  1080    40.5 %   2896   35.7 %
 75 Bright 0.5c                    : 2826   18  18   960    40.6 %   2892   35.2 %
 76 Onno 1.2.70                    : 2826   15  15  1200    40.0 %   2897   40.4 %
 77 Onno 1.1.1                     : 2819   13  14  1520    40.4 %   2887   41.1 %
 78 Umko 1.1 x64                   : 2817   17  18  1000    36.4 %   2914   36.1 %
 79 Loop 2007 x64                  : 2816   13  13  1894    39.4 %   2890   35.1 %
 80 Loop M1-T x64                  : 2812   18  19   880    37.6 %   2901   36.9 %
 81 Crafty 23.4 JA x64             : 2809   22  22   648    37.9 %   2895   32.6 %
 82 Jonny 4.00                     : 2805   14  14  1625    37.4 %   2894   31.2 %
 83 Fruit 05/11/03                 : 2804   11  11  2240    37.6 %   2893   40.8 %
 84 Critter 0.52b                  : 2803   17  17  1040    37.8 %   2890   36.5 %
 85 Loop 13.6                      : 2802   14  14  1520    38.0 %   2887   39.2 %
 86 Ktulu 9.03                     : 2801   14  14  1760    36.9 %   2895   31.1 %
 87 Equinox 0.87t x64              : 2798   22  22   665    36.3 %   2896   33.2 %
 88 Loop 2007                      : 2798   16  16  1200    36.1 %   2897   34.6 %
 89 Glaurung 2.2 JA                : 2797   17  17  1080    36.7 %   2891   36.4 %
 90 Twisted Logic 20100131x x64    : 2796   17  17  1120    35.4 %   2900   31.5 %
 91 SmarThink 1.20 x64             : 2790   13  13  2014    36.8 %   2883   33.9 %
 92 Umko 1.0 x64                   : 2788   16  17  1120    35.0 %   2895   36.8 %
 93 Equinox 0.83 x64               : 2786   17  18  1080    33.6 %   2904   32.8 %
 94 Crafty 23.3 JA x64             : 2785   17  17  1120    34.7 %   2895   34.6 %
 95 SmarThink 1.20                 : 2783   12  12  2240    34.7 %   2893   36.8 %
 96 Equinox 0.83                   : 2768   18  18   960    32.6 %   2894   33.8 %
 97 Twisted Logic 20100131x        : 2764   15  15  1600    31.6 %   2898   30.4 %
 98 Spike 1.2 Turin                : 2760   15  15  1480    30.9 %   2899   34.1 %
 99 Crafty 23.3 JA                 : 2754   19  19   960    30.7 %   2895   32.1 %
100 Cipollino 3.25 x64             : 2753   20  20   880    29.6 %   2903   31.7 %
101 Tornado 4.25 x64               : 2751   24  24   665    30.1 %   2898   26.2 %
102 BugChess2 1.7 x64              : 2747   19  19  1040    28.2 %   2909   30.3 %
103 Scorpio 2.6 JA x64             : 2738   18  18  1120    27.9 %   2902   31.5 %
104 Crafty 23.2 JA x64             : 2737   18  18  1120    27.8 %   2902   30.4 %
105 Chronos 1.99 x64               : 2733   17  18  1120    27.4 %   2903   32.8 %
106 Crafty 23.3 JA x64 NP          : 2732   20  20   880    27.0 %   2904   32.3 %
107 Daydreamer 1.75 JA x64         : 2701   18  19  1120    23.7 %   2904   29.6 %
108 Zarkov 6.44                    : 2665   27  27   625    19.9 %   2906   24.5 %
109 Tornado 3.6.7 x64              : 2660   23  24   840    19.2 %   2910   23.6 %
110 Gaviota 0.80 x64               : 2562   33  34   625    11.8 %   2911   15.0 %

By Frank Quisinsky Date 2010-12-03 14:26

Wobei bei ELOstat auch ein wenig problematisch ist die SWCR-32 mit der SWCR-64 zu mixen.
Bayesian ist besser dafür geeignet.

Am Besten wäre es eine CEGT zu haben die auf Bayesian 0056 und Shredder 2.800 ELO geeicht ist.
Dann wäre der Vergleich perfekt möglich!

Gruß
Frank

By Ingo Bauer Date 2010-12-03 14:34

Ohh Frank,

und jetzt legst du die beiden Listen nebeneinander und vergleichst, richtig?

Wenn das so ist muß ich dir sagen das ist ... so nicht richtig. Siehe auch unsere Diskussion von vor ein paar Wochen, die du vergessen zu haben scheinst.

Gruß
Ingo

By Ingo Bauer Date 2010-12-03 14:29 Edited 2010-12-03 14:35

Frank,

[quote="Frank Quisinsky"]
..
Kann meine SWCR auf ELOstat geeicht zu CEGT Shredder 12 ELO gerne ins Forum posten.
Und dann vergleiche einfach alles was vergleichbar ist zwischen IPON, CEGT und SWCR.
...
[/quote]

Du machst immer ein Faß auf ... Erinnere dich das wir schon mehrmals die Diskussion hatten das Listen nicht einfach euf eine Engine gleich geeicht werden können, du mußt die Abweichuingen über alle Engines minimieren. Auf was geeicht wurde ist eigentlich völlig Wurst. Ich habe dir erklärt gehabt wie es geht und wenn ich mich recht entsinne war die Abweichung z.w IPON und SWCR irgenwo bei 3 Elo.

Fakt ist, das ich praktisch keine Abweichung (Einstellige ELo im Schnitt) zw. CEGT und IPON habe, wenn du keine Abweichung zur CEGT hast hast du bei ordentlichem Vergleich auch keine zur IPON!

Entweder du machst es richtig oder nicht. Wenn du keine ordentlichen Vergleich machen willst, sondern nur EINE Engine verlgeichst ohne über alle Engines anzupassen und dabei vergißt wozu du vor drei Monaten noch Einsicht zeigtest, mache ich halt bei Gelegenheit noch mal einen Vergleich zw. IPON und SWCR.

Gruß
Ingo

By Frank Quisinsky Date 2010-12-03 14:34 Edited 2010-12-03 14:37

Hi Ingo,

ich mache ein Fass auf?
Du schreibst doch laufend Wirr, alles durcheinander ... siehe Deine erste Antwort in dem Thread, die Antwort von Wilfried ... obwohl ich groß und breit geschrieben hatte was ich meinte (erster Eintrag).

Poste doch Deine IPON geeicht auf CEGT 2.987 mit ELOstat ...
Dann kann sich jeder selbst die Werte in meine Excel Tabelle eintragen, die auf meinen Seiten liegt.

Aber da niemand gerne sucht:
http://www.amateurschach.de/download/cegt-swcr-vergleich.zip

Der von Dir angesprochene Punkt ist in dieser Excel Tabelle ja berücksichtigt, hatte diese nach Deinem Einwand ja geändert.

Also, raus mit Deiner IPON nach CEGT Shredder 12 w32 ELO von 2.987 ...

Gruß
Frank

By Ingo Bauer Date 2010-12-03 14:36

[quote="Frank Quisinsky"]
...
ich mache ein Fass auf.
Du schreibst doch laufend Wirr.
...
[/quote]

Ja, das ist wirr für dich, da geb ich dir Recht.

Ansonsten Danke und Tschüß
Ingo

By Frank Quisinsky Date 2010-12-03 14:39

Der Ingo ...
So kennt man Dich ... leider!
Gibt auch den anderen Ingo ...

Also los ... IPON auf CEGT geeicht mittels ELOstat 1.3 und Shredder 12 w32 ELO.
Dann kann ich vielleicht nachvollziehen das Deine IPON zur CEGT gleich ist.
So kann ich das keinesfalls!

Gruß
Frank

By Ingo Bauer Date 2010-12-03 15:46

Hallo Frank

[quote="Frank Quisinsky"]
Der Ingo ...
So kennt man Dich ... leider!
...
[/quote]

Hier: http://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=30793;hl=Rangliste%20Vergleich hatten wir das ganze schon mal (2 Monate her). In diesem Zuge hatte ich dir auch per Email eine "Quick and dirty" Anleitung + IPON vs SWCR Vergleich geschickt.

Wenn du das jetzt schon nicht mehr weißt kommt dir mein Geschreibsel natürlich wirr vor. Aber so kenn man dich... und deswegen bin ich es leid hier wieder und wieder den Oberlehrer spielen zu müssen. Vergleiche du ruhig weiter. Es wird nicht richtiger aber ich habe meine Ruhe.

Gruß
Ingo

By Frank Quisinsky Date 2010-12-03 13:42

Hallo,

genau, wobei 2x 21 ELO.
Siehe erster Beitrag.

Die Differenz von IPON zur SWCR bei Critter 0.70 betrug 21 ELO
Die Differenz von IPON zur SWCR bei Critter 0.80 betrug auch 21 ELO.
Und ganz sicher wird die Different von IPON zur SWCR bei Critter 0.90 auch wieder um 20 ELO betragen.

Bei der SWCR lagen also die letzten beiden Critter Version 21 ELO höher als bei IPON.

Und nun
Vergleich CEGT-Blitz zu IPON zu SWCR ... es geht mit mehr Zeit immer weiter aufwärts.

Danke Wilfried!
Dir und Ingo und den anderen Lesern ein schönes WE.

Gruß
Frank

By Frank Quisinsky Date 2010-12-06 22:07 Edited 2010-12-06 22:17

Hallo,

der Test mit Critter 0.90 x64 ist beendet.
+28 zu Version 0.80 und weiterhin vor Naum 4.2 x64 auf Platz 4 in der SWCR-64.
Die Einzelergebnisse finden sich auf meiner Webseite.

Habe ja schon genug geschrieben zu diesem Test.
Hätte mit einem deutlich besseren Resultat nach IPON und den CEGT Blitz / 40 in 20 Pentium IV Ergebnissen gerechnet.

Das Rating war nach 460 Partien stabil bei 2.862. Danach ging es langsam zu 2.872 hoch (Partienummer 880) und fiel dann bis zum Endergebnis nach 1.000 Partien auf 2.868!

Gruß
Frank

By Kurt Utzinger Date 2010-12-06 22:58

[quote="Frank Quisinsky"]
[...]
Das Rating war nach 460 Partien stabil bei 2.862. Danach ging es langsam zu 2.872 hoch (Partienummer 880) und fiel dann bis zum Endergebnis nach 1.000 Partien auf 2.868!
Gruß
Frank
[/quote]

Hallo Frank
Lebt man als "Alles-Schnell-Tester" noch in der realen Welt oder verstehen
wir normalen Computerschächer die Dinge nicht mehr so richtig? Für mich
sind 10 Punkte Elo-Unterschiede zwischen Partien 880 und 1000 nichts, was
man besonders erwähnen müsste. Die Schwankungen von anfänglich 2862 Elo
auf 2872 Elo und dann schliesslich 2868 [total also sage und schreibe 6 Elo]
sind [für mich] fast weniger als gar nichts. Wenn Du so weitermachst und dem
allem soviel Bedeutung beimessen tust, dann wird es nicht mehr lange gehen, bis
Du Deine Elo-Differenzen in Zehntel-Punkten wirst ausdrücken müssen [schmunzel]
P.S. Ich jedenfalls bin mit Critter sehr zufrieden ...
Mfg
Kurt

By Frank Quisinsky Date 2010-12-06 23:21

Hallo Kurt,

ich habe für alle 111 bislang getesteten Engines eine ELO-Entwicklungskurve in Excel angelegt.
Ist mehr oder weniger ein wenig Spielerei.

Eigentlich maßgebend für die Frage:
Ab wann wird ein Rating stabil und gab es noch +-10 ELO Sprünge nach Partiennummer y.

Dabei kam bislang heraus, dass zwei Engines über 500 Partien benötigten um ein stabiles Rating zu erzeugen.
Stabil also +-10 = 20 ELO bis zum Endergebnis (eigener Testanspruch, sieht ja jeder anders).

Das war Naum 4.1 w32 ... Rating wurde stabil bei ca. 520 Partien
Das war GullChess 1.0a x64 ... Rating wurde stabil bei ca. 630 Partien

In der Regel bildet sich das Rating zwischen Partienummer 300 - 500.
Vorausgesetzt möglich viele Gegner gehen in die Berechnung ein.

Natürlich interessieren mich die Partien selbst auch, für Statistiken zu den Spielstilen oder natürlich auch beim Zusehen wenn ich die Zeit dafür habe. Ich weiß ja das Du längere Partien bevorzugt und meine 40 Minuten Partien für Dich nicht sonderlich interessant sind. Allerdings habe ich oftmals auch keine Lust mehr als 40 Minuten konzentriert einer Partie zuzuschauen. Insofern ist die gewählte Zeitkontrolle für mich eigentlich optimal, damit ich selbst Spaß an dieser Liste habe ... also sowohl bei den Partien, den erzeugten Statistiken etc.

Und zu guter Letzt gehen auch viele Eindrücke und Fehlermeldungen zu den Programmieren. Natürlich nicht zu allen die bei der SWCR mitspielen ... immer eine Zeitfrage. Gehe aber bei Zeitbedarf gerne auf Fehlersuche. Kennst doch die ganzen Klamotten, hast doch selbst lange solche Listen mit Deinem Schachfreund Rolf Bühler erstellt.

Ferner freue ich mich darüber das Dich die SWCR interessiert so oft wie Du hierzu etwas schreibst.

Viele Grüße
Frank