Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / LS-Rangliste: Critter 1.4a
- - By Stefan Pohl Date 2012-12-23 03:34
Hallo,

da mich mehrere Leute nach Critter 1.4a fragten (vermutlich, weil er in der IPON etwas besser als 1.6a ist), hier nun das Ergebnis. Er ist nicht besser, sondern leicht schwächer. Nach 2000 Partien sah es allerdings noch nach Gleichstand aus, aber das blieb eben nicht so. Auf die Gefahr hin, mich zu wiederholen: 5000 Partien sind für ein stabiles, sicheres Ranking einfach unerläßlich, das hat dieser Test wieder einmal gezeigt. 10000 Partien sind natürlich noch besser...

http://ls-ratinglist.beepworld.de/

Grüße an alle- Stefan

P.S: Es läuft nun der Test von Saros 3.3b. Danach dann wahrscheinlich Gull 2.
Parent - - By Thomas Schoenegger Date 2012-12-23 07:52
Hi Stefan, m.E. liegt es wohl eher an den unterschiedlichen Testbedingungen, welche du auch schon öfter angeführt hast. Für mich ist das beste Beispiel Komodo. Liegt bei dir hinter Critter,der 1.4, wie 1.6, die 1.6 in der CEGT an 2. Stelle zumindest 40/4, bei 40/20 ist Komodo wieder vorne, also  wieder andere Testbedingungen/Ergebnisse. Ich bin dankbar da man einfach vergleichen kann und sollte, und das kann jeder selber machen will er ein privates Turnier erstellen und um die beste Engineauswahl finden zu können. Ich glaube es gibt kein absolut richtiges/falsches Ergebnis. Mit Ausnahme der Programmierer selbst, welche gezwungener Maßen riesige Mengen an Spiele reproduzieren müssen um vernünftige Aussagen treffen zu können, genügt es für den "normalen " Schachprog/Enthusiasten zwischen den einzelnen und allen sehr guten Ranglisten zu vergleichen. Ich hätte den Test nicht nochmals gemacht,da du ja die 1.4a bereits getestest hast, war bei deiner Testanküdigung irgentwie für mich unverständlich, oder traust du deinen eigenen Tests nicht? Den dir zitierten Leute (fragten mich nochmals die 1.4a zu testen), kann ich nicht nachvollziehen. Bei deinem ersten Test war halt Houdini 2.0 die nr.1, jetzt die 3er, aber deswegen neu testen, käme mir nicht in den Sinn, außerdem hast du ja bei der Neuerstellung deiner LS Liste alles bereits wiederholen müssen. BeiGull II, jetzt ohne beta, ist klar. Ich bin mal auf die Saros 3.3 gespannt,schauen ob sie zur 3.0 besser ist.
Wünsche ein besinnliches Fest
Thomas
Parent - - By Stefan Pohl Date 2012-12-23 12:12
[quote="Thomas Schoenegger"]
Hi Stefan, m.E. liegt es wohl eher an den unterschiedlichen Testbedingungen, welche du auch schon öfter angeführt hast.
[/quote]

Mir ging es primär darum, darauf hinzuweisen, daß sich das Endergebnis bei mir erst nach mehr als 3000 wirklich auf einen stabilen Wert eingependelt hat und erst jenseits der 5000er Marke auch dauerhaft stabil bleibt. Das gilt für alle Bedenkzeiten, nicht nur für meine, weil das eine reine Frage der statistischen Sicherheit ist.

[quote="Thomas Schoenegger"]
Ich hätte den Test nicht nochmals gemacht,da du ja die 1.4a bereits getestest hast, war bei deiner Testanküdigung irgentwie für mich unverständlich, oder traust du deinen eigenen Tests nicht? Den dir zitierten Leute (fragten mich nochmals die 1.4a zu testen), kann ich nicht nachvollziehen.
[/quote]

Du widersprichst dir doch selber. Erst sagst du, unterschiedliche Ergebnisse liegen an unterschiedlichen Testbedingungen, dann aber soll ich den Critter-Test unter den neuen LS-Bedingungen (doppelte Zeit) nicht wiederholen, weil ich ihn ja schon in der alten LS-Liste gemacht habe???

[quote="Thomas Schoenegger"]
Bei deinem ersten Test war halt Houdini 2.0 die nr.1, jetzt die 3er, aber deswegen neu testen, käme mir nicht in den Sinn
[/quote]

Irgendwie scheint dir der Unterschied zwischen Engine-Tests und dem Führen einer Rangliste nicht so ganz klar zu sein, fürchte ich. Wenn man eine Rangliste neu aufbaut, weil sich die Test-Bedingungen oder die Hardware geändert haben, kann man nicht einfach alte Testergebnisse da reinmontieren und nur neue Engineversionen wirklich auch durch Test-Gauntlets jagen. Eben weil unterschiedliche Testbedingungen unterschiedliche Ergebnisse nach sich ziehen können.

Stefan
Parent - - By Thomas Schoenegger Date 2012-12-23 16:29
Eigentlich wollte ich gar nicht mehr antworten, muss aber doch: Es klingt schon fast wie bei der Diskussion um den Ivan 50 kQ Compile. Auch wenn du noch so unrecht hast und Aussagen wie Amd ist doch .... und nicht uptodate, stellte sich doch recht schnell heraus, dass  es recht zahlreiche User gibt, wobei er auch noch unter verschiedenen Guis Probleme machte. Aber so is es nun mal.
Erst sagst du, unterschiedliche Ergebnisse liegen an unterschiedlichen Testbedingungen, dann aber soll ich den Critter-Test unter den neuen LS-Bedingungen (doppelte Zeit) nicht wiederholen, weil ich ihn ja schon in der alten LS-Liste gemacht habe.
Ich war ja der Meinung, dass du ihn bereits mit doppelter Bedenkzeit getestet hast. War das nicht der Fall, so entschuldige ich mich für die Kritik der Testwiederholung und finde ihn in Ordnung. Hab kein Problem damit. War das der Fall entschuldige ich mich nochmals ganz offiziell.
Irgendwie scheint dir der Unterschied zwischen Engine-Tests und dem Führen einer Rangliste nicht so ganz klar zu sein, fürchte ich. Wenn man eine Rangliste neu aufbaut, weil sich die Test-Bedingungen oder die Hardware geändert haben, kann man nicht einfach alte Testergebnisse da reinmontieren und nur neue Engineversionen wirklich auch durch Test-Gauntlets jagen.
Wie ich ja oben erklärte, ging ich ja davon aus, dass du beim Neuaufbau deiner LS alle früher getesteten Versionen unter den neuen Bedingungen hast durchlaufen lassen.
Eben weil unterschiedliche Testbedingungen unterschiedliche Ergebnisse nach sich ziehen können.
Und:  Hat sich was geändert?
Ich nehme es dir vornweg, da du mir sehr bescheidene Kenntnisse bezüglich Testen und Rangliste führen zuschreibst: nach sich ziehen können, implementiert  automatisch ein ja und nein hinsichtlich unterschiedlicher  Ergebnisse, aber ich teste ja erst seit gestern und nehme alle, auch deine Rangliste als Referenz  meiner Engineauswahl her.
Deshalb danke auch dir und ein frohes Fest
Thomas Schönegger
Parent - By Stefan Pohl Date 2012-12-24 06:58
[quote="Thomas Schoenegger"]
Eigentlich wollte ich gar nicht mehr antworten, muss aber doch: Es klingt schon fast wie bei der Diskussion um den Ivan 50 kQ Compile. Auch wenn du noch so unrecht hast und Aussagen wie Amd ist doch .... und nicht uptodate, stellte sich doch recht schnell heraus, dass  es recht zahlreiche User gibt
[/quote]

Ich hatte nicht unrecht, wer zweifelt, schaue hier nach:
http://www.cpubenchmark.net/high_end_cpus.html

Wieviele AMD-CPUs sieht man hier und wo in der Rangfolge (beste AMD-CPU auf Platz 19 (!!!)) ? Eben!

[quote="Thomas Schoenegger"]
um den Ivan 50 kQ Compile...wobei er auch noch unter verschiedenen Guis Probleme machte
[/quote]

Er macht nur unter 2 GUIs Probleme, nämlich ShredderGUI (welche ich gar nicht besitze und daher nicht testen konnte) und FritzGUI, die ich nur für Datenbank-Operationen und für ein gelegentliches Spiel auf playchess nutze und die sonst bei mir im Giftschrank liegt (wo sie auch  hingehört, so verbuggt, wie sie ist). Ich hatte einfach bisher noch nie den Fall, daß ein Compile unter der LittleBlitzerGUI und Arena läuft, und dann bei anderen GUIs dennoch Probleme macht. Als man mir das mitteilte habe ich
a) Auf meiner Homepage explizit (sogar in roter Schrift, damit es jeder mitkriegt) darauf hingewiesen und
b) Einen zweiten Compile des Ivanhoe50k-Codes über immerhin 2500 Partien (das ist bei anderen Testern ein Endergebnis!)) angetestet, der aber leider so viel schlechter war, daß ich ihn nicht als Ersatz für den starken 50kQ-Compile nutzen konnte (steht auch auf meiner Seite unter "aborted")...

ich wüßte nicht, was ich noch hätte tun sollen???

[quote="Thomas Schoenegger"]
Ich war ja der Meinung, dass du ihn bereits mit doppelter Bedenkzeit getestet hast. War das nicht der Fall, so entschuldige ich mich für die Kritik der Testwiederholung und finde ihn in Ordnung. Hab kein Problem damit. War das der Fall entschuldige ich mich nochmals ganz offiziell.
[/quote]

Danke, damit zeigst du mehr menschliche Größe als viele andere hier. Ich entschuldige mich dann hiermit ebenfalls offiziell, dir unzureichende Kenntnisse bzgl. Ranlgistenführung unterstellt zu haben. Das beruhte nur auf dem Mißverständnis mit dem Critter 1.4a-Test. Ich wußte nicht, daß dir nicht klar war, daß ein Critter 1.4a Test für die neue LS-Rangliste nie stattgefunden hatte, daher war ich doch sehr irritiert bzgl. deiner Aussagen dazu.

Grüße - Stefan
Up Topic Hauptforen / CSS-Forum / LS-Rangliste: Critter 1.4a

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill