ein Gedanke zu CEGT und CCRL

By Gerhard Sonnabend Date 2014-03-25 19:09

Aus meiner Sicht:
4-CPU-Tests dauern auf einem Quad bei 20 verschiedenen Gegnern 20 Tage für die CEGT 40/4.
Deshalb nehmen wir für unsere Listen, bis auf wenige Ausnahmen 1-CPU, "nur" Releases.
Das war einer der Gründe weshalb ich im CCC nachgefragt hatte, wann wohl ein neues
Stockfish-Release zu erwarten sei.
Eine Antwort habe ich bis jetzt leider nicht bekommen, siehe:
http://talkchess.com/forum/viewtopic.php?t=51691

By Frank Quisinsky Date 2014-03-25 22:17 Edited 2014-03-25 22:20

Hi Benno,

CCRL verfolge ich zu wenig weil die Ergebnisse meist zu anderen Listen auseinanderdriften, warum weiß ich nicht.
Auch wird dort alles mögliche oftmals nur angetestet.

Aber zur CEGT:
Dort wird meines Erachtens systematischer getestet. Viele neue Versionen von x Programmen gehen ein und wenn sich die CEGT auf wenige konzentrieren würde, könnten andere nicht getestet werden.

Da kann Abhilfe geschaffen werden.
Vielleicht mal die CEGT unterstützen, mit Testergebnissen und dort mitmachen?

Oder selbst testen, auf einen einzigen Quad Core ist vieles möglich und das will ich ja auch mit der SWCR zeigen. Eine Ratingliste kann heute jeder auf einem System selbst erstellen. Das ist durchaus spannend, denn es gibt mehr Möglichkeiten Ergebnisse zu vergleichen. Das ist hilfreicher als die Last auf eine Schulter zu tragen.

Und zu der Verteilung der Aufmerksamkeiten.
Seit vielen Jahren verteilt sich das Thema Computerschach auf viele Schwerpunkte. Die einen mögen die TEC Turniere, die anderen CEGT oder CCRL, IPON oder die Liste von Stefan Pohl. Andere spielen auf Server und schauen sich dort die Vergleichswerte an. Andere spielen Turniere mit ihren Möglichkeiten und finden auch viele Fans und Betrachter. Finde das ist deutlich besser als alles auf wenige Schultern zu tragen weil wir einfach mehr Vergleiche vorliegen haben, die Engines besser einschätzen können und demnach ... und das ist der Hauptzweck ... besser einsetzen können.

Zu Stockfish:
Stockfish steht derzeit ein wenig. Zwar mag es sein das intern St-St um ca. 50 ELO zugelegt hat aber 30 ELO davon zu dem Zeitpunkt 08.02. konnte ich nicht nachvollziehen. Bei mir waren es 10 ELO was auch damit zusammenhängt, dass viele Partien schneller Remis enden als die Engine die ja eingeholt werden möchte

10% mehr Remisquote als Houdini ist eine Marke.
Insofern wird es schwierig sein, eh schwierig bei der hohen Spielstärke, das Level nach oben zu bringen wenn SF z. b. plötzlich gegen viele unterschiedliche Gegner antreten muss und dann auch einige spielschwächere dabei sind, denen öfters ein Remis gelingt als gegen Houdini.

Es ist schwierig die Spielstärke anhand von Listen zu messen.
Ob nun die CEGT oder andere Listen, denn die Spielstärke liegt über unseren Horizont. Diese ist schwierig zu messen weil keine wirklich guten Messmethoden vorliegen außer anhand von Wahrscheinlichkeitstheorien ... lassen wir das Thema.

Nur mit den Möglichkeiten die wir haben ...
Was würde Dir ein Stockfish Test der CEGT im Detail bringen.

Kannst ja mal versuchen die Frage zu beantworten?

Was würde Dir ein Stockfish Test im Detail bringen wenn mehrere Personen gleichzeitig eine Version testen?

Kannst ja auch diese mal versuchen zu beantworten?

Es gibt kein Framework unter den Testern.
Das finde ich schade weil ja jeder seine eigenen Brötchen backt und von seinen Ergebnissen und Methoden überzeugt ist.

Das sich die Tester mal zusammenfinden und an einem Framework arbeiten, die Last aufteilen und die Ergebnisse besser unter einheitlichen Bedingungen, vielleicht mit unterschiedlichen Zeiten etc. ist sehr unwahrscheinlich, es sei denn innerhalb einer Gruppe, z. B. die CEGT erfolgt eine Aufteilung.

Und nochmals ...
1.000 Partien bei 40 / 5 dauern ca. 8 Tage auf einem Quad.
2.000 Partien logischer Weise knapp über 2 Wochen ...
Das kann doch nun jeder selbst testen indem einfach von einer beliebigen Liste die Elos genommen werden und dann selbst ein Spießroutenlauf gestartet wird.
Verstehe daher so ganz nicht den Sinn des Postings?

Gruß
Frank

By Benno Hartwig Date 2014-03-25 22:51

Thanx für deine Ausführungen.
Aber:

> Was würde Dir ein Stockfish Test im Detail bringen wenn mehrere Personen gleichzeitig eine Version testen?

Wir haben mehrere Listen in der Szene. Und es ist richtig und erstrebenswerte, dass 'mehrere Personen' gleiche Engines testen. Wo kämen wir auch sonst hin. Welchen Sinn hätten die Listen sonst, wenn die eine Houdini auslässt, und die andere Stockfish. Dann gingen diese Listen den SSDF-Weg in die Vergessenheit.

Klar, ich war ungeduldig (schrieb ich auch schon weiter oben)
Und CEGT ist hier gar nicht im Rückstand, und die SF-Fortentwicklung seit SF-DD ist auch noch nicht überdiemaßen groß.
aber...

> Das kann doch nun jeder selbst testen indem einfach von einer beliebigen Liste die Elos genommen werden...
> Verstehe daher so ganz nicht den Sinn des Postings?

...ein "Machs doch selber" finde ich unpassend, wenn jemand meint, hier sei ein Test in einer etablierten Liste überfällig oder wenigstens wünschenswert.
Unverständlich? Wir müssen uns ja auch nicht verstehen.

Benno

By Frank Quisinsky Date 2014-03-26 07:09 Edited 2014-03-26 07:12

Hi Benno,

Houdini ist aber für viele mit einem moralischen Problem verbunden, gehöre z. B. selbst dazu.
Code von Robbolito genommen, geschlossen und kommerziell angeboten.
Genau das sollte eigentlich vermieden werden, denn Sinn von freien Sourcen ist es das Ideen anderer einfließen wenn es zu Weiterentwicklungen kommt.

Ob dann wie bei der SSDF der Weg in die Vergessenheit eingeläutet wird ... sollte dem Ersteller einer Liste egal sein denn

1. Wenn sich jemand die Mühe macht und Daten offiziell anbietet ist das immer ein Event. Ich persönlich finde es Klasse wenn jemand eine Aktivität startet und auch das sollte unterstützt werden. Es ist heute leider nicht mehr selbstverständlich.

2. Nicht alle Listen müssen gleiches testen. Ich würde es z. B. schade finden MinkoChess (eine eigene Entwicklung auf Platz 21 bei mir herauszunehmen um einen Houdini drin zu lassen). Dann würde ich ja einen Entwickler der sich mehr bemüht dafür auch noch bestrafen bzw. in meiner Liste wird ein unnötiger Platz belegt. Und das ist auch der Reiz dabei, hätten wir alle gleiche Sichtweisen wäre das auch nicht gut. Nicht alles was ich im Vorposting beschrieben habe wäre gut, ein Testframework zeigt z. B. auch Nachteile auf.

Selbst gehe ich sogar noch weiter, überlege gar auch Stockfish, Komodo und GullChess, Fire herauszunehmen um nach unten gesehen vier weitere aufstrebende Engines den Platz zu geben. Weil ich es interessanter finden die Entwicklung einer Engine zu beobachten anstatt den Kampf der TOP Engines die in etwas alle auf einem Niveau liegen. Wir erkennen eh nicht mehr ob eine Engine mit 3.100 oder mit 3.050 Elo spielt.

Müssen mal ein wenig weg vom Listenwahn und wieder mehr auf die eigentlichen Fähigkeiten der Engines selbst achten. Versuchen etwas herauszufinden, anstatt nackte Zahlen zu betrachten.

Nein:
Mach doch selber ist keines Wegs unpassend.
Andere zu animieren einfaches selbst festzustellen ist nicht unpassend sondern bringt allen etwas.

Es gibt bei unserem Hobby nichts wo ich sagen würde ist "etabliert". Eine Ratingliste ist eine Momentaufnahme und kann nicht etabliert sein. Einzig Tester die sich bemühen können etabliert sein aber nicht eine Liste selbst.

Insofern wären viele Momentaufnahmen mit unterschiedlichen Bedingungen immer besser als auf gleiche Rahmenbedingungen zurückzugreifen. Das sammeln von Ergebnissen in einer Liste macht meines Erachtens zwar für spätere Vergleiche Sinn aber und das steht dem entgegen. Mit unterschiedlichen Gegnern andere Ausgaben in Elo. Wenn eine Engine in einer Liste schon 4 Jahre nicht mehr aktiv ist, seinerzeit andere Gegner hatte wird diese sich mit neuen Gegnern verändern und das einstiege Rating wird sich verändern. Niemals bleibt ein Rating gleich ... auch wenn es sich bei dieser Schwankungsbreite nur um wenige Punkte handelt.

Schön zu sehen wie stark Zappa Mexico II heute noch spielt gegen Programme von heute. Seinerzeit lag die Engine deutlicher mit ca. 20 ELO schlechter. Oder ChessTiger lag seinerzeits gegen aktuelle Gegner mit 20 ELO besser, bin beim Testen selbst immer überrascht das verschiedene Gegner so viel ausmachen können, nicht müssen aber können.

Also ... nicht unpassend.
Wenn eine Arbeit z. B. von mir nur eine einzige andere Person animiert bin ich doch froh. Es bringt etwas die Arbeit zu veröffentlichen weil ich von dieser Person dann auch profitieren kann.

Finde meine Sichtweise gar nicht so verkehrt

Gruß
Frank

By Benno Hartwig Date 2014-03-26 20:29

> Houdini ist aber für viele mit einem moralischen Problem verbunden, gehöre z. B. selbst dazu.

Auch wenn das Thema alt ist:
Wo ziehst du den strengen Kreis um die aus deiner Sicht 'tatsächlich moralisch unproblematischen' Engines?
Von welcher nach Öffnung der Ippolit-Sourcen oder auch schon nach Öffnung der Fruit-Sourcen modifizierte Engine wissen wir um deren 'moralische Sauberkeit' ?
Oder wo doch die Stockfish-Sourcen offen sind?

Und noch interessanter vielleicht:
Wie wird sich das 'moralisch saubere Computerschach' wohl entwickeln? Welchen Anteil wird es am 'realen Computerschach' haben? Und welchen Abstand zur Spitze? (mal abgesehen von Stockfish!)

Benno

By Andreas Aicher Date 2014-03-26 20:37

ich schliesse mich der Bedenken von Frank an, man muss glaube ich keine beendete Diskussion fortsetzen, wo ohnehin die Fronten schon längst verhärtet sind, einfach jedem seine Meinung lassen ohne Kommentar!
Bitte nicht wieder aufwärmen

Bei der moralischen Sauberkeit, wie Du es nennst, ist das nicht alles schon mehr als durchgekaut worden, auch hier im Forum.

Andres

By Frank Quisinsky Date 2014-03-26 21:10

Hallo Andreas,

genau, das wurde alles diskutiert.
Die ganze "Entwicklung" seit Version 1.0, inklusive der Kommentare vom Houdini Programmierer können in TalkChess nachgelesen werden.

Gruß
Frank

By Stefan Schiffermüller Date 2014-03-27 10:38

Andreas Aicher schrieb:

einfach jedem seine Meinung lassen ohne Kommentar!

Wer will denn jemanden nicht seine Meinung lassen?

Stefan

By Andreas Aicher Date 2014-03-27 18:53

nun ja Stefan, diesen Eindruck kann man durchaus gewinnen, jedesmal wenn geschrieben wird, dass Houdini ein Geschmäckle hat, was ja doch eigentlich ziemlich harmlos ist, denn das wird gleich damit argumentiert, dass vielleicht auch andere Engine etc.
fast wie in der Bibel, wer ohne... werfe den ersten Stein, damit werden dann andere Engines gleich mit unter Verdacht genommen, schwach, stets endet es dann, nach mehreren Postings mit dem Rad, das niemand neu erfinden kann, wie einfallsreich

By Benno Hartwig Date 2014-03-27 21:02 Edited 2014-03-27 21:08

> nun ja Stefan, diesen Eindruck kann man durchaus gewinnen,

Ich wollte dem Wunsch nach einer Nicht-Vertiefung ja respektieren. Aber dein Posting empfinde ich als reichlich freche Unterstellung, sorry. Und darum melde ich mich doch noch mal:

Meine Zielrichtung war eigentlich: Wenn H ein Geschmäckle hat, muss dieses Aroma dann nicht eigentlich bei sehr vielen (allen?) Engines sachte mitschmecken, die nicht wenigstens (sagen wir mal) 150 ELO (vielleicht mehr) unter Stockfish liegen?
Und darum die sehr ernst gemeinte Frage: Welche Konsequenzen hätte diese Sicht für das reale Computerschach heute und in den kommenden Jahren?

Benno

By Andreas Aicher Date 2014-03-27 21:39

Unterstellung ist gut, Du reagierst doch genauso, wie ich es beschrieben habe (Generalverdacht), fehlt doch nur noch das obligate Rad

By Benno Hartwig Date 2014-03-28 06:34

Na, Andreas.
Immerhin galt deine Zustimmung der These, ich würde anderen ihre Meinung nicht lassen wollen!! Und das ist eben daneben.
Dass ich gern diskutiere, über meine Meinung und die von anderen, sollte dich in einem Forum nicht so ärgern.

Aber in dem anderen Punkt hast du schon recht.
Ich staune über die große Anzahl Enigenes, die nach Ippolit so drastisch an Spielstärke gewannen, oder die überhaupt erst dann wie eine Bombe auf der Bildfläche erschienen.
Du magst da ja gern stramm die Unschuldsvermutung hochhalten wollen.

Benno

By ? Date 2014-03-28 10:45 Edited 2014-03-28 12:52

natürlich hast Du recht, die meisten Engines sind sogar ganz leicht als Derivate erkennbar, Eigenleistung hin oder her, das sind alles keine eigenständigen Entwicklungen, für mich sind deshalb nur
Stockfish, Komodo, Junior, Shredder, Hiarcs, Fruit, Senpai zu verwenden, bei allen andern hätte ich ein ungutes Gefühl.
Aber dieserart Diskussion versuche ich zu vermeiden, denn es zeigt mir immer wieder, dass ich mit dem Computerschach eigentlich aufhören sollte, das ist nicht mehr so, wie es sein sollte

[ Andreas Aicher]

By Frank Quisinsky Date 2014-03-28 12:34

Hallo Benno,

offene Sourcen geben immer einen Schub an Gedankengängen und neue Ideen fließen, schon allein aus den Ideen anderer.
Das ist absolut OK und nur so kann die Entwicklung voran getrieben werden.

Aber etwas zu mehr als 90% kopieren?
Schaue Dir doch mal die beiden Links in meinen News Ticker genauer an.
Du kannst hier einiges schön erkennen, unabhängig davon ist das aber auch mit einer Vielzahl von unterschiedlichen Statistiken herauszulesen.

Ich finde es macht Sinn Programmierer zu unterstützen die in ihren langjährigen Entwicklungen viel eigenes eingebracht haben.
Programmen die sich nur durch wenige Änderungen von anderen hervor stechen muss man nicht unbedingt auch noch eine Bühne geben.
Finde das ist irgendwie auch eine rote Karte gegen die echten Entwickler.

Nicht zuletzt kenne ich sehr viele Meinungen von Programmierern aus der Computerschachzeitgeschichte hierzu.
Viele von denen haben auch ein wenig die Lust verloren.
Finde ich schade, lieber jemanden der in der Lage ist neues zu entwickeln ne Bühne geben als jemanden der an irgend welchen Schrauben dreht und hofft damit etwas zu erreichen ohne zu wissen was er eigentlich macht.

Auch wenn es schwierig ist zu selektieren weil einfach auch viel Wissen zusammenfließt kann sich aber jede "seine" eigenen Perlen herauspicken und sich damit beschäftigen.
Für den einen ist es ein Houdini für den anderen MinkoChess.

Gruß
Frank

By Roland Riener Date 2014-03-27 21:09

Aber dieses habe ich hier im Zusammenhang mit der Weiterentwicklung von Engines noch nie gelesen:

Zitat:

Wenn ich weiter als andere gesehen habe, dann nur deshalb, weil ich auf der Schulter von Giganten stand.

Sir Isaac Newton
(1643 - 1727), englischer Mathematiker, Physiker und Astronom

By Benno Hartwig Date 2014-03-27 21:18 Edited 2014-03-27 21:25

Nicht?
Thomas Gaksch hatte sehr Ähnliches in den Foren gepostet, nachdem er sein Toga aus Fruit bastelte. Er betonte sogar die Kleinheit seiner Änderungen und bedankte sich in diesem Zusammenhang bei Fabien.
Und Robert schreibt immerhin seit langem auf seiner Seite:
"Without many ideas and techniques from the open source chess engines Ippolit and Stockfish, Houdini would not nearly be as strong as it is now. "
OK, das Wort "Weiterentwicklung" benutzt er es nicht. Dass er auf mächtigen Schultern stand, sagt er aber schon ausdrücklich!
Also: Viele Ideen und Techniken aus Stockfish und Ippolit, durch die Houdini deutlich stärker wurde.
Benno

PS:
Erfunden hatte Newton diese Phrase nicht.
Schon im 12. Jh. sagte Bernhard von Chartre
...wir seien gleichsam Zwerge, die auf den Schultern von Riesen sitzen, um mehr und Entfernteres als diese sehen zu können – freilich nicht dank eigener scharfer Sehkraft oder Körpergröße, sondern weil die Größe der Riesen uns emporhebt.
Aber nein, ein Plagiat würde ich das dann doch noch nicht nennen wollen.

By Roland Riener Date 2014-03-27 21:31

Nun, sooo lange lese ich hier noch nicht mit. Jedenfalls scheint mir völlig normal, daß jede Technologie auf Vorhandenem weiterbaut.

Roland

By Tom Paul Date 2014-03-27 21:42

=Wenn der Houdini Code offen wäre, dann wäre Stockfish jetzt auch +100 ELO stärker.

By Andreas Aicher Date 2014-03-27 22:10

eine sehr gewagte Aussage, zumal ja der Ippo Code offen liegt und Stockfish auf Glaurung aufbaut

By Frank Quisinsky Date 2014-03-28 01:54 Edited 2014-03-28 01:57

Hallo zusammen,

fest steht aber (für mich), dass es wesentlich mehr Spaß macht Engine Zweikämpfe von Engines zu verfolgen bei dem die Entwickler versuchen so viel eigenes wie möglich einzubauen. Das kann ja schon anhand der Stärken und Schwächen beobachtet werden, wenn verschiedene Kräfte aufeinander stoßen.

Im Grunde muss jeder selbst für sich herausfinden was einem Spaß macht um sich das Hobby selbst so angenehm wie möglich zu gestalten. Möglichkeiten gibt es ja heute satt und genug und das ist gut so.

Ich für meinen Teil habe da Entscheidungen getroffen, habe Spaß an den Statistiken die ich so anstelle und natürlich an den Partien selbst. Auch wenn oft Diskussionen hier im Forum zum Thema Ratinglisten etc. nicht immer so förderlich verlaufen wie sie vielleicht könnten (trage ja auch nicht immer positiv dazu bei, hat ja auch jeder so seine eigenen Ideen und möchte diese auch darstellen) so denke ich dann doch, dass die Vielfalt der Testmethoden oder der eingesetzten Möglichkeiten uns immer wieder neue interessante Erkenntnisse geben wird.

Insofern, wenn z. B. alle meine Meinungen vertreten würden, dann würde das alles in "Ultra langweilig" für mich enden. Ich bin ja froh, dass andere auch etwas versuchen und verfolge so viel ich davon nur kann bzw. meine freie Zeit zulässt.

Also SWCR beendet ... es lebe FCT1

Dabei ist zur Zeit noch nicht mal eine einzige Partie gespielt.
Und insofern ... ich stehe jetzt da mit leeren Händen und einer leeren Webseite mit ein paar schönen Worten.

Muss ich ändern ...
Jeder fängt mal klein an ... sage ich mir zum 100sten Mal.

Gruß
Frank

By Benno Hartwig Date 2014-03-28 16:32

> fest steht aber (für mich), dass es wesentlich mehr Spaß macht Engine Zweikämpfe von Engines zu verfolgen bei dem die Entwickler versuchen so viel eigenes wie möglich einzubauen...

Ich finde, es sind immer die interessantest Momente, wenn z.B. Houdini gegen Stockfish spielt, und jeder der beiden behauptet lauthals, selbst einigermaßen deutlich im Vorteil zu sein. Dann passiert 'gleich' irgendwas.
Und das ist nicht so selten.

Benno

By Frank Quisinsky Date 2014-03-28 21:50

Hi Benno,

an mir sind so viele Partien und Statistiken vorbei gelaufen, kannst Du mir ruhig glauben.
Houdini ist absolut vergleichbar zu allen anderen IPPs bis auf ... die Vorbereitung zum Endspiel. Die Bauern stehen besser ... und das wird konsequent vorbereitet ... das Endspiel ist besser und da hier die Partien entschieden werden holt Houdini hier die Punkte. Wie der Programmierer es macht das im Mittelspiel Remis vermieden wird ist mir ein Rätsel. Houdini verliert doppelt so viele Partien wie Stockfish aber hat eine um 10% niedrigere Remisquote und hier sehe ich den zweiten Unterschied.

Aber von der Spielanlage ist alles gleich zu den vielen IPPs und das ist 95%.
Ich muss mir das nicht antun und diesen Spielstil 10x hintereinander unter einem anderen Namen zu sehen. Dann nehme ich die Engine von dem Programmierer der den Code überhaupt lesbar in viel Kleinarbeit frei zur Verfügung stellte.

Übrigens, ich bin mir gar nicht mehr so sicher aber ich denke mittlerweile das Komodo noch besser im Endspiel als Houdini ist. Komodo braucht nur mehr Zeit. Und Stockfish spielt völlig entgegengesetzt zu Houdini. Klar das Dir die Partien Freude bereiten aber in einer Liste ist es für den Ersteller äußerst langweilig wenn Du von den TOP 8 dann einen Rybka, Critter, Houdini, Bouquet, Equinox etc. drin hast. Dir vergeht die Lust am zusehen und wenn Du dann Engines beobachtest die wieder mit ganz anderen Fähigkeiten um die Ecke kommen dann wird es richtig spannend, denn Du merkst förmlich wie völlig unterschiedliche Kräfte aufeinander stoßen ... unabhängig vom Resultat. Auch ein Gaviota kann Glanzpartien hinlegen ... egal gegen welche Engine mit ganz eigenen Stärken die z. b. Gaviota im Mittelspiel selbst auch hat. Du weißt ... ups Gaviota muss ins Endspiel ... schaust zu ... und fieberst mit ob die Engine noch ein Remis halten kann.

Deutlich, deutlich interessanter beim Zusehen als die immer gleichen langen Endspielschleifen von fast gleichen Programmen.

Gruß
Frank

By Benno Hartwig Date 2014-03-28 17:05

> Wenn der Houdini Code offen wäre, dann wäre Stockfish jetzt auch +100 ELO stärker.

Wenn der Houdini Code offen wäre, dann wäre Houdini jetzt um einiges stärker.
Wenn dazu ein SF-artiges Unterstützer-Modell aufgebaut würde, vielleicht sogar ziemlich was stärker.
Ein öffentlicher Dauerwettkampf SF-H, bei dem sich die Entwickler jederzeit direkt in die Karten gucken können.

Und es gäbe einige weitere neue Engines mit phantasievollen Namen, deren Spielstärke und Spielweise erstaunlich dicht an der von Houdini läge.

Aber:
Würde das dann mittelfristig in nur eine einzige gute Engine mit offenen Sourcen münden?

Seinerzeit gab es ja mal die tollen offenen Sourcen von Glauring und Fruit.
Aus Fruit wurde dan Toga (noch toller als Fruit), und nach meiner Wahrnehmung lag das Programm hinsichtlich Spielstärke und Beachtung um einiges vor Glaurung. Richtig?
Wie kam es dann überhaupt dazu, dass Glaurung zu Stockfish wurde und dann so faszinierend aufholen (und schließlich dramatisch hochschießen) konnte?

Benno

By Gerhard Sonnabend Date 2014-03-28 18:51

Benno Hartwig schrieb:

[...snip...]
Wie kam es dann überhaupt dazu, dass Glaurung zu Stockfish wurde und dann so faszinierend aufholen
(und schließlich dramatisch hochschießen) konnte?

Weil Tord mit Marco genau den richtigen Partner (Programmierer) gefunden hat !

By Jörg Oster Date 2014-03-29 10:59

Gerhard Sonnabend schrieb:

Benno Hartwig schrieb:

[...snip...]
Wie kam es dann überhaupt dazu, dass Glaurung zu Stockfish wurde und dann so faszinierend aufholen
(und schließlich dramatisch hochschießen) konnte?

Weil Tord mit Marco genau den richtigen Partner (Programmierer) gefunden hat !

Das hinterlässt den Eindruck, dass Tord von Anfang an in die Entwicklung von Stockfish involviert gewesen wäre. Das stimmt aber nicht.
Am Anfang hat Marco alleine an Stockfish gearbeitet. Erst etwas später kamen dann Joona und Tord hinzu. (Joona arbeitete zunächst an einem eigenen Glaurung-Derivat namens 'Smaug'.)

Irgendwann hat Tord entschieden, nach anfänglichem Ideen- und Codeaustausch (zwischen Glaurung und SF), dass es besser ist, sich nur auf eine Engine zu konzentrieren und die Weiterentwicklung von Glaurung eingestellt.

http://wbec-ridderkerk.forumotion.com/t402-stockfish-glaurung
https://chessprogramming.wikispaces.com/Joona+Kiiski

By Gerhard Sonnabend Date 2014-03-31 11:31

Schon richtig, wir haben in der CEGT 40/4:

Code:


Stockfish 1.3.1 x64 1CPU   2680 (noch ohne Tord)
Glaurung 2.2 x64 1CPU      2636

Stockfish 1.3.1 ist aus 05/2009, Glaurung 2.2 aus 12/2008.

Erst nach dieser Zeit ging es richtig bergauf mit Fishy
und da waren Tord und Marco bereits "ein" Team !

By Andreas Aicher Date 2014-03-28 22:27

ich glaube da irrst Du, Toga war nie wesentlich stärker als Fruit, sogar etwas schwächer, als der erste open source fruit und auch schwächer als Glaurung.

Andreas

By Andreas Aicher Date 2014-03-28 23:16

ich meinte den ersten nicht open source fruit.
alle diese engines gab es auch für den mac und glaurung war sogar kurzzeitig das stärkste mac schachprogramm, noch vor dem damaligen shredder, hiarcs, fruit und toga (wie da die ranglisten in der windowswelt aussahen, kann ich nicht sagen da mich das zu jener zeit nicht interessierte.
allerdings war das nur eine momentaufnahme, hiarcs wurde dann später wieder die nummer eins, auch neuere toga versionen haben dann, allerdings kam dann kurz danach stockfish der seitdem die nummer eins mac version ist, zurzeit vor komodo und den ippos, die es auch für den mac gibt.

Andreas

By Benno Hartwig Date 2014-03-29 00:16

> ich meinte den ersten nicht open source fruit.

Also die Version 2.2.
Sie mag besser als die open source 2.1 gewesen sein. Sie war aber nicht mehr offen,
und ich meine, die Fruits erreichten auch nie wieder die jeweilige Toga-Spielstärke mit immer offenen Sourcen.

Benno

By Andreas Aicher Date 2014-03-29 00:29

wie gesagt das mit 200 Elo kann nicht stimmen, ich kann mich nicht so täuschen, der Unterschied zwischen Toga und Fruit war viel, viel kleiner als 200 Elo sicher weit im zweistelligem Bereich.
Zu Glaurung
Ich habe mit beiden Versionen gearbeitet und wie gesagt zumindest in der Mac Version war Glaurung immer stärker als Toga (Glaurung war ja eigentlich eine Native Mac Engine, die erst auf Windows umgeschrieben wurden)

By Benno Hartwig Date 2014-03-29 18:25

> der Unterschied zwischen Toga und Fruit war viel, viel kleiner als 200 Elo sicher weit im zweistelligem Bereich.

Ich verglich mit Fruit 2.1. Spätere Fruits wurden stärker, waren aber nicht mehr offen.
Und die Toga-Versionen 1.1 bis 1.4 waren wohl (bei kurzen Zeiten zumindest) erst ca. 50 und schließlich 140 ELO diesem Quell-Fruit überlegen.

Ich weiß leider so gar nicht mehr, welche Glaurung-Versionen zeitlich zu diesen Togas passten.
Weißt du das noch?

Benno

By Andreas Aicher Date 2014-03-29 18:38

da muss ich leider auch passen, ich weiss nur noch, dass Glaurung auf dem Mac stärker als Toga und Fruit, ja sogar stärker als Hiarcs, ich glaube das war Hiarcs 12, war, allerdings bei macs schon sehr früh als 64 bit version (schon mac osx tiger 2005 war ein 64 bis OS).
Seit es Stockfish gibt (und Tord Glaurung nicht weiterentwickelt hat) habe ich mich mit Glaurung nicht mehr befasst, im Übrigem auch nie mit Toga, als Analyseengine habe ich Toga eigentlich auch nie verwendet.
An mir ist die ganze Entwicklung von Toga irgendwie vorübergezogen (ein dunkler Fleck

)

Andreas

By Benno Hartwig Date 2014-03-29 00:11 Edited 2014-03-29 00:18

> ich glaube da irrst Du, Toga war nie wesentlich stärker als Fruit,

CEGT gibt Fruit 2.1 (das war AFAIR für Toga II der Ausgangspunkt) 2507 ELO, 2.2 war dann doch schon nicht mehr Open Source.
Thomas verbesserte das Programm dann so, dass es 2721 ELO erreichte.
http://www.husvankempen.de/nunn/40_4_Ratinglist/40_4_AllVersion/rangliste.html
Ich finde diese gut 200 ELO schon sehr beachtlich.

Als ich auf Toga II aufmerksam wurde, hatte diese Engine nach meiner Erinnerung Fruit sehr deutlich den Rang abgelaufen.

Benno

By ? Date 2014-03-29 00:17

irgendetwas stimmt aber mit dieser Liste im Bezug auf Toga und Fruit nicht, kann nicht stimmen, ich glaube Du musst Dir eine Liste zur Zeit besorgen, Fruit ist hier ja nicht weitergetestet worden, auch die Gegner sind da ganz andere, da habe ich ein ganz ganz schlechtes Gefühl dabei, lasse Fruit und Toga II gegeneinander spielen, dann glaube sieht man, dass da bei weitem keine 200 Elo Differenz sein können, ganz sicher nicht, beide Versionen waren unter Mac bei mir beim laufen, da war aber nicht Toga die bessere Engine, da ist was faul im Staate Dänemark

Andreas

By Frank Quisinsky Date 2014-03-29 01:18

Hi Andreas,

Toga habe ich nie getestet, wollte seinerzeit schon keine Clones in meinen Listen haben.
Aber in dem folgenden Thread stehen ja ein paar Listen.

http://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?tid=6944

Seinerzeit als Fruit die Nummer 2 war, war die CEGT im Aufbau. Da diskutierte ich noch mit van Kempen welche Engines rein sollten und zeitweise sendete ich neben meiner ATL Heinz auch Partien für die CEGT. Shredder war oben aber stand ein wenig ... Fruit dahinter bevor Rybka kam. Und dann kam Ruffian und war hinter Shredder die Nummer 2. Shredder lag seinerzeit ca. 100 ELO vor und war unantastbar ... verlor dann immer mehr an Boden.

Gruß
Frank

By Benno Hartwig Date 2014-03-30 10:42

> Toga habe ich nie getestet, wollte seinerzeit schon keine Clones in meinen Listen haben.

Hattest du Toga als einen Clone angesehen?
Dass Toga legal aus Fruit entwickelt wurde, sehen wir wohl beide, dass Toga schließlich gut 100 ELO besser (und damit anders) war als Fruit 2.1 vermutlich auch.
Mit welcher Bedeutung nutzt du hier das Wort 'Clone'?
Ich meine, diese Info kann ja hilfreich und Missverständnisse vermeidend sein für andere Gespräche, in denen das Wort 'Clone' fällt.

Benno

By Frank Quisinsky Date 2014-03-30 11:35 Edited 2014-03-30 11:44

Hi Benno,

ich spreche ja nicht davon das sourcen maßgeblich zu verwenden die von einem anderen kommen bzw. diese zu verbessern illegal ist. Bei Toga wurden ja die Sourcen auch wieder frei gegeben ... finde ich gut. Nicht gut finde ich es etwas zu 95% zu benutzen um dann schnell das eigene einfließen zu lassen um dann schnell alles zu schließen und dann kommerziell zu vermarkten. Da sind wir uns doch bestimmt einig, dass dies nicht im Sinne des Erfinders sein kann.

Schaue ich in die Vergangenheit mit den vielen Beispielen die es zu diesem Thema gibt wird auch schnell klar, dass die Programme die maßgeblich auf Sourcen anderer Programme beruhen in der Entwicklung stehen. Hier und da mal 10 ELO stärker und nur selten ist eine wirkliche Verbesserung zu sehen. Es gibt Ausnahmen aber die Regel ist das nicht. Schauen wir auf die Programmentwicklungen bei denen die Entwickler dann versuchen mit eigenen Mitteln und Ideen aktiv zu sein, sehen wir die Programmverbesserungen immer wieder im Detail. Sicherlich auch weil diese Entwickler sich die Ideen von anderen anschauen und dann versuchen wieder mit eigenen Ideen vielleicht sogar in die eigenen erarbeiteten Sourcen zu integrieren. Das finde ich richtig gut und nicht zuletzt deswegen haben wir heute so starke Programme denn nicht jeder muss das Rad neu erfinden.

Aber was bringen Dir denn wirklich die Programme die zu 90% gleich zu anderen sind?
Würde es Dir Spaß machen wenn Du eine Liste erstellst und immer das gleiche Schach siehst, also mir macht das kein Spaß.

Gruß
Frank

Übrigens immer wieder schnell zu erkennen sind die Programmentwicklungen die auf Arbeiten anderer beruhen durch viele Updates. Es wird mehr zufällig ausprobiert. Nur wenige der richtigen Entwickler kommen oft mit Updates daher, sondern prüfen alles mehrfach arbeiten sehr sorgfältig bzw. versuchen es. Wir können auch einfach sagen, dass bei vielen der IPP engines ein mehr oder weniger unkoordinierter Framework läuft bzw. in der Vergangenheit lief. Es würde mehr Sinn machen, wenn sich z. b. 10 ipp engine Programmierer zusammenschließen und einen koordinierten Framework organisieren anstatt das jeder mit den offenen Sourcen selbst ausprobiert an irgend welchen Schrauben zu drehen, auf den Zufall als Durchbruch hofft um vielleicht nach den großen Vorbildern die sich leider gebildet haben dann schnell etwas zu vermarkten.

Mein Gott wo wird Fabien landen wenn er erst mal begonnen hat die gerade frisch geschriebene Sourcen zu optimieren, fehlende Dinge wie Magic Bitboards die sehr aufwendig sind einzuarbeiten. Der schreibt mal so eben wieder einen klaren einfachen Code runter der direkt bei 2.825 ELO steht ... das gab es noch nie!

By Benno Hartwig Date 2014-03-30 17:55

> Würde es Dir Spaß machen wenn Du eine Liste erstellst und immer das gleiche Schach siehst, also mir macht das kein Spaß.

Ne, würde es nicht.
Aber diese Gefahr hatte ich bei Toga im Vergleich zu Fruit irgendwie irgendwie auch gar nicht gesehen. Aber das ist nur meine Meinung.
Als ich begann, mich mit dem Code ein wenig auseinanderzusetzen, lockte mich halt Toga weit mehr als das Fruit-Original.
Einfach wegen der damit erreichten größeren Spielstärke.
Benno

By Frank Quisinsky Date 2014-03-30 20:22

Hallo Benno,

nun bei Toga ist ja auch in vielen Jahren einiges verbessert wurden.
Aber schau, da kommt Fabien mit neuen Sourcen um die Ecke und schreibt mal so ganz locker und flockig eine Engine runter die um 100 ELO stärker ist als die beste Toga Version nach vielen, vielen Jahren Weiterentwicklung durch x Leute. Das ist der Unterschied zwischen einen echten Entwickler der weiß was er macht und vielen die versuchen hier und da etwas zu beeinflussen. Natürlich ist das beeinflussen auch wichtig und kleine Ideen treiben die Entwicklung auch nach vorne. Wir haben nicht so viele Genies wie Fabien aber sehr sehr viele ausgezeichnete Entwickler die auch wissen was sie tun.

Habe so viele Kontakte mit Fabien gehabt und ich komme immer wieder zum Ergebnis ... Fabien ist ein Genie, ihm liegt das einfach mehr als nur im Blut. Und wichtig war ja auch das Fabien neue Impulse setzen konnte. Erinnere mich noch an Chrilly der einst schrieb total begeistert von den ersten Fruit Sourcen zu sein. Und nicht nur Chrilly war es sondern viele viele andere Programmierer die sehr viele Ideen von Fabien nicht nur einpflegten sondern auch umsetzen und auch verbessern konnten.

Wäre Fabien mit den Fruit Sourcen nicht um die Ecke gekommen wären wir heute nicht auf dem Stand auf dem wir sind.
Und ich denke das ist Fakt ohne anderen Entwicklern zu Nahe zu treten, natürlich gehen viele trotz der Ideen von Fabien selbstverständlich eigene Wege und es wäre schlimm wenn auch das nicht so wäre.

Gruß
Frank

Und genau das ist das Problem.
Hast Du Critter, Houdini, Bouquet etc. in der Liste siehst Du im Mittelspiel das gleiche Schach mit geringfügigen Abweichungen ... gleiche Spielanlage. Natürlich unterschieden sich die Engines dann wieder im Detail aber es ist in den Statistiken spürbar das gleiches vorhanden ist. Und dann lieber mit vielen unterschiedlichen Programmen arbeiten und versuchen herauszufinden wie auch Programme die nicht 3.100 Elo haben für verschiedene Stellungstypen eingesetzt werden können ... denn die Analyse ist nach wie vor Thema Nummer 1 ... nicht die eng-eng Partie selbst.

By Benno Hartwig Date 2014-03-31 07:10

> Aber schau, da kommt Fabien mit neuen Sourcen um die Ecke und schreibt mal so ganz locker und flockig eine Engine runter die um 100 ELO stärker ist als die beste Toga Version nach vielen, vielen Jahren

Dieses neue Program erschien aber zu einem Zeitpunkt, in dem die weit(!) stärkeren Sourcen von Stockfish und Ippolit seit langem offen waren.

Dass Fabien Code übernahm, denke ich sicher nicht. Bei ihm grundsätzlich nicht, und außerdem zeigt er seinen Code und jeder könnte nachgucken. Klar.
Wenn er aber schaute, durch welche Logik andere ihre Spielstärke realisierten, dann finde ich das nicht nur OK sondern ich erwarte dies von einem an der Materie wirklich interessierten Entwickler sogar!!
"so ganz locker und flockig eine Engine runter" hat vermutlich so einfach nicht stattgefunden. Die "Ich setz mich in mein Kämmerlein und schreib' mir ein Schachprogramm" findet da nicht statt.
Und dass er nicht mit dem Stand der Kunst weitermachte, mit dem er vor vielen Jahren aufhörte, erstaunt mich nicht.

Benno

By Frank Quisinsky Date 2014-03-31 08:17 Edited 2014-03-31 08:19

Hi Benno,

musst mal das SF Interview lesen.
Fabien arbeitete auch in der Vergangenheit immer an diversen Ideen.

Sofern ich Entwickler richtig verstehe die sich die Sourcen angesehen haben, sind diese auch von diesen Sourcen richtig begeistert.

Doch, Fabien hat in kurzer Zeit die Sourcen wirklich komplett neu geschrieben.
Er wollte unbedingt fertig werden zum 17.03. und hat sich selbst etwas in Druck gebracht aber er hat es geschafft.

Denke Dir fehlen da viele Informationen aber nicht schlimm.
Habe ganz sicher auch nicht alle aber mir reicht was ich weiß.

Viele Grüße
Frank

Bin froh das dieses Genie wieder an etwas arbeitet.
Das ist etwas was wirklich die ganze Szene bereichert und nicht ob irgend jemand 2 Änderungen in einem bestehenden IPP Code macht.

By Benno Hartwig Date 2014-03-31 09:39

> Bin froh das dieses Genie wieder an etwas arbeitet.

Was machte er eigentlich in der Zwischenzeit?
Was macht er eigentlich, wenn auch mal Geld verdienen will?
Schachentwicklung ist für ihn wohl eher ein Hobby, oder?

> Das ist etwas was wirklich die ganze Szene bereichert

Ja, und sein Fruit 2.1 war ein ganz großes Geschenk an die Szene!
Damit hat er sich deutlich mehr unsterblich gemacht als jeder Entwickler irgendeiner superstarken Engine, deren Erfolgsgeheimnisse er dann aber schließlich einfach mit ins Grab nimmt.

Benno

By Frank Quisinsky Date 2014-03-31 13:10

Hallo Benno,

die Fragen sollte Dir dann Fabien selbst beantworten. Vielleicht mache ich nochmal ein paar Interviews, ist nur immer so viel Arbeit.

Na ja, ich bin nicht der Meinung das jeder immer alles für die Öffentlichkeit zur Verfügung stellen muss und ruhig auch mal was mit ins Grab nehmen darf. Vor ca. 20 Jahren war es undenkbar das starke freie Sourcen veröffentlicht wurden. Das war schon bei Crafty immer so ein Thema. Noch heute messen sich die meisten Amateure an Crafty und wir wissen alle wie viele versuchten Crafty zu clonen und immer wieder aufgeflogen sind. Ich sehe das eher geteilt, freie Sourcen sind nicht unbedingt nur gut. Böse Zungen behaupten, die schwarzen Mächte werden angezogen

Nein aber, die Computerschachgeschichte zeigt doch sehr schön auf was passiert wenn Sourcen offen liegen. Die werden rege genutzt und dann wird gar noch ne Vermarktung draus gebastelt und nicht nur eine ...

Gruß
Frank

By Benno Hartwig Date 2014-03-31 14:41 Edited 2014-03-31 14:44

> die Computerschachgeschichte zeigt doch sehr schön auf was passiert wenn Sourcen offen liegen. Die werden rege genutzt und dann wird gar noch ne Vermarktung draus gebastelt und nicht nur eine ...

Mag sein.
Aber dadurch, dass Fabien diese Veröffentlichung machte, hat er etwas Bleibendes der Szene geschenkt.
Seine damals besonders guten Gene in den allgemeinen Genpool geworfen.
OK, die werden nun unterschiedlich genutzt. Vertikaler und horizontaler Gentransfer.
Hätte er nur eine weitere ziemlich gute Engine zum Verkauf angeboten, hätte sein Name sehr schnell nicht mehr Klang gehabt als der diverser anderer Entwickler.

Es mag ihn manches geärgert haben, was mit seinen Sourcen geschah und geschieht. Er hat sich dadurch aber einen Namen gemacht.
Für mich zählen Robert Hyatt (ja auch er!), Fabien Letouzey und jetzt Tord Romstad, Marco Costalba, and Joona Kiiski die zu den wahren Heroen des Computerschach.
Man mochte über die Leistung manch ander Engine-Entwickler gestaunt haben. Einen Wert für das Computerschach haben sie aber weit weniger beigesteuert. (Ein Vorwurf ist das natürlich nicht. Man wird ja so leicht missverstanden.)

Benno

By Andreas Aicher Date 2014-03-29 00:19

By Wolfgang Battig Date 2014-03-29 01:59

Hallo Andreas,

Andreas Aicher schrieb:

irgendetwas stimmt aber mit dieser Liste im Bezug auf Toga und Fruit nicht, kann nicht stimmen,

Warum sollte etwas mit der Liste nicht stimmen? Zwischen den von Benno erwähnten Versionen von Fruit (2.1) und Toga II (3..0) liegen fast acht Jahre (!!) und unzählige Versionen. Fruit 2.1 hat in unserer 40/4-Liste über 11.000 Partien gespielt, das Rating ist also genau, selbst nach höchsten Maßstäben. Bei Toga 3.0 sind es ca. 3.400, also auch daran ist nix zu meckern.

Zitat:

ich glaube Du musst Dir eine Liste zur Zeit besorgen,

Was ist eine "Liste zur Zeit"?

Zitat:

Fruit ist hier ja nicht weitergetestet worden,

Wenn Du die 2.1 meinst so irrst Du. Sie ist eine Referenzengine, die selbstverständlich ständig Partien hinzubekommt. Die ändern nur nix mehr am Rating, weil bei >11000 Partien die Grenzen der Genauigkeit erreicht sind. Und natürlich ist der Oldie kein Gegner für Houdini & Co., weil viel zu schwach, solche Vergleiche machen keinen Sinn.

Abgesehen davon haben wir reichlich Fruit- und Toga-Versionen in unseren Listen!

Zitat:

auch die Gegner sind da ganz andere,

logisch, oder willst Du bei fast 1400 Engines/Versionen in der Liste ein Round-Robin veranstalten? Zudem liegen die beiden wie gesagt fast 8 Jahre auseinander, da ändert sich auch die Gegnerschaft...

Zitat:

da habe ich ein ganz ganz schlechtes Gefühl dabei,

sorry, aber zu dem Argument fällt mir nichts mehr ein

Zitat:

lasse Fruit und Toga II gegeneinander spielen, dann glaube sieht man, dass da bei weitem keine 200 Elo Differenz sein können,

Wenn Du Fruit 2.1 (von 2005) und Toga 3.0 (von 2013) miteinander vergleichst, sind es definitiv ca. 200 ELO. Da liegen doch Welten zwischen!
Ich finde den Vergleich aber ziemlich daneben, zumal neuere Togas gar nicht mehr von Thomas Gaksch sind. Da haben viele Leute ihre Finger drin (Formula, Donald)

Zitat:

ganz sicher nicht, beide Versionen waren unter Mac bei mir beim laufen, da war aber nicht Toga die bessere Engine, da ist was faul im Staate Dänemark

Hast Du wirklich die beiden 8 Jahre auseinanderliegenden Versionen verglichen?? Wenn bei Dir Fruit 2.1 (!) besser ist als Toga 3.0, dann kannst Du es nicht auf die Dänen schieben...

By Andreas Aicher Date 2014-03-29 12:54

ach, jetzt verstehe ich, ich habe doch nur Fruit und Toga, die in etwa aus der selben Zeit stammen in Erinnerung, Fruit mit einem mehr als 8 Jahre jüngeren Toga zu vergleichen kam mir nicht in den Sinn, etwas unfair, 8 Jahre im Computerschach bei den offenen Sourcen sind ja doch Lichtjahre.
Neuere Togaversionen sind an mir vorbeigegangen.

Andreas

By Benno Hartwig Date 2014-03-29 14:20

> Fruit mit einem mehr als 8 Jahre jüngeren Toga zu vergleichen kam mir nicht in den Sinn, etwas unfair

Ich war hier ähnlich unwissend.
Bis zur Toga-Version 1.4 hatte ich es verfolgt gehabt. Und auf diese Versionen müsst ihr bitte meine Postings beziehen (ist ja auch schon sehr eindrucksvoll).
Die Toga-Version 3 hatte ich ungeprüft einfach in die Reihe gesetzt. Sorry.
Benno

By Benno Hartwig Date 2014-03-29 09:10 Edited 2014-03-29 09:12

Genau weiß ich auch nicht mehr.
Ich weiß nur, dass mich vor allem die Spielstärke veranlasst hatte mich vor allem um Toga und weniger um Fruit 2.1 und Glaurung zu kümmern.
Zu den opensource-1-core-32bit-Engines Fruit, Glaurung und Toga sagt CCRL übrigens:

  Toga II 3.0               2884 +21 −21 59.3% −64.0 36.5% 779 
  Toga II 1.4.1SE           2822 +10 −9 50.1% +0.4 34.0% 4172 
  Toga II 1.4 beta5c        2818 +14 −13 48.9% +5.9 34.9% 1918 
  Toga II 1.3.1             2770 +9 −9 44.9% +37.1 32.6% 4954 
  Toga II 1.2.1a 32-bit     2761 +9 −9 49.2% +1.5 33.7% 5319 
  Toga II 1.1a 32-bit       2736 +39 −37 76.7% −204.7 20.9% 302 
  Glaurung 2.1 32-bit       2735 +34 −33 64.9% −105.6 27.6% 319 
  Fruit 2.1                 2683 +24 −24 48.3% +14.0 29.1% 604 
  Glaurung 1.2.1 32-bit     2657 +10 −9 44.3% +41.7 29.7% 4429 
  Glaurung 1.0.2 32-bit     2612 +29 −29 35.9% +100.4 28.8% 427

http://www.computerchess.org.uk/ccrl/404/cgi/compare_engines.cgi?class=Open+source+32-bit+single-CPU+engines&print=Rating+list&print=Results+table&print=LOS+table&table_size=12&cross_tables_for_best_versions_only=1
Nein, ich glaube, meine Erinnerung ist doch noch ganz zutreffend.

Ca. 200 ELO hat Thomas schließlich auf Fruit-2.1 draufpacken können
Und Glaurung mag so ca. 100 ELO hinter Toga hinterhergelaufen sein. Immerhin!
(Hier könnte ich mich irren, aber ich meine, zur Zeit der 1.x-Togas waren auch die 1.x-Glaurungs aktuell)

Benno