Wie soll die ideale Engine Rangliste aussehen?
Klaus Wlotzka hat es vor Jahren vorgemacht! Man testet die besten sp Engines mit Vorgabestellungen! Einige Jahre später sollte man aber einiges besser machen (können)!
Man testet nicht mehr 10 Vorgabestellungen sondern 100! Das auswählen der 100 Vorgabestellungen ist der heikelste Punkt in der ganzen Engine-Ratingliste! Bitte hier nur Profis, die mit GM-Turnierschach vertraut sind!
Man spielt nicht mehr ponder=off sondern ponder=on!
Man spielt nicht mehr mit ~ 25 Engines in der Elite-Liga, sondern nur noch mit 10 (der vermutete Elo-Unterschied ist mit ~250 groß genug)!
Zur Zeit die 10 Besten: Rybka, Shredder, Naum, Stockfish, Fritz 12, Thinker, Sjeng, Zappa, Onno, Hiarcs (sorry: Fruit/Toga, Bright, Ktulu, Junior, etc.).
Man spielt nicht mehr mit ~ 25 Engines in der 2. Liga, sondern nur mit 10! Der Rest soll sehen wo er bleibt (wer ist schon interessiert an der 21-besten Engine)! Von mir aus können wir auch auf die 2. Liga ganz verzichten!
Aufstieg/Abstieg wie bei Klaus!
Wer getestet wird und nicht besteht, dessen Spiele fliegen raus! Jede gelistete Engine hat immer nur 1800 Spiele!
Wichtig!Referenzsystem: Nehalem 3 GHz.
Zeit: 15'+5" (ponder=on); ~3 Spiele pro Stunde auf 2 Cores.
Nur 3-4 EGTB und BB!
Was heisst das? Wir haben 9000 Spiele zu spielen (mit den von mir genannten Engines), um den Grundstein zu legen. Und wir haben mal wieder Übersicht, wenn man sich die Turnier-Tabelle anschaut!
Welches Zeit braucht es um den Grundstein für die Elite-Liga zu legen (9000 Spiele)? Bei 8 Nehalems (32 cores) mit 3 GHz ~8 Tage!
Wie lange braucht es, um eine neue Version eines gelisteten Programms zu testen (1800 Spiele)? Bei 8 Nehalems (32 cores) mit 3 GHz ~38 Stunden!
Wie lange braucht es, um ein ungelistetes Programm zu testen (2000 Spiele)? Bei 8 Nehalems (32 cores) mit 3 GHz ~42 Stunden!
Fazit:
Man braucht gut eine Woche um den Grundstein zu legen und ist dann innerhalb von 2 Tagen in der Lage zu sagen, wo sich die neue Version (das neue Programm) einzusortieren hat. Ich bin sicher, meine Zeitvorgabe ist besser als 40/40 bei CCRL und allemal besser als 40/20 bei CEGT.
Wo bleibt x64 vs. w32? Es wird immer nur x64 getestet, wenn vorhanden! W32 stirbt aus (spätestens mit Windows 7), oder sie beweisen, daß sie besser sind!
Wo bleiben die mp-Versionen? Uninteressant! Hilfreich wäre ein Skalierungsfaktor (2-,4-, 8-CPU) zu jeder Engine. Dies sollte der Ratinglisten-Ersteller in der Muße-Zeit stichprobenartig liefern. Er hat genug Zeit, denn nicht alle 2-4 Tage kommt eine Top-10 oder Top-20 Engine(-Version) auf den Markt!
Meine Sicht auf die Dinge: MP-Versinen verschieben nur die Zeitkontrolle! Das wird hier zwar stets bestritten, aber ich kenne kein stichhaltiges Argument dagegen (ausser Restbedenkzeit und breitere Suche)! Aber auch Restbedenkzeit und breitere Suche (mit 64 cores) ist Sache des Programmierers!
PS: Dies ist nur meine Vorstellung von einer idealen Rating-Liste! Dies ist keine Kritik an denen, die es anders machen!