Mit welchen Büchern testen?

By Tom Paul Date 2016-01-06 20:22

Stefan Ratzmann schrieb:

Hallo liebe Schachfreunde

Ich habe mal eine Frage.Mit welchen Büchern oder Vorgabestellungen sollte man ein Engine Zweikampf spielen lassen.
Da ich mir die Zweikämpfe gerne Live mit verfolge sollten sie auch event. etwas Abwechslung bieten

Danke
Stefan

Ganz klar die 20 möglichen Eröffnungszüge benutzen, da hast du 40 Partien und die Engines müssen die Eröffnung selbst erfinden und spielen. Und lange Bedenkzeit nicht vergessen, z.B. 30min + unbedingt 30 Sekunden Pro Zug, weil die Engine ohne 30 Sekunden pro Zug irgendwann anfangen deutlich schlechter zu spielen.

By Michael Scheidl Date 2016-01-07 13:16

Zitat:

Ganz klar die 20 möglichen Eröffnungszüge benutzen

Das ist ein brutaler Anschlag auf die Schachkultur. Haben wir über fünfhundert Jahre lang Schach gespielt, um so einen Schwachsinn zu akzeptieren??

By Klaus Meier Date 2016-01-07 13:28 Edited 2016-01-07 13:35

Michael Scheidl schrieb:

Zitat:

Ganz klar die 20 möglichen Eröffnungszüge benutzen

Das ist ein brutaler Anschlag auf die Schachkultur. Haben wir über fünfhundert Jahre lang Schach gespielt, um so einen Schwachsinn zu akzeptieren??

Muss wohl akzeptiert werden...
nachdem Magnus Carlsen inzwischen auch schon mal mit 1.a2-a4 eröffnet und sogar gewonnen hat.

...

Event:

Ort:

Datum:

Weiss:

Schwarz:

Ergebnis

Board

By Ludwig Buergin Date 2016-01-07 16:56

Naja a4 ist nícht so weit daneben.Es stellt sich halt die Frage,ob Carlsen sowas auch mit h4 riskieren würde ?

Gruß Ludwig

By Frank Qy. Date 2016-01-07 18:13

Miles gegen Karpov (WDR 3, Schach der Großmeister) zu meinen Anfangszeiten.
Hatte nur Bücher und bekam erst später meinen ersten Schachcomputer von meinen Eltern.
Voll in der Lernphase und musste laufend im Verein mit König und Dame oder Turm und 2 Läufern Matt setzen. Wie ich das seinerzeit hasste.

Da spielte Miles irgend einen Unsinn ... glaube es war 1. ... a5 oder a6 auf 1. e4 oder 1. d4 ... weiß es nicht mehr genau.

Im Schachverein dann direkt zum Ansprechpartner gerannt und gefragt ob das denn geht, denn das wäre doch Tempoverlust.

Aber an seinen Kommentar erinnere ich mich nur zu genau:
Das ist Psychologie am Schachbrett und hat nichts mit Theorie zu tun.

Karpov dachte sicherlich das ist ein Affront und war gehandikapt.
Das ist beim Engine testen aber nicht unbedingt von Vorteil.

By Michael Scheidl Date 2016-01-07 18:44

Ein Weltmeister kann mit Schwarz gewinnen, sogar wenn er Weiß hat.

By Dithyrambus Date 2016-01-07 16:17

Gemäß deiner signatur "May the fork be with you!" haben wir wohl fast alle die letzte weggabelung verpasst!

Viele grüße
Horst

By Frank Qy. Date 2016-01-07 06:10

Hallo Stefan,

kommt natürlich auch an unter welcher GUI.

Sehe das auch so!
Hätte gar keine Lust bei meiner laufender Ratingliste immer die gleichen Stellungen zu sehen (wenn mit Test-Set).

Daher versuche ich mit meinem Buch das alle 500 ECO codes ausgespielt werden (natürlich immer im Verhältnis zur tatsächlichen Beliebtheit). Oft bedeutet das aber auch das dann zu populären Systemen unpopuläre Varianten ausgespielt werden. Wenn ich sehe das die Varianten zu starken Nachteilen führen deaktiviere ich die Varianten. Wenn ich sehe das die Varianten zu schnellen Remispartien führen, deaktiviere ich diese auch.

So ist mein Buch in ständiger Entwicklung hat aber schon aufgrund dessen das die Engines selbst das Buch optimieren ein meines Erachtens sehr hohes Level erreicht.

Kannst ja mal schauen ...
Wird entwickelt unter der Shredder GUI aber ich hatte vor kurzer Zeit auch ein ChessBase Buch in meinen download Bereich gestellt.

Viele Grüße
Frank

By Klaus Meier Date 2016-01-07 15:12 Edited 2016-01-07 15:21

Frank Qy. schrieb:

Wenn ich sehe das die Varianten zu schnellen Remispartien führen, deaktiviere ich diese auch.

Ist doch quatsch.
Ein gutes Buch sollte aus
ca. 50% starken Remis-Partien entstehen.
und ca. 50% Partien die nicht Remis ausgegangen sind (ca. 25% Weiss gewinnt ca. 25%Schwarz gewinnt)
Andernfalls taugt das Buch nichts als Turnierbuch.

Deswegen, weil zwei etwa gleichstarke starke Schachspieler (Spieler1 und Spieler2) im Spiel gegeneinander über mehrere Spiele bei wechselnden Seiten
ca. 50% Remis erzielen werden 25% Gewinnt Spieler1 und 25% gewinnt Spieler2
Wenn ich in den Rating Listen schon sehe das die Remiswahrscheinlichkeit deutlich geringer ist als 50%,
dann kann was nicht stimmen mit den Engines. Jedenfalls nicht mit den sehr starken Engines wie Stockfish, Komodo.

K.M.

By Tom Paul Date 2016-01-07 15:20

Klaus Meier schrieb:

Frank Qy. schrieb:

Wenn ich sehe das die Varianten zu schnellen Remispartien führen, deaktiviere ich diese auch.

Und wer sagt das es so sein muss???

By Klaus Meier Date 2016-01-07 15:25 Edited 2016-01-07 15:37

Tom Paul schrieb:

Und wer sagt das es so sein muss???

"Gesetz der großen Zahlen"

1/2 - 1/2 also Remis ist das häufigste Ergebnis (ca.50%) wenn zwei gleichstarke Schachspieler gegeneinander oft spielen.

By Frank Qy. Date 2016-01-07 15:28

Hallo Klaus,

das ist "teilweise" leider ein Trugschluss!

1.
Wenn ich hingehe und nur Remispartien von starken Schachspielern (die fast alle schwächer sind als die TOP-60 im Schnellschach ... nur mal so dahingestellt) nehme, dann habe ich ein Buch bei dem sehr viele Partien durch Stellungswiederholung schnell Remis enden. Fast 500 solcher Varianten habe ich gesammelt und befinden sich im Download File meiner FCT Datenbank. Beim Engine testen bringen mir solche Partien nichts wenn diese schon nach 20 Zügen mit Remis enden bevor die Partie überhaupt begonnen hat.

2.
Da ich seinerzeit auch so dachte beruhen die ersten Versuche des Buches auf solche Daten wie von Dir gerade beschrieben. Und was ist das Resultat nachdem ich nun mittels 160.000 Engine Partien das Buch optimiert habe. Ich habe über 3.500 von ca. 50.000 Varianten aussortieren müssen. Auch in den Remis-Partien von GMs verbergen sich viele schwache Eröffnungszüge die eine Engine viele gnadenloser ausnutzt und oftmals in den Partien selbst gar nicht auffallen.

Aber in der Tat, wenn ich um Varianten erweitere nehme ich nicht nur den Informator, sondern bediene mit einer Schachdatenbank. Suche mir hier in der Tat die Remispartien heraus und selektiere dann auch mittels Informator und Analysen aus. Wenn fertig bringe ich die Varianten ins Buch. Das dann dennoch wieder fragwürdige dabei sind sollte klar sein, denn in der Regel fliegen dann ca. 10% dieser geprüften Varianten wieder raus. Warum? Weil viele Engines damit nicht klar kommen und ein Buch für eine Ratingliste ausgewogen für alle sein sollte. Will keine Partien sehen bei dem das Buch entscheidet wer gewinnt. Sonst kannst Du die Ratingliste über den Jordan jagen.

Also, sage nicht ist doch Quatsch ...
Damit sagst Du nichts anders das jegliche Arbeit an einem Buch Quatsch ist denn ich bin mir sicher das wir uns dahingehend einig sind das es niemals ein optimales Buch geben wird. Und erst Recht nicht beim Einsatz für eine Ratingliste bei dem 60 unterschiedliche Programme spielen. Was die Arbeit natürlich wieder interessant macht, denn unmögliches reizt.

Was meinst Du mit "Turnierbuch"?
Ist so ein beliebter Begriff mit dem ich nichts anfangen kann.

Turnierbuch sollte seinerzeit mal aussagen, dass kritische Varianten durch Anzahl der Partien oder Ergebnis nicht ausgespielt werden sollen. Damit kann ich nichts anfangen. Es soll alles ausgespielt werden wenn denn die Variante ausgeglichen ist. Durch "Turnierbücher" schränken wir uns in der Vielfalt der Theorie ein, meist um uns die echte Mühe ein wirklich gutes Buch zu entwickeln nicht machen zu müssen. Insofern halte ich nichts von diesem Begriff.

Viele Grüße
Frank

By Klaus Meier Date 2016-01-07 15:57

Frank Qy. schrieb:

Was meinst Du mit "Turnierbuch"?

Na ja ich meine das Buch auf das eine Engine während eines Turnier- Wettkampfes (z.B. CEGT) zugreift.
Also doch wohl das Buch, das der Engine vom Prgrammierer beigelegt wurde.

Jetzt kann ich mich dunkel erinnern das wir schon mal darüber gesprochen hatten. Für deine Testläufe machst du
dir gern ein eigenes Buch. Wofür das gut sein habe ich allerdings noch nie verstanden.

By Frank Qy. Date 2016-01-07 16:09

Hallo Klaus,

ich habe ja alle möglichen Bücher gesammelt (seit es ChessBase gibt) oder auch die Bücher der Engine Programmierer.
Es gibt viele gute Bücher aber keines spielt wirklich alles an ECO Codes im Verhältnis zur allgemeinen Theorie aus. Schön zu sehen ist, dass wirklich gute Engine Bücher in der Tat auf die Spieleigenschaften der Engines maßgeschneidert sind bzw. genau das versucht wurde (z. B. das Hiarcs oder Junior Buch von ChessBase). Habe einiges an Büchern probiert aber ich habe immer folgendes Problem ... bei Testläufen mit vielen Partien gibt es zu viele doppelte Varianten und genau das muss vermieden werden. Das versuche ich bei der eigenen Buchoptimierung.

Beispiel:
Testlauf mit 2050 Partien und 42 Gegnern ...
In der Regel muss ich hier ca. 5 Partien wiederholen lassen weil bei den 50 Partien pro Match eine mit normaler Prio belegte Variante doppelt ist bei größer als Zugtiefe 8. Wenn ich nun prüfe wie viele Varianten, länger als Zugtiefe 8 doppelt sind (unabhängig welche Engines bei den 2050 Partien ausgespielt hat) komme ich derzeit auf ein durchschnittliches Ergebnis von ca. 65. Habe also pro Testlauf von 2.050 Partien 65 Varianten die mindestens bis Zugtiefe 8 doppelt sind.

Thema: Vermeidung von doppelten Partien weil ... keine Engine muss doppelt bestraft werden wenn sie im Verlaufe der Partie, nach Eröffnung mit dieser nicht klar gekommen ist. Wichtig für die genaue Messung der Ratings.

Kann natürlich auch mit guten Vorgabestellungen testen wie es z. b. Ingo macht aber das befriedigt mich nicht weil ich nicht immer gleiches sehen will, zumal ich oft zusehe und mir dann langweilig werden würde.

Also, mich befriedigt kein Buch welches mir bekannt ist für den Zweck einer Ratingliste.
Selbst ist der Mann ... Frank, wenn es so dann mache es doch besser ... also versuche ich das. Anfangs war ich nur unzufrieden aber mein Zufriedenheitslevel mit der derzeitigen Arbeit liegt bei ca. 85%. Ist also noch einiges zu tun.

Gruß
Frank

By Benno Hartwig Date 2016-01-07 16:22

> Also doch wohl das Buch, das der Engine vom Prgrammierer beigelegt wurde.

Wenn mich die Engine-Spielstärke interessiert, dann werde ich unterschiedliche Engines sicherlich nicht mit unterschiedliche Büchern gegeneinander antreten lassen!
So hätte ich ja eine Auseinandersetzung der Engine-Buch-Kombinationen (Ok, die könnte einen ja auch interessieren).

Wenn mich aber die Engines interessieren, dann biete ich ihnen auch immer gleiche Bücher.

Dass ein Buch für die eine Engine gut und die andere schlecht wäre, habe ich noch nicht derart gesehen, dass das wirklich relevant sein könnte.
Hast du da ggf. wirklich deutlich andere Erfahrungen?
"Bei Buch X für alle liegt Engine A vorn, bei Buch Y aber Engine B!" oder so?

Benno

By Frank Qy. Date 2016-01-07 16:57

Hallo Benno,

das ist auch kaum zu sehen wenn nicht im Detail geschaut wird bzw. nur auf blanke Zahlen geachtet wird.

Ein nehmen und geben bei Büchern mit vielen "schwächeren Varianten". Die werden bei vielen Partien sich negativ als auch positiv auswirken und am Ende gleicht es sich aus. Das sollte nicht das Thema sein, vielmehr, dass auch mittels besserer Bücher auch bessere Statistiken möglich werden (nicht zuletzt Statistiken zu den Eröffnungen selbst).

Nach wie vor bin ich der Meinung, dass z. B. bei den Ratinglisten und den verschiedenen Ideen für "ausgeglichenes zu Sorgen" die Systeme ... sofern mir bekannt ... alle durchführbar sind. Wenn natürlich Bücher zu Sizilianisch oder Spanisch lastig sind kann es hier und da schon mal zu merkwürdigen Auswertungen kommen aber ob das viel in Elo Ausmacht bei der Masse der gespielten Partien ist doch eher stark fraglich.

Ferdinand hat mir ja im letzten Jahr auf Wunsch einige Statistik Tools hierzu entwickelt die ich rege einsetze (viele kleine nützliche Helfer die GUIs nicht in der Form anbieten).
Stehen in meinem Downloadbereich.

Viele Grüße
Frank

PS: Versuche ja selbst immer, bei jeder neuen Ratingliste, Schwachpunkte der alte Ratingliste abzustellen. Bin da sehr perfektionistisch unterwegs. Ganz abstellen lassen sich die bekannten Schwachpunkte natürlich nicht. Würde ich aber immer alles gleich machen, obwohl mir die Schwachpunkte bekannt sind, hätte ich schon längst die Lust verloren bzw. keinen Reiz mehr. Würde ich heute z. B. eine neue Ratingliste starten hätte ich schon 2 Ideen was ich verbessern würde (wobei diese kaum Auswirkungen auf die Ergebnisse hätten, aber auch so eine Art ... das geht besser ... darstellen).

By Klaus Meier Date 2016-01-07 17:35

Benno Hartwig schrieb:

Dass ein Buch für die eine Engine gut und die andere schlecht wäre, habe ich noch nicht derart gesehen, dass das wirklich relevant sein könnte.
Hast du da ggf. wirklich deutlich andere Erfahrungen?
"Bei Buch X für alle liegt Engine A vorn, bei Buch Y aber Engine B!" oder so?
Benno

Ja schon. Engines die aufgrund ihres eigenen Buches regelmäßig sehr stark aus der Eröffnung heraus kommten gibt es schon ! (Crafty !)
Allerdings sind solche Engines oft dann im Endspiel weniger stark und verlieren eine schon gewonnene Partie dann leider doch noch gegen Stockfish.
Da frage ich mich, was wäre Stockfish erst in Kombination mit einem sehr guten Eröffnungsbuch. Schätze das Stockfish in Kombination mit einem guten Eröffnungsbuch
nochmal 200 Elo Punkte zulegen könnte.

By Frank Qy. Date 2016-01-07 18:58

Jede taktische gute Engine kann mit einem Buch und extrem vielen offenen Varianten an Spielstärke zulegen. Vincent Diepeveen sagte mal, dass ein Buch 200 Elo ausmachen könnte und viele übernahmen dann einfach den Wortlaut, so eine Art gebildetes Märchen. In Leiden sprach ich Vincent auf seine Forum-Message mal an und er sagte selbst naja bis zu 200 könnten es sein. Wunschdenken!!

Tatsächlich ist das einfach zu prüfen was ich vor kurzer Zeit auf Q9550 auch mal gemacht habe.

Stockfish spielt verhältnismäßig viele schnelle Gewinnpartien. Und da ich mehr als 10.000 Stockfish Partien habe ist es einfach ein Buch aus diesen Varianten, die zu schnellen Gewinnpartien führen zu bilden um Stockfish dann wieder mit diesem Buch einen Testrun gegen alle andere zu starten. Macht wirklich Sinn weil Stockfish auch viel gegen sich sieht bzw. eine extrem gute Königssicherheit hat.

Tatsächlich kam wirklich dabei heraus das das Ergebnis um 40 Elo besser war. Wobei ich nur 1.000 Partien habe spielen lassen und sagen wir mal die 40 Elo um ca. 10 Elo nach oben oder unten genau waren ... aber ich sah dann wirklich auch 2 Partien (trotz dieser Königssicherheit) die Stockfish dann auch schnell verloren hat.

Also, Realitäten sehen meist anders aus und das schöne dabei ist ...
Heute kann alles mit der Masse an vorliegen Partien ... natürlich bei ein wenig Arbeitsaufwand ... nachvollzogen werden.

Gibt viele von solchen pauschalen Aussagen im Computerschach.
Im Grunde wimmelt es nur so von derartigen Sprüchen das mir oftmals echt schlecht wird wenn ich das lese. Nichts gegen Dich, bediene mich ja selbst daran wenn ich nichts gegenseitiges auftreiben kann aber wenn ich dann prüfe überdenke ich oft meine eigene Meinung.

Houdini ein guter Taktiker ... eine der langweiligsten Engines nach den Eröffnungszügen ... im Verhältnis zur Spielstärke.

By Wolfgang Battig Date 2016-01-07 17:35

Klaus Meier schrieb:

....
Na ja ich meine das Buch auf das eine Engine während eines Turnier- Wettkampfes (z.B. CEGT) zugreift.
Also doch wohl das Buch, das der Engine vom Prgrammierer beigelegt wurde.
...

Bevor Du, lieber Klaus, so einen Quatsch schreibst, wäre es sinnvoll dich vorher zu informieren, wie z.B. wir (CEGT) testen. Fragen kostet nichts und es sind mindestens 3 aktive CEGT-Tester hier unterwegs, die gerne Fragen beantworten. Vermutungen bringen nichts, außer mich auf die Palme...

Für CEGT kann ich es sicher sagen: Wir testen zu 99,9% NICHT mit Büchern (gaaanz selten vielleicht mal mit einem allgemeinen Buch wie dem von Frank Q.) und schon gar nicht, d.h. zu 100% mit "eigenen Büchern, die der Engine beigelegt wurden"!!! Ist übrigens bei den wenigsten Engines der Fall! Wir testen fast ausschließlich mit Vorgabestellungen unterschiedlicher Länge, meist 8-10 volle Züge.

Ich kenne keine nennenswerte Rangliste die mit "eigenen Büchern" testet. Ausnahme ist die SSDF, aber die ist enginetechnisch so outdated, dass sie wiederum kaum noch nennenswert ist.

By Frank Qy. Date 2016-01-07 17:57

Hallo Wolfgang,

wobei dieses "Allgemeine Buch" ca. 70% der offiziellen Arbeit rund um die Ratingliste ist und das ist einfach zu viel des Guten.
Hätte ich das vorher gewusst ... denn ich muss immer noch jede gespielte Partie durchklicken bzw. mit dem Tools von Ferdinand ist das ja einfach. Dieses Tool prüft den Stand der Eval, drei Züge nach den Eröffnungszügen. Das hilft ungemein und schont die Augen.

Bei der CEGT Datenbank hatte ich zu SWCR Zeiten Buchproben gemacht. Einfach um zu schauen ob die Quote der Buchniederlagen höher ist als bei meiner damaligen SWCR Datenbank. Wobei ich auch nur Stichproben gemacht habe. Konnte aber hier nichts feststellen, die Buch-Niederlagen hielten sich im normalen Rahmen.

Kann an meiner Datenbank gut gesehen werden, weil die Stellungsbewertungen für jede gespielte Partie drin sind. CCRL Leute testeten vor ca. 3 Monaten meine Partien auf Buch-Niederlagen. Bekam eine private Message mit zwei Fehlern bei den Kommentaren (setzen Engines irgend einen Quatsch und dann lief das Tool von Ferdinand nicht durch). Bekam dann den Kommentar das erstaunlich wenige Buch-Niederlagen drin wären. Wäre es anders würde ich auch Tomaten auf den Augen haben wenn ich denn schon jede Partie prüfe (übersehe natürlich auch und so genau wie jetzt bin ich in den ersten Monaten der FCT League noch nicht vorgegangen).

Habe Deinen Kommentar zu den ICE Ergebnissen geortet.
Reizt mich natürlich auch die aktuellen Updates zu testen aber mache es halt 1-2 Monate später.

Verfolge also rege ... bin mal auf Eure SmarThink und Vajolet Ergebnisse gespannt. Der SmarThink Programmierer sagte +50 aber es waren bei den letzten Versionen nie die Verbesserungen die angekündigt wurden, vielleicht auch wegen dem Endspielfehler mit Tablebases.

Weiterhin viel Spaß und Dir und den CEGT Testern ein gutes neues Jahr.

Gruß
Frank

By K.-M. Bitter Date 2016-01-13 13:01

So ein Blödsinn!
Vermutlich hast Du Dich noch niemals mit systematischer Buchentwicklung beschäftigt - oder?
Jedenfalls sehe ich keine Systematik in Deiner Aussage.
Ein Buch muss sich dem Spieler anpassen, egal ob er Mensch oder Engine ist.
Und das ist verdammt viel Arbeit. CB nimmt Dir einen Teil der Arbeit ab, aber Du musst Stellungen erzeugen, die dem Spieler/der Engine liegen.
Falls Du irgendeine Form von Geschmack hast: Ein Buch ist ein Maßanzug - da gilt NICHT: passt sicher halbwegs (der Hälfte), den anderen jeweiligen 25% ist es zu groß oder zu klein.

By Benno Hartwig Date 2016-01-07 08:17

Wichtigstes Kriterium ist, dass ausreichen viele Endstellungen geboten werden.
(also nicht dur die 20 ersten Züge oder so)
Das Buch darf gern viel Breite haben, dann muss es nur mit wenig Tiefe genutzt werden.
Ich möchte halt auch gern sehen, dass die Engines die Entwicklung beherrschen.
Wer dies weniger gut kann, der soll dies nicht durch ein besonders tiefes Buch kaschieren können. Finde ich.

"hauptsächlich Varianten, die in der Praxis wichtig sind" wäre für mich ein weniger wichtiges Kriterium.

Benno

By Frank Qy. Date 2016-01-07 13:04

Hi Benno,

was heute in der Praxis wichtig ist, kann morgen unwichtig sein.
Auch die Theorie ist ständig in Bewegung.

Für Computerschach denke ich mal wichtig, dass es Varianten sind mit denen im Grunde alle TOP-Engines klar kommen und nicht zu weit in die Theorie gehen.

Ein paar Züge mehr als ECO Code.

Führt aber im Grunde auch zu Problemen für ca. 60 ECO codes die wirklich selten sind. Bedeutet das diese auch meist den Engines schlecht bewertet werden. Hier dann nach Varianten zu suchen die sicher / ausgeglichen sind ist echt eine Aufgabe. Daher muss ich so vorgehen, dass ich für diese Varianten oft sehr viel tiefer die Buchzüge hinzufügen muss. Wenn nicht habe ich hierzu wenig im Buch und das was ich habe wird dann meist auch noch schnell deaktiviert.

Das Buch mit meinen Ansprüchen beim Engine Testen zu gestalten ist schwierig und oft hätte ich am liebsten alles hingeworfen. Ganz egal wie lange ich schon daran sitze und wie viele Stunden ich investiert habe. Dann aber ... nicht hinwerfen und immer weiter, es wird schon ... brachte mich dann zu einem derzeit richtig guten Ergebnis.

Wenn gleich ich nicht denke das es mittlerweile perfekt ist.
Schaue ich in den laufenden Crafty und Bobcat Test-Run sehe ich wieder viele bad lines die ich raus bringen musste. Das nervt ... aber je mehr Varianten ausgespielt werden und je mehr Prios gesetzt sind desto mehr wird ausgespielt und desto mehr schlechte Varianten tauchen hier und dort wieder auf.

Alles nicht so einfach aber ich denke machbar!

Stichproben sind einfach.
Einfach von einer neu getesteten Engine die Partien runterladen und Stichproben machen.
Und genau diese Stichproben sind richtig gut (hinsichtlich Verhältnis zu oft ausgespielten und wenig ausgespielten Varianten, das alles spielbar war, das die ECO Codes alle angesprochen werden ...).

Gruß
Frank