Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / FCP-Tourney 2022 nach 24.600 Partien abgeschlossen
- - By Klaus Wlotzka Date 2021-12-31 15:19 Upvotes 6
Hallo Zusammen,

das Anfang November gestartete FCP-Tourney 2022 ist heute zu Ende gegangen. Dank der 32 parallel laufenden Partien mit einer Bedenkzeit von 40 Zügen in 20 Minuten dauerte es nur knapp 2 Monate.
Absolviert wurde das Turnier mit insgesamt 41 Engines in 30 Runden, also insgesamt 24.600 Partien.

Als Eröffnungsbuch wurde natürlich wieder das FEOBOS v20 Contempt 3-5-Buch verwendet. Die durchschnittliche Partielänge betrug über 1 Stunde, 20 Minuten. Also fast doppelt so lang wie das letzte Turnier, jedenfalls genügend Bedenkzeit für hochwertige Partien.

Das Turnier wurde wieder mit umfangreichen Excel-Statistiken nach jeder Runde ausgewertet und auf der Webseite von Frank veröffentlicht. Anschließend eine Zusammenfassung der Ergebnisse.

Nachfolgend möchte ich euch die wesentlichen Statistiken des abgeschlossenen Turniers zeigen. Als erstes der Endstand des Turniers:



Erstmalig dabei waren die Engines Berserk, Revenge, Zahak, Clover, DanaSah, Toga, Berserk, Weiss. Revenge und Stash. Das Stockfish das Turnier vor Dragon by Komodo gewinnt, war sicherlich wenig überraschend. Sehr solide spielte Fire 8 und sicherte sich Platz 3. Sehr stark eingestiegen sind Berserk 7 und Revenge 1.0.

Die Turnier-Remisquote lag bei etwa 53% und damit ca. 4% höher als beim letzten Turnier. Dies hing sicher im Wesentlichen mit der deutlich höheren Bedenkzeit zusammen. Trotz 1.200 gespielten Partien je Engine gab es, entgegen den letzten Turnieren, selbst gegen Ende des Turniers immer noch relativ häufige Platzierungswechsel.



Diesmal hätten wir durchaus 2.000 Partien spielen lassen können um die Platzierungen zu stabilisieren. Am schärfsten war der Dreikampf zwischen Wasp, Minic und Weiss. Am Ende konnte sich Wasp nur aufgrund der besser S-B-Wertung durchsetzen.  Interessant zu sehen, wie sich die Remisquote in den einzelnen Spielphasen darstellt.



Für jede einzelne Engine sind über die Exceldatei umfangreiche Statistiken abrufbar. Hier am Beispiel von Frank’s Lieblingsengine, die Ergebnisse von Wasp 5.00 NN.



Entgegen den vorherigen Turnieren konnte Wasp sein Niveau über den gesamten Verlauf des Turniers in etwa halten und sich deswegen am Ende gegenüber Nimic und Weiß knapp durchsetzen und den 18. Rang erobern. Auffällig die ausgezeichnete Königssicherheit aber nachwievor sehr hohen Remisquote. Hier besteht noch Verbesserungspotential. Auch gut zu sehen, dass Wasp gegen die stärkere Konkurrenz deutlich besser punktet als gegen die weiter unten platzierten Gegner.
Derartige Auswertungen lassen sich über die Excel-Datei übrigens für jede einzelne Engine erstellen. Es genügt, die betreffende Engine auszuwählen, sofort werden die Grafiken neu berechnet.

Fehlen darf natürlich nicht die Kreuztabelle aus der die Ergebnisse jeder Engine gegen jeden Gegner hervorgehen. Eine Hinterlegung in grün kennzeichnet ein gewonnenes Match, orange ein verlorenes Match und gelb ein unentschiedenes Match.



Auch lässt sich sehr schön der Platzierungsverlauf jeder einzelnen Engine je Runde in der Exceldatei ablesen. Besonders unterschiedliche Ergebnisse erspielten sich Shredder, Laser und Dark Toga mit einer Streuung von maximal 24 Plätzen.



Gleiches gibt es für die erzielten Rundensores:



Wie hart umkämpft es zwischen Wasp, Minic und Weiss herging verdeutlicht sehr schön die nachfolgende Grafik. Ab Runde 26 liegen Sie hinsichtlich ihrer Performance praktisch gleichauf.



Besonderes Augenmerk legen wir bei unseren Statistiken darauf, wie schnell es einer Engine gelingt, eine Partie für sich zu entscheiden. Hieraus schließen wir vorhandene Mechanismen für einen erfolgreichen Königsangriff. Gleiches gilt natürlich im negativen Sinne für eine unzureichende Königssicherheit bei schnellen Verlusten.
Interessant zu sehen, dass Schooner hier den vordersten Platz erzielen konnte. Auch Fizbo liegt hier sehr gut.



Eine sehr interessante Statistik ist die Ratingliste bezogen auf die verschiedenen Spielphasen. Wir haben diese für das Mittelspiel, frühe Endspiel, Endspiel und späte Endspiel erstellt. Nur Fire 8 konnte die Vormachtstellung von Stockfish und Dragon by Komodo im späten Endspiel durchbrechen.



Anhand der vielen Statistiken ermittelt das Programm für jede Engine die Spielcharakteristik wie Königsangriff, Initiative, Königssicherheit, der Neigung zum frühen Remisschluss sowie die Spielstärke in unterschiedlichen Partiephasen. Diese Auswertung erfolgt vollkommen automatisch vom Excel-Programm nach festgelegten Kriterien. Hier die Auswertungen für alle Engines.



Dies ist nur ein kleiner Auszug aus den vielen Excel-Statistiken dieses Mega-Turniers. Ein Blick in die Excel-Datei lohnt sich. Wie immer, sind alle Turnierauswertungen, egal ob als Textdateien von Frank oder innerhalb des Excelprogramms, auf der Webseite von Frank downloadbar.

Viel Spaß beim Studium der Ergebnisse.

Als nächstes werden wir dieses Turnier mit den bereits zahlreich vorliegenden Engineupdates aktualisieren. Das heißt, es werden dann nur die Partien der neuen Versionen gespielt und mit den alten ersetzt. So halten wir das Turnier schneller auf dem Laufenden. Frank wird hierzu sicher noch ausführlicher berichten.

Viele Grüße

Klaus
Parent - By Frank Quisinsky Date 2021-12-31 15:40 Edited 2021-12-31 15:57 Upvotes 1
Hallo Klaus,

super!!

Im Grunde habe ich nichts hinzuzufügen.



Glaube ein solches Turnier mit dieser Bedenkezeit hat es noch nie im Computerschach gegeben.
1:20 Stunde pro Partie ist schon eine Hausnummer bei 4.4Ghz.

Kurz zum weiteren Vorgehen:
Es werden 16 Updates in der *.sto Turnierdatei eingespielt.
Bedeutet, zunächst werden 16 Programme die 1200 Partien wiederholen bzw. ein neues Programm ist am Start:
Rodent IV NN ersetzt Demolito.

Hier die derzeitige Update-Liste:

Code:

01. +50 Elo Rodent IV NN will be replace Demolito 2021-07-09
02. + 5 Elo Zahak to 9.0
03. +15 Elo Koivisto to 7.9 NN
04. +15 Elo Arasan to 23.2 NN
05. + 5 Elo Stash to 32
06. + 5 Elo Seer to the official 2.4.0
07. +45 Elo Berserk to 8.5 NN
08. +20 Elo Lc0 0.28.2 CPU-dnn
09. +75 Elo Revenge to 2.0 NN
10. +15 Elo Dragon by Komodo 2.6 NN
11. +25 Elo Minic 3.1.7 NN (new NN file)
12. +10 Elo Stockfish 311221 NN (current dev. version)
13. +15 Elo RubiChess 2021 NN
14. +15 Elo Igel 3.0.10 NN (contempt 16 = experiment)
15. +50 Elo rofChade 2.x dev. NN (current dev. version)
16. +30 Elo Wasp 5.1 NN


RubiChess 2021 wurde ja gerade auch veröffentlicht.
Wasp 5.1 folgt sicherlich in den nächsten 1-2 Tagen.

Die Turnierdaten vom FCP Tourney-2022 dienen als Basics für die geplante neue Ratingliste.
Die Spielbedingungen bleiben also gleich.

Auf meiner Webseite werde ich noch eine Rubrik zu der neuen Ratingliste eröffnen.
Da ich am 02.01.2022 starten möchte, wird das alles in den nächsten 1-2 Tagen passieren.

Folgendes wird sich ändern.
Natürlich kann ich Klaus, während zahlreiche Updates eingespielt werden, keine *.txt Statistiken erstellen.
Das wäre ein wahnsinniger Aufwand, müsste rund um die Uhr am PC sitzen.

Insofern werden Statistiken erst erstellt, wenn eine Update Runde durch ist.
Das kann bei der verwendeten Bedenkezeit logischer Weise etwas dauern (auch wenn ich 32 Cores für die Ratingliste einsetze).

Kurz zum Turnier:
Für Wasp war das eine spannende Angelegenheit.
Platz 18 war von Runde 1 an umkämpft. Letztendlich waren Minic 3.17 und Wasp 5.0 dann Punktgleich und Weiss 2.0 nur einen Punkt dahinter.
Wasp diesemal aufgrund der besseren SB-Wertung Im Glück. Endlich mal Glück gehabt, denn während der letzten beiden FCP-Tourney's verlor Wasp immer kurz vor Schluss noch Ratinglisten-Plätze.
John ist im Moment sehr aktiv und beim ersten Update geht es Xiphos an den Kragen, wir hoffen mit Version 5.1 Xiphos von Platz 17 zu verdrängen und Booot auf Platz 16 anzugreifen.

Zum FCP Turnier-2021 eine um ca. 4% höhere Remisquote.
Der Elo-Durchschnitt zum FCP Tourney-2021 konnte um 85 Punkte verbessert werden.
Die TOP-41 Engines sind also in nur 10,5 Monate um 85 Punkte stärker geworden ... ein Wahnsinn.
Der Zügedurchschnitt ging leider auch um 2 Züge (ohne Aufgabefaktor) nach oben auf nunmehr 89.

Auch wurden deutlich weniger kurze Gewinnpartien produziert.
Die Remisquote bei den schnellen Remisen unter 20 Züge, unter 30 Züge ist gefallen!!!
Das FEOBOS Buch verrichtet seinen Dienst sehr erfolgreich!

Die Remisquote bei den schnellen Remisen unter 40 Züge ist leider deutlicher gestiegen.

Wer nun die beiden Excel Dateien von Klaus (FCP Tourney-2021 und FCP Tourney-2022) vergleicht, kann sich selbst seine Rückschlüsse bilden.
Alle FCP Tourney's wurden von Runde zu Runde dokumentiert (hinischtlich Text-File Statistiken).

Im Download finden sich die Excel Tabellen von Klaus die Partien im Original Shredder *.pgn, aufgearbeitet im ChessExplorer / ChessPad *.pgn und im *.cbh Format.
Alle Textfile Statistiken, Ratinglisten von Bayes, EloStat und Ordo als auch das Shredder *.bkt Buch etc. finden sich im Download File.

Download:
https://www.amateurschach.de/download/_fcp-tourney-2022.zip (172,6Mb)

Die Daten aus dem *.zip file sollten alle Gemüter befriedigen.
Es finden sich sehr viele grandiose Partien auf allerhöchsten Level.
Die TOP-41 Schachprogramme produzierten ein Schachturnier der Category XXXIII (38) auf "nur" einen Core bei 4.4Ghz und den besagten 1:20 Stunden Partien !!!



Den Lesern einen guten Rutsch ins neue Jahr 2022!

Viele Grüße
Frank
Parent - - By Kurt Utzinger Date 2021-12-31 15:43 Upvotes 2
Hallo Klaus
Ganz herzlichen Dank für diese perfekte Zusammenfassung und Eure grosse Arbeit.
Ich wünsche Dir und Frank einen guten Rutsch ins Neue Jahr und alles Gute, vor
allem beste Gesundheit.
Viele Grüsse
Kurt
Parent - - By Klaus Wlotzka Date 2021-12-31 15:54
Kurt Utzinger schrieb:

Hallo Klaus
Ganz herzlichen Dank für diese perfekte Zusammenfassung und Eure grosse Arbeit.
Ich wünsche Dir und Frank einen guten Rutsch ins Neue Jahr und alles Gute, vor
allem beste Gesundheit.
Viele Grüsse
Kurt


Hallo Kurt,

das wünsche ich Dir und natürlich allen Mitlesenden hier im Forum auch.

Viele Grüße

Klaus
Parent - By Frank Quisinsky Date 2021-12-31 16:04
Hallo Klaus,

habe den Link zu diesem Forum-Thread noch in TalkChess im Thread zum Turnier gesetzt.

Junge, Junge, Junge ...
Da haben wir mal wieder einen rausgehauen.



Tja, die Computerschachrecken lassen alle erschrecken!
Der gute Kurt ist auch so einer ... lese immer ganz geheim wenn er etwas im Schachcomputer-Forum schreibt.

Dir einen guten Rutsch und vielen Dank für die stetige Mitarbeit!

Liebe Grüße
Frank
Parent - - By Benno Hartwig Date 2021-12-31 16:35
Wow!!!
Na, dafür muss ich mir erst mal etwas Zeit nehmen...
Aber vielen, vielen Dank dafür an dieser Stelle schon mal!
Parent - By Klaus Wlotzka Date 2021-12-31 18:31
Benno Hartwig schrieb:

Wow!!!
Na, dafür muss ich mir erst mal etwas Zeit nehmen...
Aber vielen, vielen Dank dafür an dieser Stelle schon mal!


Hallo Benno,

die hier gezeigten Statistiken zeigen nur einen Teil der vorhandenen Excel-Statistiken. Für ein umfassendes Studium der Ergebnisse lohnt sich der Download der Exceldatei von Franks Webseite.

Grundvoraussetzung ist allerdings eine halbwegs aktuelle Excelversion (ab Excel 2010 sollte es schon gehen).

Grüße

Klaus
Parent - - By Alexander Holzhaeuser Date 2021-12-31 17:38
Großartige Arbeit von Euch.
Diese Ergebnisse bzw. die Art an Vielfältigkeit hinsichtlich Aussagen, Schwächen, Stärken, Stil pro Engine zu erfahren, ist sehr beeindruckend.
Parent - - By Klaus Wlotzka Date 2021-12-31 18:28
Alexander Holzhaeuser schrieb:

Großartige Arbeit von Euch.
Diese Ergebnisse bzw. die Art an Vielfältigkeit hinsichtlich Aussagen, Schwächen, Stärken, Stil pro Engine zu erfahren, ist sehr beeindruckend.


Hallo Alexander,

danke für die Blumen!
Die Aufarbeitung der Ergebnisse ist meines Erachtens einzigartig.

Damit das überhaupt in dieser Form mit Excel umsetzbar war, musste erstmal eine entsprechende Datengrundlage her. Hierfür war einzig und alleine Frank verantwortlich. Mit seinen Ideen und den tollen pgn-Tools, die derartige Statistiken aus den Datenbankpartien erstellen, schaffte er die Grundlage für eine professionelle Präsentation in Excel. Meine Aufgabe bestand lediglich darin, die Ergebnisse grafisch entsprechend aufzuarbeiten und mithilfe von Textkonvertierungstools (AddIn-Power Query) die Aktualisierung der Rundenergebnisse in Excel möglichst ohne manuelle Arbeit in kürzester Zeit umzusetzen. Für diejenigen, die gerne mit Tabellenkalkulationsprogrammen wie Excel arbeiten, lohnt sich ein Download.

Überhaupt macht die Zusammenarbeit mit Frank extrem viel Spaß. Seine enthusiastische, akribische und perfektionistische Arbeitsweise ist geradezu ansteckend. Man möchte immer noch einen draufsetzen. Als er mich nach dem umfassenden FEOBOS-Projekt fragte, ob ich sein FCP-Turnier mit Excelbeg leiten möchte, hatte ich mich gefragt, was man bei einem Rundenturnier hier groß machen kann. Als ich dann das Datenmaterial aus den pgn-Tools sah, war mir schnell klar, dass hier einiges möglich ist. So sind Statistiken entstanden, welche es vorher noch nicht gegeben hat. Hauptaugenmerk ist gar nicht, welche Engine die Stärkste ist, dass zeigen die reinen Ranglistenseiten ohnehin. Vielmehr ging es darum, die Stärken und Schwächen der Engines herauszufiltern.

Frank hat vor, mit dem Datenmaterial nunmehr eine Rangliste der Top41 Engines zu erstellen. Die Testbedingungen, wie lange Bedenkzeit, möglichst viele aber gleiche Gegner mit identischer Partieanzahl sowie ein ausgewogenes Buch sind ideale Voraussetzungen für eine aussagefähige Rangliste.

Wir feilen noch an der Präsentation der Ergebnisse. Diese wird sich sicher nicht nur auf die reine Eloleistung beschränken.

Hier ist noch einiges zu tun.

Viele Grüße

Klaus
Parent - By Frank Quisinsky Date 2021-12-31 21:26 Edited 2021-12-31 21:34 Upvotes 2
Hallo Klaus,

Du bist der, der mit Excel flüstert.
Ich bin der, der pausenlos in die Welt hinausposount.

Das ist ein Unterschied ...
Mir geht es darum, dass Schwachstellen gefunden werden und User als auch Programmierer animiert werden.

Warum?
Ich profitiere davon!!

Also, diese Arbeit in Excel ist bei weitem sehr viel anspruchsvoller als dämliche Textdateien zu editieren, mit Programmen die ich noch nicht mal selbst erstellt habe.
Auch wenn Ferdy mir einiges auf Wunsch programmiert hat, so ist Ferdy derjenige welcher die Vorarbeiten machte, nicht ich.

Oder Norm Pollock, oder der Programmierer von Ordo.
Allen helfe ich Ideen in die Programme zu bekommen, so auch Miguel, oder Norm.
Aber letztendlich sind die anderen die wirklichen Macher.
War bei Arena nicht anders, der Superstar war Martin Blume ... nur er brauchte Stoff, Ideen damit er werkeln konnte.

Ich wünsche mir, dass wir mehr mit den Daten machen, uns mehr mit Programmen beschäftigen als oberflächlich aktiv zu sein.
Wir können schon seit 20 Jahren nicht mehr aus eigener Kraft wirklich bewerten und benötigen starke Statistik-Programme.

Die haben wir nicht, weil unsere Datenbankprogrammierer nicht dazu in der Lage sind.
Teils schwachsinniges Zeug anbieten, welches wenig aussagt.

So müssen die Tool-Programmierer ran oder Personen wie Du, die ein Talent dazu haben Statistik wirklich zu verstehen bzw. auch umsetzen können.
Programmierer sind auch keine Großmeister und benötigen Unterstützung, damit das was wir alle lieben auch ständig verbessert werden kann.

Das sind dann wieder geniale Köpfe, die wie Maschinen denken können.
John Stanback, ein begnadeter Programmierer, beweist es mir mit jeder E-Mail.
Sitze dann immer wie klein-Doof vor dem PC wenn ich Ideen von John versuche nachzuvollziehen.

Gibt noch viel herauszufinden, die Ära hat für uns Unwissende durch KI erst begonnen.
Nur, wir müssen KI in wenig puschen damit auch KI in die Puschen kommt.



Die geschriebene Neujahrsansprache in Sachen Computerschach!
Lange Rede kurzer Sinn, Du hast ein Meisterwerk vollbracht.
Ich habe nur Daten, die kluge Köpfe entwickelten, zusammengebracht.
Bin also selbst eher der Sklave der Engines, Du bist hingegen ein Excel-Genie!



Viele Grüße
Frank
Parent - By Frank Quisinsky Date 2021-12-31 21:59 Edited 2021-12-31 22:13 Upvotes 1
Hi Klaus,

experimtiere in der wenigen Zeit (das Turnier nimmt wirklich zu viel Zeit in Anspruch) mit Eröffnungssystem, die für Computerschach-Programme einladend sind.
Einladend, aber nach dem Buch ausgeglichen.
FEOBOS ist ja eh nur ein Buch ... welches 3 Züge nach ECO-Code Bildung den Engines die Heeresführung überläßt.

Habe Dir mal Beispiele in die *.zip Datei gelegt.
PNGS und Ecolist Auswertungen der vier Datenbanken nach Zugzahl sortiert.
Findest Du im ZIP Verzeichnis unter:

ordo_1.26__average-3176-moves__other-stats.

Die ecolist.txt in Verbindung mit der pngs Auswertung ist hochdramatisch.
Wir können mit den ECO-Daten förmlich spielen und wenn wir wollten komplett manipulieren für experimentelle Zwecke.

Gerade wenn ich z. B. die ganzen Daten der "Short-Games Datenbanken aus: FCP Tourney-2020, 2021, 2022
von Gewinnpartien, die mit Zugnummer 059 (ohne Aufgabefaktor) geendet haben, ziehe.

Da wir ja mittels FEOBOS alles was es gibt, spielbar ist, im Buch haben macht das Sinn.

Ziel könnte es z. B. sein ... ein Hammer Buch für Engine-Engine Wettkämpfe zu erstellen.
So, dass nur die Systeme Einzug finden, die grandiose Computerschach-Partien produzieren.

Das wäre eine wahnsinnige Hilfe auch für Programmierer noch besser auf Fehlersuche zu gehen.
Meine, wenn denn zu viele schnelle Niederlagen produziert werden und mehr Beispiele für die Gründe vorliegen.
Oder wenn ein Programm auf dem Weg ist, sehr viele Partien positiv zu gestalten ... kann auch das verbessert werden.

Es macht also Sinn FEOBOS v2 noch ein Weilchen zu verschieben und zu versuchen mittels der neuen FCP Tourney-RL mehr Material zu produzieren.
Hat Herzklabaster-Charakter wenn gut und gerne 50% - 70% der erzeugten Partien dramatisch verlaufen, gerade für Personen die zuschauen.

Eine ganz wesentliche Idee wäre es, die bisherigen ECO-Statistiken der Excel über Board zu werfen und neu aufzubauen, diese Ideen zu berücksichtigen.

Übrigens interne Information für Dich:
Das ist der Grund warum ich nie das Buch nach der Excel aufgebaut habe.
Ich sehe in Deiner Excel wo zu wenige Varianten ausgespielt werden aber das Buch ist mehr auf 1. e4 getrimmt.
Hat also im Vergleich zu GM-Auswertungen einen 15-20% Booster für schärfere e4 Varianten.

Aber ich werde erst mal alles in Ruhe neu konfigurieren und wieder ans Laufen bringen, bevor wir dann beim neuen Event noch besser werkeln können.
Und dann brauche ich auch 1-2 Wochen Pause ... in der Zeit werden die Rechner natürlich schon auf Hochtouren laufen.



FEOBOS leistet wirklich super gute Dienste um Engines sehr genau zu testen!!

Viele Grüße
Frank
Parent - By Alexander Holzhaeuser Date 2022-01-01 11:57
Danke Klaus, für die ausführliche Rückmeldung.
Ich bin mehr der stille Leser in diesem Forum - aber Aktionen wie diese gehören beantwortet bzw. rückgemeldet.
Auch deshalb, weil dort Engine zum Einsatz kommen und durch dieses Turnier doch für den ein oder anderen interessant geworden sein könnte.
Frank Lieblingsengine Wasp gehört bei mir mittlerweile zu den Standardengine.

Viele Grüße
Alex
Parent - - By Klaus Wlotzka Date 2021-12-31 19:08 Upvotes 1
Hello all,

attached previous posting with the translations into English via using a translation program. Apologies for a possibly not quite successful translation.

the FCP Tournament 2022, which started at the beginning of November, ended today. Thanks to the 32 games running in parallel with a thinking time of 40 moves in 20 minutes, it took just under 2 months.
The tournament was completed with a total of 41 engines in 30 rounds, total of 24,600 games.

The FEOBOS v20 Contempt 3-5 book was of course used again as the opening book. The average game length was over 1 hour, 20 minutes. So almost twice as long as the last tournament, at least enough thinking time for high quality games.
The tournament was again evaluated with extensive Excel statistics after each round and published on Frank's website. Afterwards a summary of the results.
Below I would like to show you the main statistics of the completed tournament:
First, the final standings of the tournament




For the first time, the engines Berserk, Revenge, Zahak, Clover, DanaSah, Toga, Berserk, Weiss. Revenge and Stash. That Stockfish won the tournament ahead of Dragon by Komodo was certainly not surprising. Fire 8 played very solidly and secured 3rd place, while Berserk 7 and Revenge 1.0 started very strongly.
The tournament draw rate was about 53.00, which is about 4% higher than the last tournament. This was certainly mainly due to the significantly longer playing time. Despite 1,200 games played per engine, there were, contrary to the last tournaments, still relatively frequent placement changes even towards the end of the tournament.




This time we could well have had 2,000 games played to stabilize the rankings. The three-way battle between Wasp, Minic and White was the fiercest. In the end, Wasp won only because of the better S-B rating.  It's interesting to see the draw rate in the individual phases of the game.



For each individual engine, extensive statistics are available via the Excel file. Here at the example of Frank's favorite engine, the results of Wasp 5.00 NN.



Contrary to the previous tournaments, Wasp was able to maintain his level throughout the tournament and therefore in the end narrowly beat Nimic and White to take 18th place. The excellent king security but still very high draw rate is striking. There is still room for improvement here. By the way, such evaluations can be created for every single engine via the Excel file. It is sufficient to select the engine in question and the graphics are immediately recalculated.

Of course, the cross table showing the results of each engine against each opponent should not be missing. A green background indicates a won match, orange a lost match and yellow a drawn match.




Also the ranking of each engine per round can be seen very nicely in the excel file. Shredder, Laser and Dark Toga achieved particularly different results with a maximum spread of 24 places.



The same is true for the round scores achieved:



The following chart shows just how fiercely contested Wasp, Minic and Weiss were. From round 26 onwards, they are practically on a par in terms of performance.



In our statistics, we pay special attention to how quickly an engine succeeds in winning a game. From this we infer existing mechanisms for a successful king attack. Of course, the same applies in a negative sense to insufficient king security in case of quick losses.
It is interesting to see that Schooner could achieve the top rank here. Fizbo is also very well placed here.




A very interesting statistic is the rating list related to the different game phases. We created these for the middle game, early endgame, endgame and late endgame. Only Fire 8 was able to break the supremacy of Stockfish and Dragon by Komodo in the late endgame.



Using the many statistics, the program determines for each engine the game characteristics such as king attack, initiative, king security, the tendency to early draw as well as the playing strength in different game phases. This evaluation is done completely automatically by the Excel program according to specified criteria. Here are the evaluations for all engines.



This is only a small excerpt from the many Excel statistics of this mega tournament. A look into the Excel file is worthwhile. As always, all tournament evaluations, whether as text files from Frank or within the Excel program, are downloadable from Frank's website.
Have fun studying the results.

Many greetings

Klaus
Parent - - By Wilhelm Hudetz Date 2022-01-01 09:08
Wow, dass ist Umfangreich. Mal schauen wo ich da anfange 
Parent - By Frank Quisinsky Date 2022-01-01 10:28 Edited 2022-01-01 10:45
Hi Wilhelm,

Spielstile von Programmen sind reizvoll.
Hat mich immer schon fasziniert.

TheKing hat auch etwas schönes und war den Programmen seiner Zeit teils voraus.
Aber Johan hatte auch Glück, dass er Wissen von einem GM beim Übergang Endspiel einarbeiten konnte.
TheKing ist ja eher ein wissensbasiertes Schachprogramm wo noch versucht wurde Schachwissen umzusetzen.
Die spezielle Mattsuche machte dann TheKing auch in Schachcomputern interessant.

Heute natürlich schon überholt aber dennoch übt TheKing durch die Möglichkeit der Spielstile einen gewissen Reiz aus.
Spiele auch gerne gegen den TheKing Performace.

Betrachten wir aber die heutigen Spielstärken liegen mal so eben ca. 700 Elo zwischen Wasp und TheKing (softwaremäßig).
Habe die beiden mal auf meinem Ultrabook mit 3.2Ghz bei 40 in 10 antreten lassen, letzte TheKing WB Version.

Ging 96,5 : 3.5 aus (ohne Verlustpartien, also immerhin 7x Remis) aber interessanter war der Zügedurchschnitt der Gewinnpartien von Wasp.
TheKing wurde nicht nur zerrissen, das Teil wurde zerschmettert oder besser hingerichtet im Waspitiologischen Königsangriff.

Hart aber Realität und trotzdessen ist TheKing reizvoll für das Selbstspiel und hat eine enorme Spielstärke.

Viele Grüße
Frank

Schaue Dir mal an wie viele Partien Wasp z. B. im FCP Tourney-2022 unter 50 Zügen bis zum Matt verloren hat.
Ergebnis = 0 gegen Stockfish und Co. Und wer gegen sich sieht, sieht auch meist für sich. Nur leider ziehen bei den enormen
Spielstärken und der Suchtiefe von Wasp gegen die TOPs die sehr schnellen Angriffe nicht mehr zu häufig.
Die Königssicherheit bei vielen Figuren und die Kunst der Eröffnungsbehandlung ist bei Wasp aber im TOP-10 Bereich.
Da gibt es kaum Programme die dieser enormen Stärke trotzen können. Und genau das macht Wasp menschlich, zumal
die Spielstärke im Endspiel zurückgeht ... wie auch im Vergleich der besten Schachspieler gegen beste Schachsoftware.
Das Teil wird mich noch in 20 Jahren begeistern, wenn ich noch so lange lebe.
Parent - By Thomas Müller Date 2022-01-01 11:33
Danke an Frank und Klaus!
Diese Excel-Sheets....immer wieder beindruckend!

Grüße und gutes Neues Jahr!
Parent - By Peter Martan Date 2022-01-01 12:39
Wow, ein Silvester- Feuerwerk der besonderen Art, bewundert
Parent - - By Timo Haupt Date 2022-01-04 10:27 Edited 2022-01-04 10:41
Auch von meiner Seite noch einmal nachträglich einen herzlichen Dank an Frank und Klaus für dieses Turnier und die umfangreichen Statistiken! Das ist für mich Computerschach in Perfektion - besser kann man es echt nicht machen! Ich hoffe, ihr habt die Zeit und Lust, diese tolle Arbeit auch in diesem Jahr fortzusetzen - habe gerade gelesen, dass ihr das Turnier durch Engine-Updates immer aktuell halten wollt. Das finde ich eine sehr gute Idee!
Parent - - By Klaus Wlotzka Date 2022-01-04 14:18 Edited 2022-01-04 14:46
Timo Haupt schrieb:

Auch von meiner Seite noch einmal nachträglich einen herzlichen Dank an Frank und Klaus für dieses Turnier und die umfangreichen Statistiken! Das ist für mich Computerschach in Perfektion - besser kann man es echt nicht machen! Ich hoffe, ihr habt die Zeit und Lust, diese tolle Arbeit auch in diesem Jahr fortzusetzen - habe gerade gelesen, dass ihr das Turnier durch Engine-Updates immer aktuell halten wollt. Das finde ich eine sehr gute Idee!


Hallo Timo,

vielen Dank für die netten Worte. Keine Sorge, wir haben bereits weitergehende, langfristige Pläne und werden das Konzept als Rangliste weiterführen. Die Vorbereitungen laufen bereits.

Dabei werden die neuen Engineversionen integriert ohne das Turnier jedesmal wieder komplett neu zu starten. Mehr Informationen folgen demnächst.

Viele Grüße

Klaus
Parent - - By Frank Quisinsky Date 2022-01-04 21:50 Edited 2022-01-04 22:05
Hallo Timo, Klaus,

das Konzept für die neue Ratingliste ist sehr simple und steht unter dem Motto:
Darstellung auf der Webseite so einfach wie möglich gestalten!!

1. Auf meiner Startseite finden sich:
- Live Links
- *.zip mit Excel Daten von Klaus (kommt noch)
- Ratings (die fehlenden kommen natürlich noch)
- während der "Runs" die Rundentabellen
- Download File aller Daten.

2. Auf der Detailseite (eingebettet im Frame, Menü-System meiner Seite) findet sich:
https://www.amateurschach.de/main/_fcp-tourney-ki.htm ... die neue Detailseite!

Hier werden nur Update Informationen aufgenommen, die Spielbedingungen übersichtlich dargestellt.
Und das war es ... sehr simple!

--

Die Basics sind die Daten vom FCP Tourney-2022.

Nach dem FCP Tourney-2022 habe ich 16 der 41 Engines geändert.
Es spielen sich also derzeit 16 Engines gleichzeitig in die Ratingliste ein.
Dieser Vorgang schimpft sich: "Run-1" und dauert bei 16 Engines ca. 30 Tage.
In dieser Zeit kommen wietere Updates der TOP-41, wie z. B. gestern Minic 3.18.
Diese Updates werden gesammelt und bilden dann den kommenden "Run-2" ... etc.

Es wird maßgeblich 2 Ratinglisten geben:

1. Die Ratingliste der aktuellen TOP-41 in Turnier-Form.
2. Die Ratingliste aller gespielten Partien. Die Daten vom FCP Tourney-2022 und die vom "Run-1".

--

Das neue System ist recht simple und wird sich schnell einspielen!!

Was ist neu?
Eine Ratingliste, die in Turnierform der TOP-41 erspielt und dargestellt wird.
Klaus kann sich also ständig an diesen Daten austoben und die Excel Statistiken fertigen.

---

Was wurde geändert:
Heftig ...

Viele Kleinigkeiten die wahnsinnig viel Zeit gekostet haben.
Die Engine Namen waren zu lang und mussten drastisch gekürzt werden.
So gaben Tools die Statistiken sehr dumm aus (bei Komodo war der Engine Name z. B. 5 Stellen zu lang).
Hatte hier viele zu viel Arbeit ständig editieren zu müssen, damit Klaus dann alles schnell in die Excel übernehmen kann.

Bedeutet:
- sämtliche Engine-Konfigurationen mussten geändert werden.
- die vorhandene Basis-Datenbank musste geändert werden.
- die Darstellung auf der Webseite wurde vereinfacht.

Bei der Excel Datei:
- ziemlich viel was umgemodelt werden muss.
- viele Statistiken, die unnötig waren, sind draußen.

Klaus und ich haben diskutiert was wirklich an *.txt file Statistiken notwendig ist um alles spannend, zielführend und ausreichend darzustellen.
Die Excel wird also einfacher werden, auch hier nach dem Motto ... Arbeit erleichtern und auf das notwendige beschränken.

Nehmen wir also irgend etwas neues in den Statistiken zukünftig auf, werden wir uns genau überlegen ob dies hinsichtlich entstehenden Arbeitsaufwand durchführbar ist.

Aus dem FCP Tourney-2022 wird also ein sicherlich sehr spannendes Langzeit-Event.

Auch wenn derzeit zu viel neu ist ... denke alles wurde gut überlegt.
Hoffe es wird Dir und anderen die sich dafür interessieren gefallen bzw. freuen wir uns über Dein Interesse und den positiven Kommentaren.

Viele Grüße
Frank

für Klaus:
Ich muss die Rundenergebnisse zu den laufenden "Runs" auf der Webseite darstellen.
Das ist für John Stanback wichtig. Er schaut sich fast jeden Tag den Wetterbericht von Wasp an und freut sich darüber (er liebt das).
Nach Runde 1 war die Wetterlage also unbeständig, nach Runde 2 kommt offenbar ein Hochdruck Gebiet über die Lausitz nach Colorado.
Parent - By Frank Quisinsky Date 2022-01-04 22:17 Edited 2022-01-04 22:31
Hi Klaus,

schaue mal, Platz 17 in Runde 2.

Die Startseite ist lustig.
Oben der Chef mit der Information ... Wasp 5.20 ist verfügbar.

Darunter wir, die Jünger ...
Binden das Teil der Begierde direkt ein und lassen es gegen die TOP-41 fighten.

Von daher werde ich zukünftig kaum etwas auf der Startseite verändern.

Die Replay-Zone von Firefather ist geil.
Kann ich, wenn ich nicht zu Hause bin, immer sehen wie der nächste Wetterbericht für John sich entwickeln wird.

Wenn sich das jetzt eingespielt hat, wird er sicherlich öfters eine Beta senden.
Sind die Ergebnisse gut, wird sich der Chef wieder melden in der Message darüber ... Wasp x ist verfügbar!

Viele Grüße
Frank

Den Wetterbericht gibt es für jeden interessierten TOP-41 Programmierer!
Der RubiChess Programmierer sitzt also derzeit, mit einem Cocktail in der Hand, auf Mauritius und beobachtet die Lage
gelassen. Er machte in Runde 1 Platz 8 und in Runde 2 Platz 9. Die Engine dreht, wie auch beim FCP Tourney-2022 beständig
die Runden und läßt sich durch nichts, aber auch gar nichts erschüttern. Bei Wasp löst das heftigen Jucken in den Achselhöhlen aus.
Da müssen wir ja noch hin ... Die Konkurrenz ist echt nicht zu erschüttern. Minic 3.18 und Rodent 1.0 werden Wasp überholen.
In der Hoffnung das Wasp xihpos killt könnte es zu Platz 19 kommen oder ein Tornado zieht auf.
Up Topic Hauptforen / CSS-Forum / FCP-Tourney 2022 nach 24.600 Partien abgeschlossen

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill