Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Kleines Neujahrsturnier
- - By Klaus Wlotzka Date 2019-01-04 16:47 Upvotes 3
Hallo Zusammen,

ich habe zum Jahreswechsel mal ein kleines Turnier mit den drei stärksten aktuellen Schachprogramme

Stockfish 10
Komodo 12.3
Houdini 6.03

nach den gleichen Bedingungen wie bei der damaligen CSS-Rangliste,jedoch mit aktueller Hardware, spielen lassen.

Testbedingungen:
Prozessor: Intel/R) Core™ i7 6700HQ CPU @ 2,60 GHz, 2592 MHz
Threads pro Engine: 4 CPU
Pondern: ja
Buch: 10 Eröffnungspositionen SEE10
Bedenkzeit: 10 Minuten pro Partie zzgl. 10 Sekunden pro Zug
Tablebases: 5 Steiner

Statistik:
kürzeste Gewinnpartie: 39 Züge (Stockfish-Houdini 1:0)
längste Gewinnpartie: 124 Züge (Komodo-Houdini 1:0)
kürzeste Remispartie: 17 Züge (Stockfish-Komodo 1:0)
längste Remispartie: 203 Züge (Komodo-Houdini)
Anzahl Partien <20 Züge: 1 Partie (-/1/-) [Weißsieg/Remis/Schwarzsieg]
Anzahl Partien <30 Züge: 0 Partien (-/-/-) [Weißsieg/Remis/Schwarzsieg]
Anzahl Partien <40 Züge: 3 Partien (1/1/1) [Weißsieg/Remis/Schwarzsieg]
Remisquote: 57,50%

Ergebnis:


Das Stockfish 10 dieses Turnier gewinnt, war wenig überraschend. Überrascht hat mich dennoch, wie deutlich sich Stockfish absetzen konnte. Stockfish verlor gegen dies starke Gegnerschaft nur eine einzige Partie. Entschieden wurden die Partien zumeist im Übergang vom Mittelspiel ins Endspiel, eben das Steckenpferd von Stockfish. Durch die 10 Sekunden Bonuszeit pro Zug gab es auch kein Blitzgemetzel im Endspiel. Die Engines erreichten durchschnittlich eine Rechentiefe von 30 Zügen. Auch im Rahmen hielt sich bei diesem starken Teilnehmerfeld die Remisquote. Hier hatte ich eine höhere Quote erwartet.

Eventuell wiederhole ich das Turnier zum Vergleich mal mit dem FEOBOS-Buch.

Viele Grüße

Klaus
Parent - - By Frank Quisinsky Date 2019-01-05 10:48
Hi Klaus,

bin mir sicher, dass mit unserem FEOBOS Buch die Remisquote zurück geht, obwohl das Buch ausgeglichen ist.
Dahingend erfolgen ja alle erdenklichen Optimierungen mit der Maßgabe das alle 500 ECO Codes berücksichtig werden sollten.
Solche Experimente machte ich auch schon!!

Das Einzige was noch verbessert werden könnte wäre aus dem FEOBOS 20.1 Contempt 3 Buch die gesammelten 210 Stellungen herauszunehmen, die trotz Contempt Berechnungen zu schnellem Remis unter 20 Züge führen. Habe die Stellungen alle in einer Datenbank und werde das sicherlich auch noch machen.

Was mich reizen würde wäre eine Option "Partieabbruch mit Einschätzung des Endergebnisses bei x Figuren auf dem Brett".
Daraus dann eine kleine Ratingliste erzeugen.

Mensch könnten GUI mäßig noch so viel machen und seit Jahren steht der Bereich.
So kann das ganze Zeug, welches im Übergang zum Endspiel Entscheidungen produziert ausgeklammert werden.

Verbleibt Spielstärke bei vielen Figuren auf dem Brett, eigentlich das Thema was Menschen am Meisten interessiert.
Und so werden wir auch schnell erkennen, dass Programme wie Stockfish und die viele anderen, die heute wenn überhaupt erkennbar gleich spielen" anderen Schachprogrammen gar nicht mehr so deutlich überlegen sind.

Wir müssen ja heute schon mit vielen Tricks arbeiten um solche Dinge die klar sind oder besser, für gähnende Langeweile sorgen, herauszufiltern.

Viele Dank für Deinen Beitrag
Frank
Parent - - By Klaus Wlotzka Date 2019-01-05 16:19
Hallo Frank,

das wäre dann so etwas, wie die Ermittlung der Spielstärke im Mittelspiel. Ein interessantes, bisher noch unerforschtes Feld. Seitens der GUI müsste die Partie unterbrochen werden, sobald die Bewertungen einen bestimmten vorgegebenen Wert erreicht oder eine gewisse Anzahl von Figuren getauscht wurden. Ausgegeben werden müssten dann die beiden Bewertungen der beiden Engines. Noch besser wäre, wenn nach Abbruch der Partie automatisch eine Referenzengine geladen wird, welche einen dritten Wert für die Bewertung ausgibt.

Mit den Bewertungen nach Abbruch der Partien könnte man dann noch eine zu definierende Spielstärkenbewertung für das Mittelspiel vornehmen.

Man bräuchte zudem die erste Bewertung nach Verlassen der Eröffnungsvorgabe um einen Differenzwert zur Abbruchstellung zu bekommen.

Das GUI-seitig zu programmieren wäre nicht wirklich kompliziert. Ich fürchte nur, mangels allgemeinen Interesses, wird sich kein Programmierer hierzu bemühen.

Aus dem Engine-Output ließe sich mit einem Hilfsprogramm zumindest die erste und letzte Bewertung herauslesen, ohne das man an der GUI etwas ändern müsste. Die Anzahl der auf den Brett verfügbaren Figuren ließe sich über das simple Abzählen der Anzahl der Schlagzeichen (x) auslesen. Leider müsste man dann die Partien bis zum bitteren Ende ausspielen. In der Fritz-GUI könnte man zumindest einen maximalen Zugwert vorgeben, damit die endlosen Endspiele für die Ermittlung der Mittelspielstärke verschwinden.

Mit Excel ließen sich sicher wieder fantastische Statistiken erstellen.

Nur so dahingeträumt.

Viele Grüße

Klaus
Parent - - By Frank Quisinsky Date 2019-01-05 20:12
Hi Klaus,

genau das!!
Bin mir sicher wenn das Projekt angegangen wird, Excel in Deinen Händen erlebt eine Revolution.

Aber wir brauchen die GUI dazu.
Hatte schon Wünsche bei Cutechess geäußerst aber die sind nicht umgesetzt wurden.

So lange kein GUI Programmierer eine Option hierfür ins Leben ruft ...
Leider!

Viele Grüße
Frank
Parent - - By Klaus Wlotzka Date 2019-01-05 23:14
Hallo Frank,

ich denke, es geht auch ohne Änderung der GUI mithilfe eines pgn-Tools.

Grüße

Klaus
Parent - - By Frank Quisinsky Date 2019-01-06 00:21
Hi Klaus,

hast Recht, sollte ohne gehen!!
Habe Deine Hinweise, auch die E-Mails aufmerksam gelesen.

Nun ja, könnte ein hübsches Projekt draus werden.
Bin mir auch sicher das Ferdinand uns das benötigte Tool programmieren wird.

Müssen dann nur ein absolutes schlüssiges Konzept entwickeln.
Wäre geil, könnten wir uns heute das langweilige, weil ja fast perfekte "Übergang Endspiel" Zeug ersparen.

Auch hättest Du für Excel und Brettdarstellungen ja schon vieles entwickelt.
Aber wer weiß wo das enden wird wenn wir starten?!

Unsere Frauen ...



Gruß
Frank
Parent - - By Klaus Wlotzka Date 2019-01-06 00:33
Frank Quisinsky schrieb:

Hi Klaus,

hast Recht, sollte ohne gehen!!
Habe Deine Hinweise, auch die E-Mails aufmerksam gelesen.

Unsere Frauen ...





Das müssen wir wohl etwas langfristiger, wohl dosiert angehen ...
Parent - - By Peter Martan Date 2019-01-06 07:44
Hallo Klaus!
Die Idee, Partien nicht immer ganz ausspielen lassen zu müssen, nur um die Eröffnungsphase allein zu testen, ist für mich so alt wie mein Hiersein im Forum und älter.
Ihr werdet allerdings nicht nur an Eure Frauen denken müssen dabei, Frank und du, sondern auch an die vielen alten Stellungstestphobiker.

Jedwede Art von Stellungstests ausspielen zu lassen, (und was liegt näher, als Stellungen aus der Eröffnungstheorie als das zu nehmen, was sie sowieso auch im "normalen" Eng-Eng sind, als positionielle Teststellungen und sie dann aber auch nur für die Eröffnungsphase allein zu testen) eine bestimmte Variantenlänge lang und die Evals am Anfang und am Ende zu vergleichen, und möglichst auch bestimmte einzelnen Züge entlang der Line, wäre schon immer das Missing Link zum kompletten Eng-Eng-Match gewesen, das ja bekanntlich die Eröffnungsstellungen dreimal testet, in der Eröffnung, im Mittelspiel und im Endspiel.

So lange Euch niemand eine GUI- Adjudikation bei bestimmten Figurenzahlen am Brett eigens programmiert, was spricht dagegen einfach einen Zugzahl- Grenze für die Partiefragmente zu nehmen?
Im Nachhineinein kann man immer noch mit .pgn- Filtern alles, was über eine besimmte Figurenzahl hinausgeht, abschneiden, nein?
Parent - By Frank Quisinsky Date 2019-01-06 09:35 Edited 2019-01-06 09:48
Hi Peter,

früher war das Mittelspiel die Stärke der Schachcomputer.
Heute ist das Mittelspiel die Schwäche der TOP-Engines auf übermenschliches Niveau.
Klar sind die TOP-Programme im Mittelspiel stärker geworden.

Was im Endspiel früher bei den Schachcomputern schlecht war ist bei Schachprogrammen heute explodiert.
Stockfish spielt den Übergang zum Endspiel um grob 500 Elo stärker als im Mittelspiel und ist im Mittlspiel ja schon bei 2900 Elo angekommen. Wahrscheinlich heute über 3000 Elo, schon länger die Statistiken nicht mehr gemacht.

Das hat sich das Blatt im Vergleich zu den Schachprogrammen gewendet. Aus der fatalen Schwäche wurde eine unmenschliche Stärke (Übergang Endspiel, Endspiel).

Andere Schachprogramme spielen auch ein extrem gutes Mittelspiel.
Da macht es heute Sinn genauer hinzuschauen!
Der Reiz beim Computerschach war immer die Stärken zu ziehen.
Die gehen bei vielen Programmen unter wenn im direkten Vergleich immer der Übergang zum Endspiel herhalten muss, bzw. viele Programme dort erst vermöbelt werden.

Eröffnungsphase - Mittelspiel zu testen ist in der Tat ein alter Hut.
Der erste der das vernünfitg aufgegriffen hat war Wit Braslawski mit seinem Mittelspielbuch bei der Entwicklung der Schachakademie.
Von anderen belächelt war Wit doch seinerzeit sehr überzeugt von seinen Thesen.

Er war hinsichtlich Ideenreichtum mit seiner GM-Truppe allen anderen in der Entwicklung weit voraus.
Nicht, bei der Umsetzung zu seiner GUI (die war natürlich auch gut) aber von seinen Visionen war er anderen weit voraus.

Das, was wir z. B. heute mit Leela feiern, sagte es schon ... Nightmare wurde von einem holländischen Programmierer aufgekauft um das Programm dann für solche Zwecke einzusetzen (knapp vor dem Jahr 2000) ist genauso eine alte Kamelle, die aber heute besser umzusetzen ist wie noch im Jahr 2000, hatte z. B. Wit schon 1996 auf seinem Fahrplan. Er wollte durch Lernen das Mittelspiel revolutionieren. Das was der Mensch dringend benötigt wollte er immer umsetzen. Er war zur falschen Zeit am falschen Ort (sagte ich ihm öfters bei Telefonanten). Das wollte er natürlich nicht hören aber seinerzeit waren die Meisten gedanklich nicht so weit.

Ältere Ideen müssen nicht schlecht sein.
Wie z. B. die 3-Hirn Ideen.
Die könnten wir heute bis Erschöpfung mit ergänzenden Ideen anreichern und komplett ausschlachten.

Mit FEOBOS haben wir ja ein Buch geschaffen welches bei Contempt 3 über 30.000 Teststellungen zu allen 500 ECO Codes enthält. Also 30.000 spielbare Vorgabestellungen die ausgeglichen und nicht direkt Remisträchtig sind. Auf FEOBOS nun ein weiteres Projekt zu legen um sich nach der Theorie mit dem spannenden Mittelspiel zu beschäftigen macht Sinn. Im Mittelspiel werden mehr Partien im Menschenschach entschieden als beim Computerschach. Menschen spielen hier also aufgrund der Komplexheit fehleranfälliger. Insofern reizvoll für Menschen ...

Viele Grüße
Frank
Parent - - By Klaus Wlotzka Date 2019-01-06 09:40
Peter Martan schrieb:

Hallo Klaus!
Die Idee, Partien nicht immer ganz ausspielen lassen zu müssen, nur um die Eröffnungsphase allein zu testen, ist für mich so alt wie mein Hiersein im Forum und älter.
Ihr werdet allerdings nicht nur an Eure Frauen denken müssen dabei, Frank und du, sondern auch an die vielen alten Stellungstestphobiker.

Jedwede Art von Stellungstests ausspielen zu lassen, (und was liegt näher, als Stellungen aus der Eröffnungstheorie als das zu nehmen, was sie sowieso auch im "normalen" Eng-Eng sind, als positionielle Teststellungen und sie dann aber auch nur für die Eröffnungsphase allein zu testen) eine bestimmte Variantenlänge lang und die Evals am Anfang und am Ende zu vergleichen, und möglichst auch bestimmte einzelnen Züge entlang der Line, wäre schon immer das Missing Link zum kompletten Eng-Eng-Match gewesen, das ja bekanntlich die Eröffnungsstellungen dreimal testet, in der Eröffnung, im Mittelspiel und im Endspiel.

So lange Euch niemand eine GUI- Adjudikation bei bestimmten Figurenzahlen am Brett eigens programmiert, was spricht dagegen einfach einen Zugzahl- Grenze für die Partiefragmente zu nehmen?
Im Nachhineinein kann man immer noch mit .pgn- Filtern alles, was über eine besimmte Figurenzahl hinausgeht, abschneiden, nein?


Hallo Peter,

ich denke, du hast bei unseren Gedankenspielen etwas missverstanden. Wir haben keinesfalls vor, gewisse Eröffnungsstellungen zu testen. Vielmehr geht es uns um die Messung der Spielstärke der Engines im Mittelspiel. Mit Feobos haben wir bereits eine tolle Basis für die Eröffnungsphase für Enginetests bzw. Ranglisten geschaffen. Eine Rangliste für Engines ausschließlich für die zweite Partiephase wäre jetzt die logische Fortsetzung.

Ich bin auch schon eine Weile hier in diesem Forum unterwegs, kann mich aber nicht an ein vergleichbares Projekt entsinnen. Die Idee, die benötigten Daten über ein speziell zu programmierendes pgn-Tool zu generieren, hatte ich auch schon. Aber auch hier fehlt uns noch ein Konzept, welche Daten überhaupt benötigt werden bzw. jemanden, welcher uns ein derartiges Tool programmiert.

Aber es gibt da noch sehr viele grundsätzliche Fragen bezüglich der Herangehungsweise zu klären. Solange kein schlüssiges Konzept vorliegt, werden wir dieses Mammutprojekt definitiv nicht ins Leben rufen.

Viele Grüße

Klaus
Parent - By Frank Quisinsky Date 2019-01-06 09:44
Hi Klaus,

Wit Braslawski hatte früher vergleichbare Ideen um sein Mittelspielbuch zu puschen.
Sonst ist mir auch nicht bekannt, dass irgend jemand solche Ideen hatte bzw. darüber schrieb oder Versuchte startete die umzusetzen.
Vielleicht meint Peter die Ideen von Wit Braslawski.
Er ist ja auch schon lange dabei und wird die Chess Academy sicherlich kennen!

Keine Ahnung!

Aber auf Feobos jetzt die Mittelspielgeschichte zu setzen macht wirklich Sinn.
Nur wenn ich an die Zeit denke wenn wir damit anfangen.
Das wird ein größeres Ding als FEOBOS werden.

Und wenn wir damit anfangen, sollte auf keinen Fall alles in eine Excel Tabelle rein damit wir keine Platzprobleme mit der 4-Millionen Formel Theorie bekommen.

Gruß
Frank
Parent - - By Peter Martan Date 2019-01-06 11:36 Edited 2019-01-06 11:40
Klaus Wlotzka schrieb:

ich denke, du hast bei unseren Gedankenspielen etwas missverstanden. Wir haben keinesfalls vor, gewisse Eröffnungsstellungen zu testen. Vielmehr geht es uns um die Messung der Spielstärke der Engines im Mittelspiel. Mit Feobos haben wir bereits eine tolle Basis für die Eröffnungsphase für Enginetests bzw. Ranglisten geschaffen. Eine Rangliste für Engines ausschließlich für die zweite Partiephase wäre jetzt die logische Fortsetzung.

Ich bin auch schon eine Weile hier in diesem Forum unterwegs, kann mich aber nicht an ein vergleichbares Projekt entsinnen.

Nein, Klaus, ich hatte das schon verstanden, dass es Euch jetzt ums Mittelspiel geht, aber gerade das ist ja praktisch undefiniert in seiner Länge, auch die Zahl der Figuren ist nur ein Krücke, aber über die könnte man die "Endstellungen" natürlich relativ leich nachfiltern.
Zunächst mal bestimmte Ausspiellängen, das geht mit den verschiedensten GUIs problemlos.

Und warum noch niemand derlei Projekte verfolgt hat in der Öffentlichkeit, wird wohl daran liegen, dass das zwischen die Fronten gerät: einerseits der der Hardliner unter den Eng-Eng-Fans, die ja immer noch die Haare aufstellen, wenn sie etwas wittern, was nur im Entferntesten nach Stellungstest riecht, und andererseits der der Stellungstest- Fans, zu denen zähle ich mich auch irgendwie, aber ich habe immer schon die Grenzen fließend gesehen und für mich sind Stellungstests auch dann welche, wenn man sie mehr oder weniger weit ausspielen lässt, und wenn sie nicht nur die taktischen single best move -Testsuites meinen.

Von irgendwelchen Ausgangsstellungen werdet ihr wohl ausgehen müssen, wie auch immer ihr die nennt, wenn ihr das Mittelspiel testen wollt, fängt es wohl in der Eröffnung an, also für mich wäre das begrenzte Ausspielen von späten Eröffnungsstellungen (möglichst aus der menschlichen Turnierpraxis, zu der gehört für mich die des Fernschachs halt ganz gewaltig auch dazu, aus der hätte man heutzutage auch schon viele gut durchanalysierte Partiebeispiele) jedenfalls sehr interessant, und wie man das Spielstärkenmessungs- mäßig einordnen wollte, wäre mir persönlich schnurzpiepegal, ich habe ja auch noch nie, und jetzt erst recht nicht mehr, die Elo aus den Ranglisten für heilige Kühe gehalten, geschweige denn die, die man aus Stellungstests "umrechnen" könnte.

Von mir aus könnte man einfach Evalrelationen zu gut geeichten (im Forward- Backward durchanalysierten) Vergleichswerten hernehmen, den Begriff Elo würde man so von mir aus überhaupt vermeiden können.
Parent - - By Klaus Wlotzka Date 2019-01-06 12:53
Hallo Peter,

du hast das eigentliche Problem, nämlich der Erfassung, wann beginnt und wann endet das Mittelspiel, genau erfasst. Dies ist in der Tat fließend und lässt sich nur unscharf lokalisieren. Hier einen geeigneten Kompromiss zu finden ist neben der Festlegung der Bewertung die eigentliche Herausforderung. Keinesfalls würden wir hierzu die Elobewertung heranziehen.

Uns ist klar, das dieses Thema, wie schon beim FEBOS-Projekt, zahlreiche Kritiker auf dem Plan ruft. Konstruktive Kritik hat mich noch nie gestört, ganz im Gegenteil, es dient letztlich zu einer Bereicherung. Und eins ist sicher, mit Frank an der Seite würde es ganz sicher nichts oberflächiges werden.

Viele Grüße

Klaus
Parent - - By Peter Martan Date 2019-01-06 13:16 Edited 2019-01-06 13:21
Wie du Endspiel bzw. Ende vom Mittelspiel definierst, ist sowieso genau so wie am Anfang (Ende der Eröffnung) reine Willkür, das müsste man in  Kauf nehmen.

Die Evals sind eigentlich das, was heimlich still und leise, obwohl es immer sowohl von Schachspieler- als auch von Programmiererseite hieß, auf die dürfe man sowieso nichts geben, zur wirklichen Blüte durch die A-B-Engines gebracht wurden, in den letzten 10 Jahren.

Natürlich muss man immer noch unterscheiden, ob eine Eval für die Eröffnung, fürs Mittel- oder fürs Endspiel gilt, und natürlich gibt's nach wie vor (eigentlich aber meistens ohnehin nur mehr fürs Endspiel anhand der tbs nachweisbar und für eindeutige taktische "Überseher" unter den echten game changing moves) richtige und falsche Evals, aber wenn die Engine (und Forward- Backward ist da einfach der way to go) die Stellung richtig berechnet, dann gibt sie auch hervorragende Evals ab heutzutage, meiner persönlichen Beurteilung nach.
Und das ist etwas, womit ich mich wirklich etwas auszukennen glaube, mit Output- Evals. Und natürlich sind die immer nur im Zusammenhang mit Output- Lines beurteilbar, dann sind sie aber heutzutage schon wirklich das Wort, bei dem man die Engines nehmen sollte können, und das, woran die Engine- Entwicklung weiter arbeiten sollte und beurteilt werden sollte, mehr als an Elo verschiedenster Provenienz und Bedeutung.

Übrigens auch neben der mangelhaften Taktik- Vielseitigkeit, dem Endspiel, der Hashlernfähigkeit (für mich der Schwachpunkt einer durch Lernen "klug" gewordenen Engine schlechthin), aus allen diesen Gründen vergleichsweise großen Unverlässlichkeit als Analyse- Werzeug, gerade auch in Hinblick auf die Analyse einer der Schwachpunkt der NN- Dingens : die Evals, die sind einfach Sch...wach, man kann's nicht anders nennen.

Man kann's zur Kenntnis nehmen, dass das eben andere Evals sind als die, die wir mittlerweile gewohnt sind, bei den "konventionellen" Dingens auf cp genau gelten zu lassen, mit denen muss man's aber dann eben doch auch vergleichen dürfen, wenn man nicht nur Punktezählen als einziges Kriterium der Spielstärke gelten lassen will.

Das muss Euch aber bei Euren Plänen für eine Eval- gestützte Enginetestung allerdings schon auch von vornherein klar sein, die NNis werden sich in der nächsten Zeit diesbezüglich dem Vergleich mit den A-Blis noch ziemlich entziehen, es sei denn, ihr lasst euch etwas einfallen, wie man das umrechnet.

Quotienten als Punktrechnung zwischen Anfangs- und Endeval wäre schon mal um eine Rechenart besser vergleichbar als die Strichrechnung Plus und Minus.
Dennoch wäre es LC0 gegenüber immer noch unfair, ständig im Zähler und im Nenner um Zehnerpotenzen größere Werte zu haben als bei den A-B-Engines.
Parent - - By Frank Quisinsky Date 2019-01-06 14:28 Edited 2019-01-06 14:36
Hi Peter,

Komodo und Stockfish bewerten sehr konstant.
Texel, Houdini oder auch Chiron Evals unterscheiden sich deutlich.
SmarThink oder z. B. Fizbo, also auch ICE bewerten wieder ganz anders, da gibt es Bewertungsunterschiede von über 1.00.

Wann beginnt das Mittelspiel und ab wann beginnt das Endspiel.
Ist im Grunde fast egal!

Eine Grenze mit x Figuren auf dem Brett muss gezogen werden.
Ich orientierte mich bei der FCP Ratinglisten an Stichproben ... hatte also Stats nach 40, 41, 42, 43, 44 etc. bis zum Matt.
Noch nicht mal drin die Anzahl der Figuren auf dem Brett.

Optimal wäre die Kombination gewesen ... Figuren auf dem Brett bei Matt und die Partielänge in Zügen.
War aber nicht möglich.

Die Auswertungen die ich machte zu den beiden Themen waren aber gleich.

Bei jeder Form von Statistik müssen klare Linien gezogen werden.
Das ist, wie Du schreibst nicht möglich.
Nur daran müssen wir nicht scheitern, weil schon festgestellt wurde das produzierte Stats grob gleich sind wenn Du die Linie etwas früher oder später ziehst.
Kein Grund um zu verzweifeln ... also nicht hinderlich.

Auf dem Weg zur Perfektion darf nicht perfektionistisch gedacht werden, sonst scheitert jedes Projekt schon im Vorfeld.

Natürlich müssen die Eval Unterschiede die Engines produzieren berücksichtigt werden.
Wir haben schöne Eval-Kurven im FEOBOS Projekt drin.

Grundsätzlich wusste ich bis vor ca. 2 Jahren jede Engine in den TOP-50 dahingend einzuschätzen, klar ich machte nach jedem Spießroutenlauf aufwendige Stats..
Nur gibt es heute einige neue Engine Entwicklungen und viele Updates.

Das Problem ist also eher, dass sich laufend in der Engineentwicklung etwas ändert und das oftmals neue Version anders spielen als Vorgängerversionen.
Hatte schon Updates gesehen wo durch kleine Veränderungen seitens des Programmierers des Gesicht der Engine verloren ging, ein völlig anderer Spielstil produziert wurde.
Das ist für Tester der Alptraum.

Also, um ein solches Projekt vernünftig zu strukturieren ... das geht alles.
Nur der Zeitaufwand wird enorm sein, für Klaus noch mehr als für mich.
Das gilt es abzuschätzen.

Das wir das bewerkstelligen könnten, daran Zweifel ich nicht.

Gruß
Frank
Parent - By Frank Quisinsky Date 2019-01-06 14:54
Außerdem kommen bei der Arbeit immer die Ideen!
Parent - - By Klaus Wlotzka Date 2019-01-06 15:34
Frank Quisinsky schrieb:


Also, um ein solches Projekt vernünftig zu strukturieren ... das geht alles.
Nur der Zeitaufwand wird enorm sein, für Klaus noch mehr als für mich.
Das gilt es abzuschätzen.

Das wir das bewerkstelligen könnten, daran Zweifel ich nicht.

Gruß
Frank


Hallo Frank,

das ist genau das Problem. Momentan kann ich den Aufwand überhaupt nicht greifen.

Wie Du schon erwähntest, kommen bei der Arbeit die Ideen. Beim FEOBOS-Projekt sprühte es nur so davon, hier wird es ganz sicher nicht anders sein. Wohin die Reise letztlich geht, ist daher zum jetzigen Zeitpunkt nicht abzuschätzen.

Vor allen Dingen hast du ja noch ein großes Projekt vor Dir.

Viele Grüße

Klaus
Parent - By Frank Quisinsky Date 2019-01-06 16:14 Edited 2019-01-06 16:18
Hi Klaus,

ja, ich wollte das Schachcomputerturnier spielen und muss das natürlich händisch machen.
Dann als Gimnick Aufhänger für das Buch was ich schreiben möchte nehmen.
Daher hatte ich auch sämtliche Schachcomputer Informationen von meiner Webseite genommen bzw. weiter aufgerüstet um genug Gegner zu haben.

Auch eine Sache die mir sehr viel Spaß macht.
Habe keinen Vertrag wegen dem Buch unterschrieben und hätte hierfür auch alle Zeit der Welt.
Nichts was wegläuft ... aber etwas was mich reizt.

Wenn wir das Projekt starten wird ziemlich viel Freizeit drauf gehen.
Schätze mal 2-3 Jahre ...
Neue Hardware muss her, enorme Stromkosten.

Ich meine ich investiere immer gerne in mein Hobby und erst Recht wenn ich Infos für Andere beisteuern kann aber eigentlich wollte ich das nicht mehr machen.
Auf der anderen Seite steht Klaus Wlotzka. Die Arbeit mit Martin Blume war vergleichbar. Meine vergleichbar zu der Arbeit mit Dir bei FEOBOS.

Mit Dir hatte ich gar mehr Spaß.
Für mich wäre das natürlich ein Event mit Dir das Ding durchzuziehen.
Vor allem weiß ich wie zuverlässig Du bist und zu was Du in der Lage bist.
Alles optimal ... aber die Zeit.

Werde mir in den nächsten 3-4 Wochen Gedanken machen.
Auch hinsichtlich wie aufwendig das alles werden wird.

Dann bräuchten wir mit Sicherheit mehr als ein Tool.
Die Frage ist ob Ferdinand derzeit aktiv ist und helfen kann.
Habe auch keine Lust andere Programmierer zu fragen, greife da lieber immer auf Personen zurück die zuverlässig sind und nicht zu verstrickt in den eigenen Sachen.

Viele Grüße
Frank
Parent - By Michael Scheidl Date 2019-01-06 14:57
Was die Leela-Evals betrifft, so bleibt ja die Option die urprünglichen (nicht Gewinn- sondern) Resultatwahrscheinlichkeiten die dem Output zu Grunde liegen, dirket anzuzeigen, weithin ungenutzt. Man kann darauf zurückrechnen, und da es dabei wohl kaum auf jedes Zehntelprozent ankommen, scheint mir eine Tabelle nützlich:

winpct = 100 * (arctan (%cp / 290.680623072) / 3.096181612 + 0.5)
(Formel laut TCEC-Chat "!wp")

cp   score%  oppo%
-------------------
10    51,1   48,9
25    52,8   47,2
50    55,5   44,5
75    58,2   41,8
100   60,7   39,3
150   65,4   34,6
200   69,5   30,5
250   72,9   27,1
300   75,9   24,1
400   80,4   19,6
600   86,2   13,8
900   90,6    9,4
1200  93,1    6,9

Das ist also was Lc0 jeweils wirklich meint, sozusagen.

Zum Vergleich, bei Houdini 6 wird als Gewinnwahrscheinlichkeit für eher herkömmliche Bauerneinheiten angegeben:
Zitat:
The evaluations have again been calibrated to correlate directly with the win expectancy in the position. A +1.00 pawn advantage gives a 75% chance of winning the game against an equal opponent at blitz time control. At +1.50 the engine will win 90% of the time, and at +2.50 about 99% of the time. To win nearly 50% of the time, you need and advantage of about +0.60 pawn.

...was sich sehr deutlich unterscheidet.
Parent - - By Stefan Pohl Date 2019-01-06 09:57
Peter Martan schrieb:


So lange Euch niemand eine GUI- Adjudikation bei bestimmten Figurenzahlen am Brett eigens programmiert, was spricht dagegen einfach einen Zugzahl- Grenze für die Partiefragmente zu nehmen?


Da stimme ich zu. Natürlich hätte man dann positiv falsche und negativ falsche Partien dabei, also Partien die schon vor Zugnummer X im Endspiel gelandet sind und Partien, die noch nach Zugnummer X im Mittelspiel sind. Das spielt aber statistisch keine verzerrende Rolle, sofern man nur eine sehr große Zahl von Partien als Ausgangsmaterial hernimmt. Und der Wert X praxisnah gewählt wird (denke da an 45 oder 50 oder so). Das sollte dann schon ganz gut hinkommen.
Parent - By Frank Quisinsky Date 2019-01-06 10:18 Edited 2019-01-06 10:24
Hi Stefan,

es gab zwei Ansatzpunkte bei der FCP-Ratingliste:

- Züge bis zum Matt (Elo-Berechnungen hieraus umgesetzt)
- Anzahl der Figuren auf dem Brett für statistische Auswertungen (so halb und halb umgesetzt). Ferdinand programmierte Tools die auf meiner Webseite liegen. Gab regen Austausch mit Ferdinand hierzu in TalkChess, sämtliche Optionen die ich mir seinerzeit wünschte setzte er um.

Anhand von Züge bis zum Matt erstellte ich dann die Stats zu Mittelspiel, Übergang Endspiel und Endspiel.
Als Ferdinand dann die Tools programmierte verglich ich die Spießroutenlaufergebnisse bzw. Partiefragmente mit dem umgestzten Ansatzpunkt.
Also Züge bis zum Matt mit Anzahl der Figuren auf dem Brett. Kam meist Gleiches dabei raus. Also gleiche Spielstärkeeinschätzungen der Kampfhähne (Engines).

Im groben, trotz natürlich verhältnismäßig wenigen Partien, waren die Ergebnisse in Spielstärke also immer gleich.
Ob Andscacs nun in Version x oder y spielte, Spieroutenläufe wiederholt wurden oder nicht ... die Auswertungen waren hier schon immer gleich.
Und ich machte weit über Hundert Vergleiche (sind in der Doku zu meiner Ratingliste auf meinen Webseiten).

Die FCP Ratinglisten hatte im Grunde 2 Ziele.

- Ziel 1 ... Buchentwicklung (FCP-Live Buch). Wenn abgeschlossen dann einen drauf setzen und dabei hat bekanntlich Klaus Wlotzka die meiste Arbeit bei FEOBOS geleistet.
- Ziel 2 ... die Spielstile der Engines (die Formen sich augenscheinlich im Mittelspiel).

Ziel war es nicht dumme Elo's zu fabrizieren, das war nur ein Nebeneffekt der mir persönlich aber nie wichtig war.

Klammern wir aus ...

- Eröffnung (erledigt, FEOBOS steht ... was spielbar ausgeglichen ist wurde für alle ECO Codes herausgefunden). Die Basis wurde geschaffen!

- Mittelspiel (Spielwiese)

- Übergang Endspiel (programmiertechnisch ausgeschlachtet ... Programme spielen schon über 600 Elo über menschliches Niveau).

- Endspiel (Endspieldatenbanken etc.. das wurde schon vor Urzeiten ausgeschlachtet, haben heute 7-Steiner und in Verbindung mit der extremen Stärke in der Spielphase zuvor gibt es da kaum noch etwas was heute entwicklungstechnisch gesehen reizvoll ist.

Es gibt also grundsätzlich nur einen einzigen Bereich der im Computerschach hinsichtlich Spielstärke und alles was nachgelagert kommen könnte noch interessant ist und mit an Sicherheit grenzender Wahrscheinlichkeit noch viele Jahre interessant bleiben wird. Genau das Thema, welches die Menschen am Meisten interessiert.

Das Mittelspiel!!

Alles was Computertechnisch mit dem Mittelspiel zu tun hat ist nach wie vor faszinierend und reizvoll.
Schachprogrammierer können hier noch durch sehr eigene Techniken etwas formen was nach Spielstil ausschaut.
Durch Spielstärke kann alles simuliert werden.

Für Anwender, Engine-Programmierer, GUI-Programmierer eine Spielwiese, die sehr lange eine bleiben wird. Ob mit Leela oder ohne. Wer interessiert sich für Leela wenn perfekte Mittelspielstrategien entwickelt sind. Interessant ist eher Spielstile zu formen.

Stelle Dir folgendes vor.
Du startest Deinen Schachcomputer und spricht mit ihm wie mit Alexa.

Spiele bitte mit 2.300 Elo und versuche den Spielstil von Tal zu simulieren.
So weit wären wir gar heute wenn wir früher angefangen hätten genau das zu entwickeln.
Die Väter dieser Erde hätten etwas was sie Ihren Kindern schenken könnten und Computerschach kommt so langsam wieder aus dem Tiefschlaf.

Wir befinden uns aber eher in diesem Tiefschlaf hinsichtlich spannender Entwicklungen.

Gruß
Frank
Parent - By Patrick Götz Date 2019-01-05 13:23
Danke!
Parent - - By Wolfgang Battig Date 2019-01-05 15:38
Danke Klaus!
Eine Wohltat in Zeiten des Leela-Wahns
Parent - - By Reinhold Stibi Date 2019-01-06 08:33
Begeisterung und neue Aufbruchstimmung ist doch kein Wahn.

Man kann auch die Zeit verschlafen.
Parent - - By Wolfgang Battig Date 2019-01-06 17:00 Edited 2019-01-06 17:04 Upvotes 3
Meine Wortwahl darfst du getrost mir überlassen!

Einseitiger "Wahn" (Fixierung auf eine Sache, wie sie einige hier betreiben, die einen als Troll, die anderen wenigstens halbwegs bemüht) war mir schon immer suspekt, ist mir suspekt und wird es immer bleiben. Egal ob die Sau, die gerade durchs Dorf getrieben wird nun Rybka, Stockfish oder jetzt LC0 heißt. Alles schon gesehen, immer dasselbe, nix neues unter der Sonne.
.
Und zum Thema "verschlafen". Du glaubst nicht wirklich, dass ich als seit 2006 aktiver CEGT-Tester der Sache nicht folge, oder? Mich INTERESSIERT es nur nicht wirklich.

Ich gebe alle paar Jahre einige (hundert) Euro für die Aktualisierung meines "Hardware-Parks" (Computer) aus. Wohlgemerkt für ALLE Engines. Und nun sollen die Tester hunderte, vielleicht tausende € für Grafikkarten ausgeben, für EINE Engine??

Was viele vergessen oder (absichtlich?!) verschweigen: Gleichzeitig muss dann auch noch in die Computer investiert werden und wieder Gleichheit herzustellen. Eine GTX2080ti kann nun mal nicht in jedem x-beliebigen Rechner betrieben werden (Anschlüsse!), von Chancengleichheit gar nicht zu reden.

Wer das nicht kann oder will (!) nimmt alternativ eine schwächere, somit billigere Grafikkarte. Nur um sich dann von Trollen wie "Tom Paul" u.a. anhören zu müssen, dass "deine GTX960 aber extrem schwach ist".

Oder man hat "natürlich" das falsche Network genommen. Unbedingt "SuperDooper12345" nehmen und bloß nicht "Looser23456". Interessant finde ich immer wieder, dass die Annahme, dass SuperDooper besser ist als Looser auf "überragend" vielen Partien basiert. Meist so 20 bis 40 gegen EINEN Gegner. Lächerlich!

Ach ja: Und bloß keine Standarderöffnungen nehmen, die könnten den "Liebling" ja benachteiligen.

Aber auch das gab's alles schon immer (Intel <=> AMD, Eröffnungsbücher etc.). Recht machen kannst du es eh niemandem.
Da hilft nur eins: Ignorieren!
Parent - - By Frank Quisinsky Date 2019-01-06 17:32 Edited 2019-01-06 17:37
Hallo Wolfgang,

nun stand ich ja ungewollt gar mit der CEGT in Konkurrenz (für mich war es nie eine).
Weil ich immer wusste, dass ich irgendwann wieder aufhöre während CEGT beständig das Thema verfolgt.
Meine Ratinglisten waren immer nur Mittel zum Zweck.

Das die CEGT Tester so konstant gut zusammenarbeiten, Energie aufbringen, sich selbst schön unterstützen ist etwas ganz besonderes.
Wo gibt es das in der Computerschach Szene sonst, haben nur sehr wenige Beispiele.
Darauf kann jeder der CEGT stolz sein!!
Weil konstant etwas angeboten wird.
Die Regel ist eher, dass Personen auftauchen und gehen oder nur Sprüche klopfen, etwas von anderen angreifen etc..
Einfach mal ein bissel Frust ablassen und das oft unter verschiedenen Namen.

Die Erwartungshaltung wird im Computerschach immer höher.
Projekte wie Leela machen mehr kaputt, als das etwas gewonnen wird.
Zumal eh nicht in Aussicht gestellt ist, dass vernünftiges durch Leela weiter entwickelt wird, was für den Menschen dann hilfreich ist.

Also, dass hier ist jetzt mal eine realistische Aussage!
Solche Aussagen erhalte ich laufend per E-Mail.
Du bist eher einer von denen die solche Sachen schneller erkennen.
Hier sammeln sich viele Freaks zum Thema Leela und das CSS Forum könnte auch in Leela umgetauft werden.

Dieses Forum, so gerne ich das CSS Forum auch mag, wird auf Dauer User verlieren.
Wenn nicht gehandelt wird und der ganze Grafikartenquatsch in ein Subforum gebracht wird.

Steht mir fern mich einzumischen und genau das will ich auch nicht.
Aber hier werden Personen verärgert, weil das teils ins Kindergartenniveau übergeht.

Jetzt kommt bestimmt eine Admin Mitteilung ... Frank, bitte mische Dich da nicht ein.
Mir ist es egal, weil ich eh seit Jahren diverse Personen gar nicht mehr lese.
Aber nicht jeder denkt so und das schreckt dann einfach ab.
Ist immer ein Verlust wieder Leute zu verlieren, so viele Stammposter die schon lange dabei sind gibt es hier nicht mehr.
Zumindest werden es zusehend weniger (gefühlsmäßig).

Viele Grüße
Frank
Parent - By Frank Quisinsky Date 2019-01-06 20:10
Ach so, vergessen ...

Ich persönlich denke natürlich das die Datenbasis der CEGT das Highlight ist.
Auch die zeitliche Abfolge wann die Datenbasis erstellt wurde.

Elo interessiert natürlich viele Anwender.
Mich jetzt eher nicht aber viele Anderen.

Was mich interessiert sind die Daten die produziert werden.
Irgend wann stehen die Statistik GUIs und die Daten erleben ihr Eldorado.

Das ist wichtig, mit den Daten kann vieles gemacht werden.
Viele andere Auswertungen werden möglich werden.

Das ist der Punkt der die CEGT wertvoll macht in Kombination mit dem gesagten und der Konstanz.

Die CEGT hat auch schon die IPPs nicht getestet (war richtig, obwohl viele danach geschriehen haben).
Leela halte ich hier auch für uninteressant.

Interessant ist das Arbeit der Programmierer zu vergleichen.
Und nicht die Clones oder selbst lernenden Projekte.
Eine Ratingliste würde zweckentfremdet werden.

Spielst ja auch kein Kasparow bei CEGT mit.
Der hätte da auch nichts zu suchen.
Parent - - By Klaus Wlotzka Date 2019-01-06 18:03
Hallo Wolfgang,

besser hätte ich es nicht formulieren können, du sprichst mir aus der Seele.

Ich sehe die ganze LC0-Euphorie eher nachteilig für das Computerschach und wäre, wie manch andere auch dafür, dieses Thema wie Stockfish auf einen eigenen Forumsbereich zu legen.

Von daher, lässt euch nicht beirren, ihr macht seit vielen Jahren eine konstant gute Arbeit. Meine Hochachtung dafür.

Viele Grüße

Klaus
Parent - - By Heiko Krauß Date 2019-01-06 18:29
Klaus Wlotzka schrieb:

Hallo Wolfgang,

besser hätte ich es nicht formulieren können, du sprichst mir aus der Seele.

Ich sehe die ganze LC0-Euphorie eher nachteilig für das Computerschach und wäre, wie manch andere auch dafür, dieses Thema wie Stockfish auf einen eigenen Forumsbereich zu legen.

Von daher, lässt euch nicht beirren, ihr macht seit vielen Jahren eine konstant gute Arbeit. Meine Hochachtung dafür.

Viele Grüße

Klaus


ich schließe mich anhttps://www.dartn-forum.de/index.php?page=Thread&threadID=20036&s=5c3d42e33a42b8994a79e3efebf54c8c111d3f89
Es wäre sinnvoll ein Unterforum LcO einzurichten
ANDERE INTERESSANTE THEMEN GEHEN VOLLKOMMEN UNTER BEI DIESEM LEELA-hYPE

Heiko
Parent - - By Michael Scheidl Date 2019-01-06 18:57
Wie Peter schon vorgeschlagen hat, könnte ein Subforum "Leela Chess Zero" das Stockfish-Unterforum ersetzen, zumal der Stockfish-Hype inzwischen einem Normalzustand gewichen ist.

Bei der Hardware glaube ich nicht, daß man unbedingt schon eine 20er-Geforce braucht. Die beste Balance ist vermutlich noch lange woanders. Außerdem sind, abgesehen von NNs, die RTX-Karten vor allem für eine Optimierung von Echtzeitreflexionen - die es an sich eh schon längst gibt - in 3D-Games von Nutzen. Das geht aber mit verringerter Framerate und erhöhter Wärmeentwicklung sowie mehr Stromverbrauch einher, und vor allem unterstützen kaum Games diese Technologie. Ich kenn bisher keines außer BF5, und dort ist der visuelle Unterschied insgesamt marginal.

Die Frage wäre eher, was von den 900er und 1000er-Serien noch erhältlich, performant genug und preislich sinnvoll ist.
Parent - By Reinhold Stibi Date 2019-01-06 20:32
Muss mich schon wundern wie man sich über zwei Zeilen von mir so aufregen kann.

Die Wahrheit ist halt oft schlecht zu ertragen und wenn man austeilt, sollte man auch einstecken können.

Zuerst einmal ein großes Lob für Klaus Wlotzka für sein Neujahresturnier das er ausgezeichnet
dargestellt hat; das findet man so nicht alle Tage.

Schon öfters habe ich mich auch bei Frank Quisinsky positiv über seinen großen Einsatz für
das Computerschach, besonders über die prima Engine Wasp geäußert.

Natürlich ist auch der unermüdliche Einsatz von Wolfgang Battig als aktiver Tester bei
CEGT bewundernswert.

Wenn jemand Lc0 schlecht findet ist das sein gutes Recht. Ich brauche mich allerdings deren Meinung
nicht aufzwingen zu lassen.
Für Computerschach bin ich für alle Richtungen aufgeschlossen und nicht eingeschränkt auf Lc0.

Der Satz von Wolfgang Battig "Fixierung auf eine Sache" stimmt nicht. Von den letzten
20 Beiträgen befassten sich nur 4 mit Lc0.

Es ist auch nicht angebracht ein Unterforum für Lc0 einzurichten. Jeder weis doch dass hauptsächlich
das Hauptforum interessiert und die Unterforen kaum beachtet werden.
Möchte man damit Meinungsunterdrückung durch die Hintertür erbringen !

Regt euch einfach ab und lasst auch andere Meinungen gelten °
Parent - By Benno Hartwig Date 2019-01-06 20:55

> Ich sehe die ganze LC0-Euphorie eher nachteilig für das Computerschach...


"Euphorie" gibt es allenfalls bei einigen waschechten Fans.
Und zumindest "sehr interessant" ist Lc0 doch vermutlich für fast jeden am Thema Interessierten. Vermute ich mal.
Und ich sehe keine Behinderung für irgendwen, und das Gros der Entwickler arbeitet wohl immer noch fleißig an Alpha-beta-Entwürfen.

Nein, ich kann nicht mal in Ansätzen etwas Nachteiliges für "das Computerschach" erkennen.
Begeisterung des Publikums schwappt eben mal hierhin und mal dahin. Es ist ja nur das Publikum. Sorry.

Benno
Up Topic Hauptforen / CSS-Forum / Kleines Neujahrsturnier

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill