Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / tcec.chessdom.com LCZero v20.2-32930 vs Stockfish 190203
- By Tom Paul Date 2019-03-03 08:59
https://tcec.chessdom.com/

Bedenkzeit 12'+3"

1  LCZero v20.2-32930  63  34 0  7 [5/2]  2 [1/1]  986.00  3418  17 [3435]
2  Stockfish 190203    63  29 0  2 [1/1]  7 [2/5]  986.00  3437 -17 [3420]


LC0 führt mit 5 Punkten Vorsprung aus 63 Partien.
Bzw. 7 zu 2 Siegen.
- - By Guenter Stertenbrink Date 2019-03-03 13:19
Leela Ratio 1.2-1.3 nach den angezeigten speeds
Kein Eroeffnungsbuch (?)

38/71 = +23 Elo
Parent - - By Lothar Jung Date 2019-03-03 16:30
Kein Eröffnungsbuch!
Das kommt Leela entgegen.
Besonders keine taktischen „Mittelspieleröffnungen“ wie beim Superfinale von TCEC.
Parent - - By Reinhold Stibi Date 2019-03-03 16:53
Wie kann ich die Partien downloaden ?

Bei TCEC - Download - Event PGN - anklicken  kommen die Partien in Schreibform

                                                                   Wie kann ich die Partien umwandeln in .pgn

damit ich diese dann unter Fritz GUI laden kann ?

Momentan sind 77 Partien gespielt. Gewinnpartien:  9 : 3 für Lc0 v20.2 -32930
Parent - By Lothar Jung Date 2019-03-03 20:44
Hallo Reinhold,
ich weiß es nicht.
Man muss wahrscheinlich zunächst die ganze Textdatei downloaden und dann ins .pgn-Format umwandeln.
Vielleicht alles kopieren und in .txt-Datei einfügen.
Ich Google mal......

Grüße

Lothar
Parent - By Lothar Jung Date 2019-03-03 20:46
Parent - By Lothar Jung Date 2019-03-03 20:54
Hier ist schon eine kurze Auswertung:

https://groups.google.com/forum/m/#!topic/lczero/rQcun-m5Xe4

Lothar
Parent - By Patrick Götz Date 2019-03-04 01:27
Mit der linken Maustaste oben im Menü auf Download klicken und dann im aufgeklappten Download Menü mit der rechten Maustaste auf "Event" klicken und dann auf "Speichern unter...".
- - By Tom Paul Date 2019-03-04 06:52
1  LCZero v20.2-32930  100  56  0  16 [11/5]  4  [2/2]  2464.00  3404  117 [3521]
2  Stockfish 190203    100  44  0   4  [2/2] 16 [5/11]  2464.00  3588 -117 [3471]


LC0 schlägt Stockfish mit 12 Punkten Vorsprung aus 100 Partien.
LC0 gewinnt mit 16 zu 4 Siegen = 241 ELO stärker.
Parent - - By Tobias Lagemann Date 2019-03-04 07:14
Und noch immer

"STOCKFISH
GET FAST INVOLVED: CLICK MY NAME"
Parent - - By Wolfgang Battig Date 2019-03-04 07:25
Don't feed the troll, Tobias
Er weiß natürlich, dass das mit dem “nur Siege zählen“ Schwachsinn ist, versucht es aber immer wieder...
Parent - By Tobias Lagemann Date 2019-03-04 07:50
Hallo Wolfgang,

auf den Dummsinn mit den "nur Siege" bin ich nicht eingegangen, weil der echt einfach nur zu dumm ist, aber dass der Tom noch immer mit seinem "Click my name" versucht, Tester auf die fischige Seite der Macht zu ziehen, pah, dass ist angesichts seiner Dauerwerbeschleife für LC0 sowas von peinlich, das muss weg. Sonst fällt die Peinlichkeit noch auf ihn selbst zurück. Und das wäre doch echt schlimm, also wenn man Tom für peinlich hielte. Denn kann man Toms harte Arbeit für LC0 dann noch Ernst nehmen? Also ich könnte das nicht.

Naja, vielleicht aber ist alles viel komplizierter, als wir uns das vorstellen können. Vielleicht schreibt der Tom nur so doll über LC0 und superdolle Grafikkarten, um uns via der Nervigkeit in die Arme von SF zu treiben. Und damit wir Dummerlis nicht lange suchen müssen, wo SF zu finden ist, müssen wir nur bei ihm klicken ... Pah, und dann haut SF bald LCO in einem 160 Partien Match mit 120:40 Siegen weg. Plus 241 ELO. Wow.

Viele Grüße
Tobias
Parent - - By Benno Hartwig Date 2019-03-04 13:51

> Er weiß natürlich, dass das mit dem “nur Siege zählen“ Schwachsinn ist...


Ist der Hinweis auf die Siege und Niederlagen eigentlich nur Schwachsinn?

eine 55:45-Überlegenheit könnte entstehen durch unterschiedliche Ergebniswahrscheinlichkeiten:
1.) p(remis)=50%, p(Gewinn)=30%, p(Niederlage)=20%
2.) p(remis)=80%, p(Gewinn)=15%, p(Niederlage)=5% (und dies ähnelt dem Ausgang des Testlaufes)

Der Spielstärkeunterschied (Elo-Differenz) mag in diesen Fällen gleich sein. Klar!
Aber die Wahrscheinlichkeiten für Ereignisse sind dann durchaus etwas Unterschiedlich, beispielsweise bei 10 Partien:

"dass der Stärkere die 10 Partien-Begegnung gewinnt"
p1(Gewinn, dh. >=5.5 Punkte) = 59,18%
p2(Gewinn, dh. >=5.5 Punkte) = 63,52%


"Dass doch der Schwächere gewinnt"
p1(Niederlage, <=4,5 Punkte) = 24,82%
p2(Niederlage, <=4,5 Punkte) = 12,49%


Bei gleicher Quote bedeutet also ein krasseres Verhältnis zwischen Siegen und Niederlagen (= mehr Remis) eine durchaus größere Wahrscheinlichkeit für den Gesamtsieg des Stärkeren,
und es bedeutet deutlich kleinere Außenseiterchancen für den Schwächeren.
Dass dies zu erwähnen nur Schwachsinn ist, kann man dann doch eigentlich nicht sagen, oder?

Benno
Parent - - By Wolfgang Battig Date 2019-03-04 16:46 Upvotes 1
Nenn es Schwachsinn, nenn es Unsinn, Benno. Ist mir völlig egal.
Wie soll man den das ignorieren eines möglichen Partieausgangs sonst nennen?
Remis ist nunmal ein solcher, ob man es mag oder nicht.

Das Ergebnis diese Events war soviel ich weiß 56:44, also 56% = 42 ELO Differenz
TTP macht daraus 16:4 = 80% = 241 ELO Differenz. Ignoriert also 80% der Partien.

DAS ist Unsinn/Schwachsinn, wie gesagt, nenn es wie Du willst.
Allein den Versuch, da noch irgendetwas sinnvolles hinein zu interpretieren, ist - nimm es mir bitte nicht übel - idiotisch.

Für mich ist hier EoD. Sonst erreicht der Troll nämlich genau das was er will. Er schreibt Unsinn und wir streiten/diskutieren darüber.
Parent - - By Benno Hartwig Date 2019-03-04 17:44
Ja, stimmt, so wie er es formulierte und besonders mit dieser ELO-Angabe ist es totaler Quark! Volle Zustimmung, Wolfgang!

Warum ich die jeweilige Anzahl der Gewinnpartien aber trotzdem sehr interessant finde, wollte ich mit meiner Rechnung kurz skizziert haben.

Benno
Parent - - By Wolfgang Battig Date 2019-03-04 18:00
Alles gut, Benno. Wunderte mich nur...

Natürlich ist die Anzahl der Gewinnpartien interessant, keine Frage. Solange man (er) nicht durch Weglassen von 80% der Partien eine fast sechsmal höhere ELO-Differenz konstruiert...

TP versucht das immer mal wieder. Meist ignoriere ich es, leider gelingt mir das nicht immer
Parent - - By Guenter Stertenbrink Date 2019-03-05 07:50 Edited 2019-03-05 07:52
eine hohe Remisquote schrumpft die Elo-Differenz.
Im extremfall spielen 2 starke Engines auf guter Hardware und langer Bedenkzeit untereinander nur Remis,
in Spiel gegen schwaechere engines ,oder bei kuerzerer Bedenkzeit/schlechterer Hardware
zeigen sich aber Unterschiede in der Performance.

Man muesste da mal einen Umrechnungsfaktor einfuehren, der dem Rechnung traegt
Parent - By Peter Martan Date 2019-03-05 07:59 Edited 2019-03-05 08:56
Guenter Stertenbrink schrieb:

Man muesste da mal einen Umrechnungsfaktor einfuehren, der dem Rechnung traegt

Ich dachte eigentlich, der Umrechnungsfaktor wäre die Elo- Formel, habe aber immer schon an dieser ihrer Aufgabe, die Ratings übertragbar zu machen, was das Computerschach angeht, gezweifelt.
Zumindest fand ich sie immer schon unnötig kompliziert, wenn es darum geht, große Partiemengen von Engines als Grundlage zu verwenden, die sowieso beliebig viel direkt gegeneinander spielen können und das auch müssen, damit die Errorbar kleiner wird.

Bei solchen Gelegenheiten schlage ich immer wieder mal gerne mein altes Statistik-Skriptum auf, und daraus willkürlich die eine oder andere Alternative zur (ja auch nicht gerade einfachen) Elo-Formel vor.

Wie wär's mit zunächst mal mit einer Varianzanalyse?
Und dann aus dem Bauch heraus schien mir immer am überschaubarsten ein einfacher gepaarter T-Test (gepaart, weil doch manche Variablen voneinander abhängen, nein? Z.B. Buch und Partielänge, damit auch die TC, nein?)
Dem Namen nach fand ich hingegen immer Man Whitney U schick.


Und nein, ich habe natürlich keine Ahnung, wovon ich hier schreibe, aber jetzt mal ehrlich, wer "versteht" die Elo- Formel so, dass er sie nicht nur irgendwo nachlesen sondern selbst herleiten kann?
Parent - - By Stefan Pohl Date 2019-03-05 12:28 Edited 2019-03-05 12:45
Guenter Stertenbrink schrieb:

eine hohe Remisquote schrumpft die Elo-Differenz.
Im extremfall spielen 2 starke Engines auf guter Hardware und langer Bedenkzeit untereinander nur Remis,
in Spiel gegen schwaechere engines ,oder bei kuerzerer Bedenkzeit/schlechterer Hardware
zeigen sich aber Unterschiede in der Performance.

Man muesste da mal einen Umrechnungsfaktor einfuehren, der dem Rechnung traegt


Das wird doch nichts. Die schrumpfende Elo-Differenz erhöht ja gleichzeitig auch die statistische Unsicherheit der Ergebnisse (je näher ein Head-to-Head an 50%-50% Score liegt, desto unsicherer wird ja die Aussage: Engine A ist besser als B). Würde man mit solchen Ergebnissen irgendwelche Umrechnungen (was ja nix anderes heißt, als künstliche Streckungen) durchführen, würde man auch diese erhöhte Unsicherheit mit aufblähen und somit statistisch unbrauchbare Resultate erzeugen. Man kann sich nun mal Errorbars nicht "wegrechnen" - Statistik kann man nicht per Formel aufhübschen.
Der einzig gangbare Weg ist, die Remisqouten insgesamt zu senken und gleichzeitig den Head-to-Head Score weg von 50%-50% zu spreizen. Nur so kann man statistische Ergebnisqualität auch bei guter Hardware und/oder langer Bedenkzeit wirklich verbessern.
Was übrigens exakt der Grund für mein Drawkiller-Projekt war. Und es war ja auch erfolgreich.


Drawkiller balanced Eröffnungen:

     Program                Elo    +    -   Games   Score   Av.Op.  Draws
   1 Stockfish 10 bmi2    : 3506   11   11  1000    70.9 %   3347   36.2 %
   2 Houdini 6 pext       : 3392   11   11  1000    48.5 %   3404   40.8 %
   3 Komodo 12 bmi2       : 3302   11   11  1000    30.6 %   3449   36.6 %

Elo-spreading (1st to last): 204 Elo
Draws: 37.9%

Stockfish framework 8moves Eröffnungen:

     Program                Elo    +    -   Games   Score   Av.Op.  Draws
   1 Stockfish 10 bmi2    : 3463   11   11  1000    63.0 %   3369   59.7 %
   2 Houdini 6 pext       : 3388   10   10  1000    47.5 %   3406   64.2 %
   3 Komodo 12 bmi2       : 3349   10   10  1000    39.5 %   3425   60.1 %

Elo-spreading (1st to last): 114 Elo
Draws: 61.3%
Parent - - By Peter Martan Date 2019-03-05 12:53 Edited 2019-03-05 12:56
Günter meinte, glaube ich, du könntest die Elo zwischen zwei nahe beisammen liegenden Engines auch dadurch spreizen, dass du schwache Engine in die Bestimmung des Ratings mit aufnimmst, also einfach schwache mit den starken mitspielen lässt.

Das sollte meiner Meinung nach schon auch funktionieren, weil du damit ja auch automatisch weniger Remis hast.

Dass es mit den Eröffnungen geht, wissen wir ja mittlerweile eh schon länger, auch nicht erst seit Drawkiller, selbst wenn die ein besonders schönes Beispiel sind.

Die größte Spreizung durch die Eröffnungswahl sehe ich diesbezüglich (bei LC0-SF im TCEC Bonus Club hat man's gerade wieder besonders schön gesehen) aber ohnehin nach wie vor beim buchlosen Match.
Natürlich durch die mehr oder weniger zahlreichen und mehr oder weniger weit reichenden Dubletten, aber statistisch ist das ja auch irrelevant.
Wenn eine Engine von der Grundstellung aus immer wieder die gleichen oder sogar dieselben Punkte gewinnt und die andere die gleichen gegen sie verliert, das spreizt am meisten.

Aber auch bei gleichen Büchern oder Testsets hängt natürlich die Quantität der Spreizung vom Pool der Teilnehmer zusätzlich ab.
Parent - - By Stefan Pohl Date 2019-03-05 13:30 Edited 2019-03-05 13:37
Peter Martan schrieb:


Die größte Spreizung durch die Eröffnungswahl sehe ich diesbezüglich ohnehin nach wie vor beim buchlosen Match.


Das möchte ich doch stärkstens bezweifeln. Von der Problematik, daß man für größere Vergleiche nicht genügend Varianz hat, gar nicht zu reden.

Stand des Wissens bisher ist, daß es 3 Merkmale in Eröffnungsvorgaben gibt, die Remisqouten meßbar senken, ohne dabei die Elo-Spreizung zu senken (also ohne eine Figurenfarbe stark zu bevorteilen (z.B. mit irgendwelchen komischen Gambits)). Das sind (in absteigender Reihenfolge der Wirksamkeit (laut meiner Messungen (und ich habe viele, viele Tests diesbzgl. in den letzten Jahren während meiner Buchentwicklungen gemacht)):

1) SALC-Konzept, also Könige auf gegenüberliegenden Brettflügeln
2) Sehr wenig entwickelte Stellungen
3) Möglichst geringe Wahrscheinlichkeit für frühen Damentausch

Spielen aus der Grundstellung entspricht nur Merkmal 2.
Drawkiller vereint Merkmal 1 bis 3. Weswegen ich auch glaube, daß mit Drawkiller das Maximum an Remisqoutensenkung und Ergebnispreizung erreicht ist. Zumindest solange niemand ein 4. Merkmal findet und spezifiert. Und Drawkiller bietet aufgrund der Menge an verschiedenen Bauernzügen/Mustern auch genügend viele verschiedene Stellungen, also genügend Varianz.
Parent - - By Peter Martan Date 2019-03-05 17:34 Edited 2019-03-05 17:43
Stefan Pohl schrieb:

Peter Martan schrieb:

Die größte Spreizung durch die Eröffnungswahl sehe ich diesbezüglich ohnehin nach wie vor beim buchlosen Match.


Das möchte ich doch stärkstens bezweifeln. Von der Problematik, daß man für größere Vergleiche nicht genügend Varianz hat, gar nicht zu reden.


Nein, reden wir darüber, Stefan.

Was macht das, wenn du gar keine Varianz hast, weil die Engines von sich aus keine anbieten?

Es zeigt, dass sie ihre eigenen Eröffnungszüge deterministisch wählen, das kann ein Vorteil oder ein Nachteil sein, je nachdem, wie gut die Lines sind im Vergleich zu denen der Gegner. Optimaler Weise würden sie ihre Eröffnungszüge an den Gegner und dessen Antworten anpassen, Leela kann das mittlerweile, zumindest wenn sie lang genug gegen sich selbst spielt, lernt sie aus ihren Autoplay- Games selbstständig eröffnen, man sollte ihr das wenigstens gönnen, wenn es schon das ist, was sie offenbar am besten kann.
Abgesehen davon, dass sich das die NN- Entwickler ohnehin nicht werden nehmen lassen, das zu zeigen, wie viel besser sie es kann als A-B-Engines.
Die Weiterentwicklung von Zero- Ansatz- Engines wird sich anders als so vielleicht in absehbarer Zunkunft, was die Vergleich der Netzwerke untereinander angeht, überhaupt nicht mehr nachweisen lassen, auch mit Drawkiller- Eröffnungen nicht, und jedenfalls werden die Fortschritte von der Grundstellung her für die Entwickler interessanter sein als die von Drawkillers aus, insbesondere, wenn sie mehr Elo bringen, im Selfplay, was die gängige Lernmethode derzeit noch ist, sowieso.

Die Varianz, die Drawkiller bietet, ist insofern, was die möglichen und aber auch die wahrscheinlichen und schachlich sinnvollen Züge von der Grundstellung aus angeht, noch kleiner, weil keine Engine und kein Mensch von sich aus die Möglichkeit, in eine bestimmte Richtung zu rochieren, absichtlich und noch dazu mit relativ großem Aufwand an Zügen aufgeben würde. Würde die eine das, und die gegnerische aber nicht, würde die, die hin- und herzieht, einfach schon von Anfang an verloren haben.

So gesehen haben die Drawkiller gar keine Varianz an Eröffnungen, die die Engines von sich aus aufs Brett brächten oder die in der Literatur irgendeine reale Rolle spielen.

Und übrigens wo steht, dass Varianz etwas bringt? Wem, außer einem Tester, der darauf Wert legt?

Stefan Pohl schrieb:

Spielen aus der Grundstellung entspricht nur Merkmal 2.


Spielen aus der Grundstellung ist im Schach das einzig regelkonforme.

Die Verwendung von Büchern ist nur Engines erlaubt und nur nach Übereinkünften zu Testzwecken.
Erlaubst du ihnen hingegen, eigene Bücher zu verwenden, die ihnen besonders liegen, testest du die Bücher gemeinsam mit den Engines, testest du aus einer Sammlung von Stellungen, testest du die Teststellungen, ein alter Satz, der zu Unrecht immer nur auf "Stellungstests" angewendet wird.


Testest du aus der Grundstellung allein, bekommst du Dubletten und du testest die Eröffnungsstärke der Engines 3x mehr als ihre Endspielstärke, aber das tust du mit frühen Eröffnungsstellungen ohnehin mehr oder weniger genau immer.
So what.
Parent - - By Stefan Pohl Date 2019-03-05 20:18 Edited 2019-03-05 20:32
So what?
Ganz einfach. Weil auch für das Testen aus der Grundstellung das gilt, was ich hier schon vor kurzem in einem anderen Thread gepostet habe:
“ Nur zeigen uns ja Andreas hervorragende Experimente (und die generelle Entwicklung der Remisquoten) ganz zweifelsfrei, daß das High-End Computerschach dem Remistod entgegengeht (Weswegen ja im TCEC Superfinal von J.Noomen seit einigen Seasons auch schon sehr ungewöhnliche Eröffnungen gewählt werden (müssen!)).
Daher ist die Prognose für die mittlere und weitere Zukunft ganz eindeutig: das High-End Computerschach wird entweder mit Drawkiller weitergehen. Oder es wird GAR NICHT weitergehen, sondern im Dauer-Remis ENDEN. Dies sind - Stand heute - die beiden möglichen Alternativen. Ob uns das nun gefällt oder nicht, spielt da gar keine Rolle.“

Genau deswegen sind Debatten darüber, ob man aus der Grundstellung heraus spielen lassen soll, oder mit kurz-Vorgaben oder klassischen Eröffnungen, völlig akademisch, will sagen überflüssig.
Stattdessen sollten wir alle uns lieber darüber Gedanken machen, ob es noch ein alternatives Konzept neben Drawkiller geben kann, was den Remistod verhindert. Oder, ob man Drawkiller doch noch weiter verbessern kann. Alles andere zum Thema Eröffnungen ist in Anbetracht der Situation und dem Ausblick auf die zukünftige Entwicklung, einfach Zeitverschwendung.

Das ist meine Meinung zu diesem Thema. Das ist ja auch bekannt. Insofern klinke ich mich an dieser Stelle aus. Spielen aus der Grundstellung bedeutet maximale Symmetrie und maximale Ausgeglichenheit. Damit ist klar, daß dieser Ansatz das HighEnd Computerschach nicht vor dem Remistod retten wird. Und damit ist dieser Ansatz zu verwerfen. Ob er aus anderen Blickwinkeln heraus eventuell Sinn macht oder nicht, ist völlig irrelevant.
Parent - By Peter Martan Date 2019-03-05 20:33
Stefan Pohl schrieb:

Genau deswegen sind Debatten darüber, ob man aus der Grundstellung heraus spielen lassen soll, oder mit kurz-Vorgaben oder klassischen Eröffnungen, völlig akademisch, will sagen überflüssig.

Da hast du Recht, Stefan, aber hauptsächlich deshalb, weil das Spielen aus der Grundstellung nicht sterben wird, selbst wenn der Remistod im Computerschach schon längst eingetreten ist, werden Menschen (mit und ohne Computerunterstützung) weiter von der Grundstellung aus spielen.

Und das Konzept, das derzeit alle Foren füllt und mehr Hardware- Zeit, Manpower und Strom in Anspruch nimmt als jedes andere, heißt: immer wieder von der der Grundstellung aus spielende NN- Engine. die sich das Schachspiel (und vor allem natürlich da zunächst mal die Eröffnung) auf diese Art selbst beigebracht hat und weiter selbst beibringt.

Dass dieses mit Selfplay von der Grundstellung aus arbeitende AI- Konzept das Computerschach der letzten Monate mehr oder weniger revolutioniert hat, ist eigentlich auch kein Diskussionsgegenstand mehr.

So gesehen ist es wirklich überflüssig, über das Spiel von der Grundstellung aus zu diskutieren.


Als Testmethode kann man es zu wenig finden, ob Drawkiller sich im Vergleich dazu durchsetzen wird als alleinige Testmethode, gegen die es keine Vorbehalte und Einwände gibt, bleibt abzuwarten. Aber auch über Drawkiller wollte ich eigentlich nicht mit dir diskutieren, Stefan, weil dass das auch ein einzigartes Konzept für sich darstellt und sehr viele Vorteile hat, stelle ich nach wie vor nicht in Frage.
Parent - - By Stefan Pohl Date 2019-03-05 20:39 Edited 2019-03-05 20:43 Upvotes 2
Ich habe übrigens noch mal in meinem (nicht besser werdenden...) Gedächtnis gekramt und mir fiel dabei ein, daß ich mal einen Versuch gestartet hatte, aus Menschpartien Eröffnungslinien herauszufiltern, in denen der König keinen Bauern vor sich stehen hatte. Das hatte ich seinerzeit OLIK getauft (“Open Line in front of King“). Das führte allerdings zu nicht so berauschenden Ergebnissen, da die Stellungen schon sehr entwickelt waren und es viele frühe Remisen durch Dauerschach gab.
Nun wäre es allerdings denkbar, daß dieses Konzept eingebettet im Drawkiller-Konzept eventuell besser funktioniert, weil die Stellungen ja noch total unentwickelt sind. Das ist auf jeden Fall einen Versuch wert. Zumal sich OLIK-Drawkiller Stellungen leicht erzeugen lassen. Die Drawkillerzuglinien werden nur 3 Züge länger, was keine Rolle spielt. Ich lasse mal ein Beta-Test-Set von Komodo zusammenfiltern und mache dann einen Testrun.
Mal sehen, ob das etwas bringt, oder nicht. In einigen Wochen weiß ich mehr.
Parent - By Stefan Pohl Date 2019-03-10 15:29 Upvotes 1
Nach 450 Partien war die Remisquote eines OLIK 500er Sets (Komodo Eval bei (-0.32;-0.18) oder (+0.18;+0.32)) bei knapp 40%. Und die Ergebnisspreizung war mit 61.5% Erfolgscore für asmFish auch nicht wirklich gut. Daher habe ich das Ganze gestoppt. Es sind zwar keine katastrophal schlechten Werte, aber eben doch signifikant schlechter als die Drawkiller-Ergebnisse ohne OLIK bei sonst identischen Testbedingungen. Insofern macht das Ganze keinen Sinn.
Naja, Versuch macht kluch...
Parent - - By Guenter Stertenbrink Date 2019-03-05 13:20
der groesseren statistischen Unsicherheit kann man jaleicht Rechnung tragen indem man
den Wert fuer die gespielten Partien erniedrigt (zweiter Korrektur-Faktor)

---------------------------------

zu drawkiller muss man im Kontext dieses Threads wohl sagen,
dass die Leela-Fans es nicht moegen werden

ausser natuerlich, jemand (du?) trainiert sie mit 50Millionen drawkiller games oder so

die Zukunft mag eine Normal-Leela,eine TCEC-Leela,eine drawkiller-Leela bringen,
alle trainiert mit entsprechenden Partien
Parent - By Stefan Pohl Date 2019-03-05 13:22 Edited 2019-03-05 13:35
Guenter Stertenbrink schrieb:

der groesseren statistischen Unsicherheit kann man jaleicht Rechnung tragen indem man
den Wert fuer die gespielten Partien erniedrigt (zweiter Korrektur-Faktor)

---------------------------------

zu drawkiller muss man im Kontext dieses Threads wohl sagen,
dass die Leela-Fans es nicht moegen werden

ausser natuerlich, jemand (du?) trainiert sie mit 50Millionen drawkiller games oder so

die Zukunft mag eine Normal-Leela,eine TCEC-Leela,eine drawkiller-Leela bringen,
alle trainiert mit entsprechenden Partien


Wozu? In meinem long thinking-time Turnier kommt Lc0 mit Drawkiller doch gut zurecht. Ohne darauf trainiert worden zu sein. Für Leela ist primär wichtig, daß die Stellungen möglichst wenig entwickelt sind. Und das ist bei Drawkiller der Fall. Alle nicht-Bauern Fifuren stehen noch auf der Grundlinie. Und man kann schöne Königsangriffe starten, da die Könige auf den gegenüberliegenden Brettflügeln liegen. Ergo: Leela mag Drawkiller!
Parent - - By Peter Martan Date 2019-03-05 17:46 Edited 2019-03-05 17:49
Guenter Stertenbrink schrieb:

ausser natuerlich, jemand (du?) trainiert sie mit 50Millionen drawkiller games oder so

In Stefans Sinn wäre das wohl am wenigsten, ich glaube auch nicht, dass es für jemand Anders den Aufwand lohnen würde, und die Frage, die man auch nur dadurch beantworten könnte, dass man es ausprobierte, wäre, ob so eine DrawkillerLeela dann nicht wieder im Spiel von der Grundstellung gegen eine von der Grundstellung aus trainierte Leela abstinken würde.

Vollends ein Grund mehr für mich, dass ich nicht davon ausgehe, dass Drawkiller die Methode der Wahl werden wird, NN- Engines in ihrer Entwicklungskontrolle der einzelnen Netzwerke untereinander zu testen, wenn man sieht, wie LC0 weitaus am besten schon gegen SF allein abschneidet, wenn einfach buchlos gespielt wird.
Parent - - By Guenter Stertenbrink Date 2019-03-06 08:23
in der etwas ferneren Zukunft (20Jahre) ist die Hardware wieder >10mal schneller oder billiger.

Da kannst du solche Turniere nicht ohne Buch spielen. In dem buchlosen Turnier bei TCEC
war zudem die Bedenkzeit reduziert.
Der Trainingsaufwand wird vermutlich geringer werden, durch weitere Optimierung,
bessere Hardware, Benutzen existierender Partien.
Leela kann mehrere "weights" files haben und jeweils entscheiden, welches
in der aktuellen Stellung benutzt werden soll.
-----------------------------------------------
Zum Testen der engines untereinander koennten auch spezielle Testpositionen verwendet werden.
------------------------------------------------------

Ob Leela drawkiller mag, unter TCEC-Bedingungen,  muss noch geprueft werden.
Ich haette vermutet dass ihr das mangels Training nicht liegt.
So, wie die Noomen-Superfinale-Eroeffnungen oder noch sehr viel krasses
jenes CCCC-Turnier mit unnormalen Anfangsstellungen.
Das war allerdings wohl eine aeltere Version.
Parent - By Peter Martan Date 2019-03-06 09:40 Edited 2019-03-06 10:04
Guenter Stertenbrink schrieb:

Zum Testen der engines untereinander koennten auch spezielle Testpositionen verwendet werden.

Genau, eine davon wird sicher die Grundstellung bleiben.


Im Ernst, Testpositionen aus der frühen und der späten Eröffnung, dem frühen und dem späten Mittelspiel und dem frühen und dem späten Endspiel sollten es sein, wenn man nicht weiterhin die Eröffnung 3x mehr testen will mit Eng-Eng als das Endspiel.

Und das Training, das ja fürs Endspiel ohnehin auch schon eigens stattfindet, muss eben sinnvoller Weise auch nicht immer nur von der Grundstellung aus anfangen.

Aber die Elo als gemeinsam gültiges Maß, aus einem einzelnen Eröffnungs-Testset und einem einzigen Engine- Pool ermittelt, haben schon länger jede Berechtigung verloren, "overall playing strength" abzubilden.

Längst keine Rede mehr von overall und  erst recht nicht von Übertragbarkeit, wozu dann noch die komplizierte Formel?
Der guten alten Elosion wegen.
Murmel, Murmel.
Up Topic Hauptforen / CSS-Forum / tcec.chessdom.com LCZero v20.2-32930 vs Stockfish 190203

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill