Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Ankündigung: Tests von LC Zero
- - By Stefan Pohl Date 2018-04-16 14:46 Edited 2018-04-16 14:49 Upvotes 5
Hallo zusammen,

das wohl interessanteste Computerschachprojekt momentan (und wohl eines der interessantesten aller Zeiten) ist ohne Zweifel LC Zero, die selbstlernende Engine, die sich per selfplay alles selbst beibringt - angefangen nur mit den Kenntnissen der Schachregeln, mit Zufallszügen und 0 Elo)).
Leider ist es schwierig, LC Zero mit den normalen Testmethoden zu testen, denn LC Zero nutzt die GPU (Grafikkarte) des PCs fürs "Denken" und das voll. Daher kann man leider nicht mehrere Partien mit LC Zero auf einem PC gleichzeitig spielen, was normalerweise beim Testen Standard ist, andernfalls würde LC Zero stark ausgebremst. Gleiches gilt für die reine CPU-Version von LC Zero. Diese ist im singlecore-Betrieb schneckenlangsam und fürs Testen völlig unbrauchbar.
Daher habe ich mich nach einigem Nachdenken dazu entschlossen, mein long thinking-time Turnier in der bisherigen Form einzustampfen (hochwertige Partien von Stockfish, Houdini und Komodo gibt es ja im TCEC zur genüge...). Und stattdessen diesen PC zu nutzen, um LC Zero ein Gauntlet in der FritzGUI gegen drei Engines mit 10'+5'' Bedenkzeit spielen zu lassen. Die drei Engines sind: Aristarch 4.50 (Elo 2387), Pro Deo 1.0 (Elo 2353), Fritz 5.32 (Elo 2324). Die Elozahlen sind aus der CEGT 40Z/20'-Liste. Elo-Durchschnitt der Gegner ist 2355. LC Zero kann den PC und die GPU voll nutzen, die drei Gegner sind singlecore-Engines. Pondern ist aber sowieso aus. Als Fritz-Buch kommt FEOBOS v20 C3 zum Einsatz. Dieses senkt zwar nicht nennenswert die Remisqouten, aber das ist in diesen Spielstärke-Regionen völlig unerheblich. Bei diesen Tests kommt es eher auf breite Streuung der Stellungstypen an, mit dennoch gut spielbaren Varianten, um zu sehen, wie LC Zero mit diversen Stellungstypen klarkommt. Dafür ist FEOBOS mometan auf jeden Fall die beste Wahl.
Mit diesem Spieltempo sollten so 50-60 Partien pro Tag zu schaffen sein. Geplant ist, die Ergebnisse immer auf meiner Website einzubauen, wenn einer meiner 3'+1'' Stockfish-Testruns durch ist, also alle 7-8 Tage. Dann geht das Spielen mit LC Zero wieder von vorne los, mit dem dann aktuellsten Network (und der aktuellsten Programmversion, falls es auch dort ein Update gab). Super genau werden die Ergebnisse mit 300-400 Partien zwar nicht werden, aber einen ungefähren Eindruck der Spielstärke wird man schon gewinnen können, ebenso der möglichen Fortschritte, die LC Zero macht.
Die Partien wird es dann natürlich alle zum Download geben. Momentan gibt LC Zero leider noch keine Bewertungen in der FritzGUI aus, da LC Zero nur über den zwischengeschalteten polyglot-Adapter läuft. Aber das wird hoffentlich nicht so bleiben. Aber als Anhaltspunkt hat man ja immer die Bewertungen der Gegner-Engines.

Nächste Woche (Dienstag?) wird es dann die ersten Daten/Partien geben. Falls LC Zero in der FritzGUI trotz polyglot-Adapter stabil läuft (Daumen drücken!)

Stefan

http://www.sp-cc.de
Parent - By Frank Quisinsky Date 2018-04-16 16:40
Hallo Stefan,

bei FEOBOS geht es ja nicht darum grundsätzlich die Remisquoten zu senken, sondern die vielen schnellen Remise unter 30 Züge durch dreifache Stellungswiederholung in den Griff zu bekommen. Die drei Testläufe bei 40 Züge in 40 Minuten zu FEOBOS v20.1 Contempt 3 erzeugten senationelle Ergebnisse. Die FEOBOS Doku wurde um Seiten 57-61 ergänzt.

Code:
Hier ein Auszug:
29 x 100 : 2.772 = 1,046% Remis Partien unter 30 Zügen bei unserer Empfehlung der FEOBOS v20.1 Buchvariante mit Contempt = 3.


Bei Contempt 4 und 5 geht zu viel was gut ist verloren. Dies dann um aus vielleicht 1.0% später 0.8% zu zaubern ... bringt zu wenig.

Das sind wie ich finde sensationelle Ergebnisse.
Wäre das auch anders, würden wir mal so direkt über 500.000 Engine Analysen auf 10 Threads bei einer Minute unserer besten Programme in Frage stellen.

FEOBOS sammelt, selektiert und sortiert ja nur das aus was Engines uns mitgeben.
Dies dann allerdigns mit vielen neu entwickelten Methoden.

Das Problem bei der FEOBOS Vorgehensweise ist eher, dass sich einige ECO codes sehr schnell bilden.
Wenn wir hingehen und sagen, 3 Züge nach ECO Code Bildung haben wir viele ECO Codes mit nur 5 Zügen im Buch. Gehen wir tiefer als 5 würden zu diesen Codes zu viele Varianten im Verhältnis zu anderen Codes im Buch sein. Und genau diese Codes würden dann viel zu oft ausgespielt. Und dennoch erzeugt FEOBOS mit diesen 5-Züge Buch Varianten nur 1.046% Remispartien unter 30 Zügen. Getestet mit 40 Züge in 40 Minuten. Wichtig is also nicht nur das die schnellen Remise im Griff sind, dass alle 500 ECO Codes im Verhältnis zu deren Möglichkeiten ausgespielt werden, sondern das das Verhältnis unter den ECO Codes bei der Ausspielungsquote stimmt. Die beliebten Codes müssen also öfters aufs Brett kommen als die unbeliebten etc.. Diese Dinge zu vereinen war die Herausforderung und Aufgabe die wir uns stellten.

Richtig ist, dass solche Projekte wie LC Zero in voller Theoriebreite getestet werden sollten. Um mittels Schachprogramme Eröffnungstheorie neu zu schreiben, davon sind wir zu weit weg. Denke darüber herrscht Einigkeit. Obwohl ich schon denke das uns KI zu vielen bekannten Varianten später mal bessere Wege aufzeigen könnte.

Also, wollte das nicht so stehen lassen, denn kein mir bekanntest Buch erreicht die FEOBOS Werte mit nur 1% Remiquote unter 30 Zügen bei allen 500 ECO Codes die ausgepielt werden. Das war das Projekt Ziel und genau das wurde eindrucksvoll erreicht. Insofern senken wir mit FEOBOS ganz deutlich die schnellen Remise. Das ein Eröffnungsbuch nur bedingt Remise senken kann, die sich langfristig aus den Partien ergeben sollte auch klar sein.

Remisquoten grundsätzlich gering halten geht dann nur mit speziellen Büchern und Einschränkungen bei den ECO Codes selbst. Es gibt viele ECO Codes die sehr remisträchtig sind. Es gibt andere ECO Codes die grundsätzlich weniger Remise produzieren (meist die offenen, Du gehst ja mit Deinem Buch eher diesen Weg). Aber das war nicht Ziel vom FEOBOS Projekt. Insofern diskutierten wir oft auch ein wenig nebeneinander. Die Ziele von Deiner Buchentwicklung und FEOBOS unterscheiden sich an einem wichtigen Eckpfeiler.

Wir wollen etwas haben um den Beeinflussungsfaktor Buch weitestgehend auszuschalten. Der Vorteil von FEOBOS ist ferner, dass alle Buchvarianten 10fach überprüft sind. Gehe selbst davon aus, dass unabhängig von dem Remisquoten das Buch zu 99,9% oder höher fehlerfrei ist. Insofern genial um später auch mit KI etwas herauszufinden.

Dir viel Spass mit LC Zero.

Das Projekt ist sicherlich interessant nur ich glaube nicht, dass wir selbst mit heutigen Möglichkeiten weiter sind als wir es vor 18 Jahren schon diskutierten. Hatte es schon öfters angesprochen. Das Thema war ein echtes Thema in Leiden 1999 oder 2000. In einem sehr erfolgreichen Amateur Programm (Nightmare) wurde KI eingebaut. Der Programmierer schrieb ein Buch darüber und verteilte es in Leiden. Mein Exemplar gab ich Roland Pfister für Uli Türke (Comet) mit. Habe es leider nicht vorliegen. Ich glaube es war das holländische Nightmare, es gab auch ein deutsches Nightmare. Der Programmierer verkaufte seinen Sourcen und damit wurden dann die KI Experimente durchgeführt. Die beiden Nightmare Programme haben nichts miteinander zu tun.

Dieses Thema was derzeit die Leute begeistert wurde also aus der Tonne wieder rausgeholt und ist vielen noch gut bekannt.
Nichts wirklich neues!!

Seinerzeit waren sich die Programmierer einig, dass es einfach viel zu lange dauern wird, bis zählbare Resultate dabei raus kommen. Nun sind wir heute besser vernetzt, haben mehr Rechner Kapazitäten aber ich glaube dennoch nicht, dass wir die Grenzen, die vor 18 Jahren aufgezeigt wurden, heute sprengen können. Wir werden Erfolge erzielen aber das ultimative Schachprogramm mit KI? OK, viele Geister werkeln nun zusammen an dem Thema, dadurch entstehen wieder neue Ideen.

Mal schauen ...
Uninteressant war das Thema nie, auch nicht vor 18 Jahren.

Gruß
Frank
Parent - By Tom Paul Date 2018-04-16 18:31
Stefan Pohl schrieb:

Hallo zusammen,

das wohl interessanteste Computerschachprojekt momentan (und wohl eines der interessantesten aller Zeiten) ist ohne Zweifel LC Zero, die selbstlernende Engine, die sich per selfplay alles selbst beibringt - angefangen nur mit den Kenntnissen der Schachregeln, mit Zufallszügen und 0 Elo)).
Leider ist es schwierig, LC Zero mit den normalen Testmethoden zu testen, denn LC Zero nutzt die GPU (Grafikkarte) des PCs fürs "Denken" und das voll. Daher kann man leider nicht mehrere Partien mit LC Zero auf einem PC gleichzeitig spielen, was normalerweise beim Testen Standard ist, andernfalls würde LC Zero stark ausgebremst. Gleiches gilt für die reine CPU-Version von LC Zero. Diese ist im singlecore-Betrieb schneckenlangsam und fürs Testen völlig unbrauchbar.
Daher habe ich mich nach einigem Nachdenken dazu entschlossen, mein long thinking-time Turnier in der bisherigen Form einzustampfen (hochwertige Partien von Stockfish, Houdini und Komodo gibt es ja im TCEC zur genüge...). Und stattdessen diesen PC zu nutzen, um LC Zero ein Gauntlet in der FritzGUI gegen drei Engines mit 10'+5'' Bedenkzeit spielen zu lassen. Die drei Engines sind: Aristarch 4.50 (Elo 2387), Pro Deo 1.0 (Elo 2353), Fritz 5.32 (Elo 2324). Die Elozahlen sind aus der CEGT 40Z/20'-Liste. Elo-Durchschnitt der Gegner ist 2355. LC Zero kann den PC und die GPU voll nutzen, die drei Gegner sind singlecore-Engines. Pondern ist aber sowieso aus. Als Fritz-Buch kommt FEOBOS v20 C3 zum Einsatz. Dieses senkt zwar nicht nennenswert die Remisqouten, aber das ist in diesen Spielstärke-Regionen völlig unerheblich. Bei diesen Tests kommt es eher auf breite Streuung der Stellungstypen an, mit dennoch gut spielbaren Varianten, um zu sehen, wie LC Zero mit diversen Stellungstypen klarkommt. Dafür ist FEOBOS mometan auf jeden Fall die beste Wahl.
Mit diesem Spieltempo sollten so 50-60 Partien pro Tag zu schaffen sein. Geplant ist, die Ergebnisse immer auf meiner Website einzubauen, wenn einer meiner 3'+1'' Stockfish-Testruns durch ist, also alle 7-8 Tage. Dann geht das Spielen mit LC Zero wieder von vorne los, mit dem dann aktuellsten Network (und der aktuellsten Programmversion, falls es auch dort ein Update gab). Super genau werden die Ergebnisse mit 300-400 Partien zwar nicht werden, aber einen ungefähren Eindruck der Spielstärke wird man schon gewinnen können, ebenso der möglichen Fortschritte, die LC Zero macht.
Die Partien wird es dann natürlich alle zum Download geben. Momentan gibt LC Zero leider noch keine Bewertungen in der FritzGUI aus, da LC Zero nur über den zwischengeschalteten polyglot-Adapter läuft. Aber das wird hoffentlich nicht so bleiben. Aber als Anhaltspunkt hat man ja immer die Bewertungen der Gegner-Engines.

Nächste Woche (Dienstag?) wird es dann die ersten Daten/Partien geben. Falls LC Zero in der FritzGUI trotz polyglot-Adapter stabil läuft (Daumen drücken!)

Stefan

<a class='ura' href='http://www.sp-cc.de'>http://www.sp-cc.de</a>


Wenn du Bewertungen in der Fritz GUI brauchst, einfach mal ChessBase anschreiben, die machen das schon.
Parent - - By Ingo Althöfer Date 2018-04-16 18:56
Lieber Herr Pohl,

Stefan Pohl schrieb:
Daher habe ich mich nach einigem Nachdenken dazu
entschlossen, mein long thinking-time Turnier in der bisherigen Form
einzustampfen ... Und stattdessen diesen PC zu nutzen, um LC Zero
ein Gauntlet in der FritzGUI gegen drei Engines mit 10'+5'' Bedenkzeit
spielen zu lassen.

eine mutige Entscheidung.

Ich drücke die Daumen, dass es spannende Ergebnisse gibt,
und werde natürlich den Fortgang verfolgen.

Ingo Althöfer.
Parent - - By Stefan Pohl Date 2018-04-16 20:19
Was ich jetzt schon sagen kann, ist, daß Leelas taktische Stärke noch völlig unzureichend ist. Es gibt immer wieder haarsträubende Aussetzer. Selbst Matts in 5-6 Zügen werden nicht zuverlässig gesehen. Das geht natürlich gegen Fritz und ProDeo böse ins Auge. Diese sehen das im Sekundentakt. Selbst der Uralt-Singlecore Fritz rechnet auf meinem Notebook um die 4 MN/s...
Parent - By Tom Paul Date 2018-04-16 20:48 Edited 2018-04-16 20:58
Stefan Pohl schrieb:

Was ich jetzt schon sagen kann, ist, daß Leelas taktische Stärke noch völlig unzureichend ist. Es gibt immer wieder haarsträubende Aussetzer. Selbst Matts in 5-6 Zügen werden nicht zuverlässig gesehen. Das geht natürlich gegen Fritz und ProDeo böse ins Auge. Diese sehen das im Sekundentakt. Selbst der Uralt-Singlecore Fritz rechnet auf meinem Notebook um die 4 MN/s...


Völlig unzureichend für was?

TCEC erste Partie:
Bedenkzeit 15min. + 10sek. pro Zug
Stockfish ~9000 kN/s vs Zero ~2 kN/s
Es reicht ganz offensichtlich trotzdem um bei TCEC, auf TCEC Hardware(43 Kerne), mit schwarz gegen Stockfish 1 (8 Kerne, ELO auf einem Kern 2754) Remis zu spielen:

Event:
Ort:
Datum:

Weiss:
Schwarz:

Ergebnis
Board


Im übrigen wird hier gerade Zero extrem benachteiligt was die Hardware betrifft.
Am besten war aber dennoch die +5,00 Bewertung von Stockfish.
Parent - - By Stefan Pohl Date 2018-04-16 22:10 Edited 2018-04-16 22:12
Update: Leider bekommt LC Zero gegen die drei Engines, die ich als Gegner gewählt hatte, so gar kein Bein auf den Boden. Da geht echt gar nichts. Aristarch, Fritz und ProDeo sind einfach (noch) viel zu stark, vor allem taktisch. Diese Gegner müssen also noch warten. Also bin ich jetzt einen Schritt zurück gegangen und hab mir die Messtiny-Rom-Emulationen des MM4, MM5 und Roma bei Ed Schröder heruntergeladen und es auch geschafft, die Teile in Fritz zum Laufen zu bringen. Ergo probiere ich jetzt mal die alten "Brett"-Computer-Engines als Gegner...ob diese ROM-Emulation wirklich stabil läuft? Mal sehen. Auf jeden Fall Mega-Retro...
Die Oldies geben im Partieprotokoll sogar Stellungsbewertung und Rechentiefe (Roma leider nur Bewertung) aus.

Stefan
Parent - - By Tom Paul Date 2018-04-16 23:11
Stefan Pohl schrieb:

Update: Leider bekommt LC Zero gegen die drei Engines, die ich als Gegner gewählt hatte, so gar kein Bein auf den Boden. Da geht echt gar nichts. Aristarch, Fritz und ProDeo sind einfach (noch) viel zu stark, vor allem taktisch. Diese Gegner müssen also noch warten. Also bin ich jetzt einen Schritt zurück gegangen und hab mir die Messtiny-Rom-Emulationen des MM4, MM5 und Roma bei Ed Schröder heruntergeladen und es auch geschafft, die Teile in Fritz zum Laufen zu bringen. Ergo probiere ich jetzt mal die alten "Brett"-Computer-Engines als Gegner...ob diese ROM-Emulation wirklich stabil läuft? Mal sehen. Auf jeden Fall Mega-Retro...
Die Oldies geben im Partieprotokoll sogar Stellungsbewertung und Rechentiefe (Roma leider nur Bewertung) aus.

Stefan


Da machst du offensichtlich irgendetwas falsch.

Beim TCEC führt Zero:
N Engine        Rtng Pts Gm   SB Lc          St        

1 LCZero ID125  2400 2.0  3 2.00 ··········· + 1 = 2 - 0
2 Stockfish 1.0 2754 1.0  3 2.00 + 0 = 2 - 1 ···········


Und hat jetzt auch noch in der vierten Partie eine glatte Gewinnstellung.
Parent - - By Stefan Pohl Date 2018-04-17 09:25 Edited 2018-04-17 09:35
Tom Paul schrieb:

Stefan Pohl schrieb:

Update: Leider bekommt LC Zero gegen die drei Engines, die ich als Gegner gewählt hatte, so gar kein Bein auf den Boden. Da geht echt gar nichts. Aristarch, Fritz und ProDeo sind einfach (noch) viel zu stark, vor allem taktisch. Diese Gegner müssen also noch warten. Also bin ich jetzt einen Schritt zurück gegangen und hab mir die Messtiny-Rom-Emulationen des MM4, MM5 und Roma bei Ed Schröder heruntergeladen und es auch geschafft, die Teile in Fritz zum Laufen zu bringen. Ergo probiere ich jetzt mal die alten "Brett"-Computer-Engines als Gegner...ob diese ROM-Emulation wirklich stabil läuft? Mal sehen. Auf jeden Fall Mega-Retro...
Die Oldies geben im Partieprotokoll sogar Stellungsbewertung und Rechentiefe (Roma leider nur Bewertung) aus.

Stefan


Da machst du offensichtlich irgendetwas falsch.

Beim TCEC führt Zero:
<code>N Engine        Rtng Pts Gm   SB Lc          St        

1 LCZero ID125  2400 2.0  3 2.00 ··········· + 1 = 2 - 0
2 Stockfish 1.0 2754 1.0  3 2.00 + 0 = 2 - 1 ···········</code>

Und hat jetzt auch noch in der vierten Partie eine glatte Gewinnstellung.


Ich mache nichts falsch. Beim TCEC kommt Leela auf eine Rollout-Tiefe von um die 24 und das mit ungefähr 4000 Rollouts/s. Auf meiner mobile-GPU sind es meist knapp unter 1000 Rollouts/s und die die Rollout-Tiefe liegt bei 21. Also durchaus normal. Ich habe einen Standard-Laptop. Zwar recht modern, aber mit einer auch nur durchschnittlichen Grafikkarte.
Gegen die drei Uralt-Brett-Engines, die aber ja deutlich beschleunigt liefen und daher sicher um die 2000 Elo lagen, gewann Leela bei mir über Nacht fast alle Partien. Sie funktioniert also durchaus. Aber, daß sie jetzt schon 2700 Elo oder so hat, das glaubt doch wohl niemand ernsthaft?! Ich denke, mit meinem dritten Versuch gegen drei Engines um die 2220 Elo, liege ich ganz gut.
Aber es ist ja jedem unbenommen, selber Tests zu machen. Inzwischen läuft Leela ja nicht nur in Arena, sondern auch in Fritz und sogar in der LittleBlitzerGUI. Sollte jemand Ergebnisse von Leela von 2700, 2600 Elo etc. generieren, dann wäre ich doch sehr erstaunt. Sebst mit einer Monster-Grafikkarte. Aber ich teste sie eben auf einer normalen Grafikkarte. Was ja m.E. nach für den normalen Schachanwender auch interessant sein kann, weil ja nicht jeder einen fetten Gaming-PC im Wohnzimmer hat. Ich jedenfalls nicht.

https://docs.google.com/spreadsheets/d/18UWR4FVhPi0vNwwPreu_avd9ycujGQ5ayR2LzJOWP4s/edit#gid=0
Parent - - By Peter Martan Date 2018-04-17 10:04 Edited 2018-04-17 10:06
Stefan Pohl schrieb:

Aber, daß sie jetzt schon 2700 Elo oder so hat, das glaubt doch wohl niemand ernsthaft?!

Und schon gar nicht ohne Buch.

Danke neuerlich für deine Tests.
CCC Kai Laskos:
http://www.talkchess.com/forum/viewtopic.php?topic_view=threads&p=758145&t=66945&sid=b4fd873b7aa2dc122968df9721b64cd6
Parent - - By Stefan Pohl Date 2018-04-17 12:51
Peter Martan schrieb:

Stefan Pohl schrieb:

Aber, daß sie jetzt schon 2700 Elo oder so hat, das glaubt doch wohl niemand ernsthaft?!

Und schon gar nicht ohne Buch.

Danke neuerlich für deine Tests.
CCC Kai Laskos:
<a class='ura' href='http://www.talkchess.com/forum/viewtopic.php?topic_view=threads&p=758145&t=66945&sid=b4fd873b7aa2dc122968df9721b64cd6'>http://www.talkchess.com/forum/viewtopic.php?topic_view=threads&p=758145&t=66945&sid=b4fd873b7aa2dc122968df9721b64cd6</a>


Das hab ich auch gelesen. Es könnte wohl eine Regression seit Network 124 gegeben haben. Aber ich meine, dennoch sollte man (bzw. ich) schon immer eine möglichst aktuelle Network-Version testen. Bei mir läuft Leela jetzt gegen die drei Engines mit ca. 2220 Elo mit Network 138. Auch ist für mich schwer nachvollziehbar, wie es bei Leela durch weiteres Selfplay-Lernen zu einer Regression kommen sollte. Bei einer "normalen" Engine kann sowas immer mal passieren, wenn eine neu eingebaute Idee nicht funktioniert. Aber beim kontinuierlichen Selfplay-Lernen mit hunderttausenden von Partien kommt mir das doch recht seltsam vor. Eine Stagnationsphase könnte ich mir gut vorstellen. Aber eine echte Regression?!? Allerdings bin ich auch alles andere als ein AlphaZero-Experte...

Grüße- Stefan
Parent - - By Peter Martan Date 2018-04-17 18:28
Stefan Pohl schrieb:

Auch ist für mich schwer nachvollziehbar, wie es bei Leela durch weiteres Selfplay-Lernen zu einer Regression kommen sollte. Bei einer "normalen" Engine kann sowas immer mal passieren, wenn eine neu eingebaute Idee nicht funktioniert. Aber beim kontinuierlichen Selfplay-Lernen mit hunderttausenden von Partien kommt mir das doch recht seltsam vor. Eine Stagnationsphase könnte ich mir gut vorstellen. Aber eine echte Regression?!? Allerdings bin ich auch alles andere als ein AlphaZero-Experte...

Bei der "Regression" wird es sich wohl einfach um statistisches Rauschen handeln, und was AlphaZero angeht, bin ich mit Daniel Shawul der Meinung, dass das (A0) mit LeelaChessZero nur sehr wenig zu tun hat, zumindest vorläufig.
http://www.talkchess.com/forum/viewtopic.php?topic_view=threads&p=757920&t=67117&sid=64561952078dc509a2dcc794984ca75b
Aber lassen wir das lieber, Daniel ist vielleicht in dem Posting nicht ganz objektiv gewesen, weil es ja um den Vergleich zu Scorpio ging, und nichts liegt mir ferner, als gleich wieder die A0-Fans zu kränken.

Was aber wohl bleiben wird, so wie's jetzt ausschaut, dass das Ding in seiner Leistung noch stärker Hardware- abhängig sein dürfte als herkömmliche Blechis, und ich behaupte noch mal einfach so, weil ich schon am Behaupten bin, es wird noch lange sehr davon abhängig bleiben, ob es ohne Buch spielt.
Einfach, weil es deterministischer ist als Alpha-Beta SMP, und weil es auf taktische Fallen, die man schon in der Eröffnung stellt, zumindest noch eine Weile lang furchtbar anfällig bleiben wird.

Wenn du mit deinen Tests mit "normalem" Buch durch bist, kannst du dir ja vielleicht noch den Spaß machen, es mit SALC oder überhaupt einem Gambit- Buch zu testen. Vielleicht gemein von mir, aber ich finde ja nach wie vor, dass ein Match LCZ ohne Buch gegen eine "normale" Engine mit Buch auch nicht wirklich unfair wäre, weil ja dem Zero- Prinzip das externe Buch eigentlich widerspricht.
Dass Stockfish mit (gutem) Buch besser spielt als ohne, damit haben wir uns bei den "normalen" Ranglisten abgefunden, das heißt aber eigentlich auch nicht, dass es selbstverständlich ist. Bei LCZ wäre der Unterschied im Moment noch einmal eine Nummer gravierender.
Parent - - By Stefan Pohl Date 2018-04-17 19:14
Peter Martan schrieb:

Vielleicht gemein von mir, aber ich finde ja nach wie vor, dass ein Match LCZ ohne Buch gegen eine "normale" Engine mit Buch auch nicht wirklich unfair wäre, weil ja dem Zero- Prinzip das externe Buch eigentlich widerspricht.
Dass Stockfish mit (gutem) Buch besser spielt als ohne, damit haben wir uns bei den "normalen" Ranglisten abgefunden, das heißt aber eigentlich auch nicht, dass es selbstverständlich ist. Bei LCZ wäre der Unterschied im Moment noch einmal eine Nummer gravierender.


Im Prinzip stimme ich zu. Aber ich gebe zu bedenken, daß der Begriff “Buch“ hier eigentlich nicht angebracht ist. Was ich (und andere Tester) benutzen, sind Vorgabestellungen bzw. Bücher, die so kurz sind, wie es möglich ist. Und die nur dazu dienen, die Engines in breit gefächerte Anfangsstellungen zu bringen. Dies gilt für Feobos, meine SALC-Stellungen und andere Vorgaben, die wir Tester so nutzen. Und das muß auch sein. Denn man braucht ja für valide Ergebnisse nun mal viele Partien und man kann nicht hunderte oder tausende Male aus der Grundstellung losspielen.
Ein klassisches Eröffnungsbuch, was früher mal Brettcomputern und auch PC-Engines mitgegeben wurde, versucht ja, möglichst lange aus dem Buch zu spielen und für die Engine vermeintlich vorteilhafte Varianten zu spielen. Das ist vom Ansatz her etwas ganz anderes. Das ist eigentlich sogar das genaue Gegenteil eines Tester-“Buches“, auch wenn es beides Buchdatein für eine GUI sind. Das sollte man meiner Meinung nach schon trennen. Denn das sind eben zwei Paar Schuhe.

Ganz ohne Vorgabe wird das Testen nicht gehen. Aber das ist eben noch lange keine “Buchbenutzung“.

Grüße - Stefan
Parent - By Peter Martan Date 2018-04-17 19:36 Edited 2018-04-17 19:38
Stefan Pohl schrieb:

Im Prinzip stimme ich zu. Aber ich gebe zu bedenken, daß der Begriff “Buch“ hier eigentlich nicht angebracht ist. Was ich (und andere Tester) benutzen, sind Vorgabestellungen bzw. Bücher, die so kurz sind, wie es möglich ist. Und die nur dazu dienen, die Engines in breit gefächerte Anfangsstellungen zu bringen. Dies gilt für Feobos, meine SALC-Stellungen und andere Vorgaben, die wir Tester so nutzen. Und das muß auch sein. Denn man braucht ja für valide Ergebnisse nun mal viele Partien und man kann nicht hunderte oder tausende Male aus der Grundstellung losspielen.
Ein klassisches Eröffnungsbuch, was früher mal Brettcomputern und auch PC-Engines mitgegeben wurde, versucht ja, möglichst lange aus dem Buch zu spielen und für die Engine vermeintlich vorteilhafte Varianten zu spielen. Das ist vom Ansatz her etwas ganz anderes. Das ist eigentlich sogar das genaue Gegenteil eines Tester-“Buches“, auch wenn es beides Buchdatein für eine GUI sind. Das sollte man meiner Meinung nach schon trennen. Denn das sind eben zwei Paar Schuhe.

Ganz ohne Vorgabe wird das Testen nicht gehen. Aber das ist eben noch lange keine “Buchbenutzung“.

Alles klar und wahr, Stefan, aber die Vielfalt (die an sich mit der Performance gar nichts zu tun hat, das ist eigentlich eine rein ästhetische Anforderung aus menschlicher Sicht) hätte man auch, wenn nur die eines Seite das Testbuch oder das Eröffnungstestset nutzte.
Zero heißt bei AI (wenn man's so eng sieht, aber wozu sonst der ganze riesige Selflearning- Aufwand?) halt nun mal, keine menschliche "lehrhafte" Einmischung. Wenn LCZ nicht von der Grundstellung aus spielt, ist's nicht wirklich LCZ, finde ich halt.
Und die Schwachstelle Eröffnung bei jedweder etwas taktischen solchen gehört meiner Meinung nach schon auch aufgedeckt und hergezeigt, Celo hin oder her.
Parent - By Stefan Pohl Date 2018-04-17 09:04
Stefan Pohl schrieb:

Update: Leider bekommt LC Zero gegen die drei Engines, die ich als Gegner gewählt hatte, so gar kein Bein auf den Boden. Da geht echt gar nichts. Aristarch, Fritz und ProDeo sind einfach (noch) viel zu stark, vor allem taktisch. Diese Gegner müssen also noch warten. Also bin ich jetzt einen Schritt zurück gegangen und hab mir die Messtiny-Rom-Emulationen des MM4, MM5 und Roma bei Ed Schröder heruntergeladen und es auch geschafft, die Teile in Fritz zum Laufen zu bringen. Ergo probiere ich jetzt mal die alten "Brett"-Computer-Engines als Gegner...ob diese ROM-Emulation wirklich stabil läuft? Mal sehen. Auf jeden Fall Mega-Retro...
Die Oldies geben im Partieprotokoll sogar Stellungsbewertung und Rechentiefe (Roma leider nur Bewertung) aus.

Stefan


Update 2: Tja, das ging nun genau gegenteilig in die Hose: Die drei alten Brett-Engines wurden von Leela zermalmt. Also nun der dritte Versuch mit drei Egnines um die 2222 CEGT-Elo, nämlich Gaia 3.5 (Elo 2211), Rotor 0.4 (Elo 2222), Abrok 5.0 (Elo 2233). Ich hoffe, das sind halbwegs adäquate Gegner für Leela. Aller guten Dinge sind ja drei. Sorry für die dauernden Wechsel, aber Leela ist eben Neuland. Auch für mich als Tester.

Stefan
- - By Lothar Jung Date 2018-04-16 18:07 Edited 2018-04-16 18:10
Hallo Stephan,
Dein Vier-Engine-Tunier mit LC Zero finde ich toll!
Die Tuniere, die man zur Zeit unter Twitch verfolgen kann, spielen mit einem abgeschwächten SF9 oder gegen Engines zuletzt zwischen 2100 und 2300 Elo. In der inoffiziellen Rating List erreicht ld125 2041 ELo. Die Spiele dort werden auf einem Intel 3.9GHz / GTX 1060 durchgeführt. Die Spiele unter Twitch werden zumeist auf einem 1800x / GTX 1070 bzw. 1080 durchgeführt.
Ich benutze fürs mein Computerschachhobby zufälligerweise das gleiche Notebook. Daneben habe ich mir aktuell einen Ryzen 1800x GTX 1080 angeschafft.
Im Single-Core-Betrieb ist der i7 6700 gleich schnell wie der Ryzen 1800x.
Unter OpenCl oder Cuda sieht die Sache ganz anders aus:
Die beiden Notebook-GPUs erreichen im Geekbench zusammen ca. 70.000 Punkte, eine GTX 1080 fast das Dreifache nämlich über 190.000 Punkte.
Ob man LC Zero auf einer NVIDIA 950/Intel GPU oder GTX 1080 laufen lässt, dürfte die Vergleichbarkeit mit der Rangliste oder den anderen  Tunieren zusätzlich erschweren.
Viele Grüße
Lothar
Parent - - By Stefan Pohl Date 2018-04-16 18:23
Lothar Jung schrieb:

Hallo Stephan,
Dein Vier-Engine-Tunier mit LC Zero finde ich toll!
Die Tuniere, die man zur Zeit unter Twitch verfolgen kann, spielen mit einem abgeschwächten SF9 oder gegen Engines zuletzt zwischen 2100 und 2300 Elo. In der inoffiziellen Rating List erreicht ld125 2041 ELo. Die Spiele dort werden auf einem Intel 3.9GHz / GTX 1060 durchgeführt. Die Spiele unter Twitch werden zumeist auf einem 1800x / GTX 1070 bzw. 1080 durchgeführt.
Ich benutze fürs mein Computerschachhobby zufälligerweise das gleiche Notebook. Daneben habe ich mir aktuell einen Ryzen 1800x GTX 1080 angeschafft.
Im Single-Core-Betrieb ist der i7 6700 gleich schnell wie der Ryzen 1800x.
Unter OpenCl oder Cuda sieht die Sache ganz anders aus:
Die beiden Notebook-GPUs erreichen im Geekbench zusammen ca. 70.000 Punkte, eine GTX 1080 fast das Dreifache nämlich über 190.000 Punkte.
Ob man LC Zero auf einer NVIDIA 960/Intel GPU oder GTX 1080 laufen lässt, dürfte die Vergleichbarkeit mit der Rangliste oder den anderen  Tunieren zusätzlich erschweren.
Viele Grüße
Lothar


Du hast natürlich Recht. Unser Notebook ist in Sachen GPU nicht besonders schnell. Im Moment sind die drei gewählten GegnerEngines sicher noch (sehr?) deutlich zu stark. Besonders, wenn Leela nur auf einer mobile-GPU läuft. Und die Vergleichbarkeit ist ein großes Problem, weil die GPU über die Leistung entscheidet, nicht die CPU, und Ranglistentests an sich erst Recht, weil man eben keine Leelas parallel laufen lassen kann. Nur, wenn man die CPU-Version von Leela nutzt, läuft sie meßbar langsamer, zumindest bei mir. Und bei PCs mit besserer GPU wird diese Diskrepanz noch deutlicher ausfallen. Insofern muß man eigentlich die GPU nutzen.

Was die Wahl der (noch zu) starken Gegner-Engines angeht, muß ich etwas langfristiger gedacht an die Sache herangehen und wir hoffen ja alle, daß LCZero in Zukunft stärker wird. Dann wird sich der Abstand verringern. Irgendwann wird LCZero auch vorbeiziehen (hoffentlich). Da Ergebnisse von LCZero untereinander nur dann vergleichbar sind, wenn die gleichen Gegner "bespielt" werden, ist es sinnvoll, diese möglichst lange einzusetzen. Daher jetzt meine Wahl auf diese 3 Engines. Auch kann ich diese Engines ganz gut vom Stil her einschätzen, andere Engines in dieser Spielstärkeregion kenne ich nicht so gut. Fritz 5.32 ist ein Brutalo-Taktiker, Pro Deo (also Ed Schröders Rebel) spielt relativ ausgewogenes, ordentliches, positionelles Schach und Aristarch ist leicht romantisch angehaucht und opfert auch mal. Insofern eine gute Mischung, meine ich.

Grüße - Stefan
Parent - - By Lothar Jung Date 2018-04-16 18:47 Edited 2018-04-16 18:49
Hallo Stephan,
ich könnte z.B. Fritz 5.32 auf meinem PC LC Zero mit einer GTX 1080 antreten lassen.
Dann sieht man schön, im Vergleich mit Deinen Ergebnissen, wie LC Zero mit der Geschwindigkeit der eingesetzten GPUs skaliert.
Es wäre denn möglich, über die Ergebnisse des Geekbench auch auf andere Grafikkarten zu schließen bzw. eine SLI 1080 einzuschätzen.
Viele Grüße
Lothar
Parent - By Jens Hartmann Date 2018-04-16 19:22
Lothar Jung schrieb:

Hallo Stephan,
ich könnte z.B. Fritz 5.32 auf meinem PC LC Zero mit einer GTX 1080 antreten lassen.
Dann sieht man schön, im Vergleich mit Deinen Ergebnissen, wie LC Zero mit der Geschwindigkeit der eingesetzten GPUs skaliert.
Es wäre denn möglich, über die Ergebnisse des Geekbench auch auf andere Grafikkarten zu schließen bzw. eine SLI 1080 einzuschätzen.
Viele Grüße
Lothar


Im LC0 Forum schreibt einer der Programmierer, das sie (derzeit?) keine Möglichkeiten sehen, SLI zu nutzen. Mit 2 Grafikkarten ist LC0 nur minimal schneller als mir einer.
Up Topic Hauptforen / CSS-Forum / Ankündigung: Tests von LC Zero

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill