Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Neuer Artikel über Alpha Zero
- - By Stefan Pohl Date 2018-12-06 20:56 Edited 2018-12-06 21:04 Upvotes 1
http://science.sciencemag.org/content/362/6419/1140

Enthält auch mehr Ergebnisse und Auswertungen von Partien gegen Stockfish.

Darauf bezogener Artikel in der FAZ:
http://www.faz.net/aktuell/wissen/die-einsamste-intelligenz-der-welt-15928202.html
Parent - - By Klaus S. Date 2018-12-06 21:15 Upvotes 1
Parent - By Peter Martan Date 2018-12-06 22:25 Edited 2018-12-06 22:30
So wie ich das sehe, ist das eine weitere Site zur selben Sache, die an wesentlichem Inhalt in mehreren Links auf folgendes verweist:

Dieselbe "Publkikation" wie die, die Stefan im ersten Link hat, eine .pdf- Version davon, ein "Editorial" von G. Kasparov, die sich mit historischen Betrachtungen zum Thema Computerschach beschäftigt, eine Sammlung von A0-Partien aus dem Buch "Game Changer" von dessen Autor und eine Verkaufsankündigung zu eben diesem Buch, von dem wir schon vor einer Weile als der großen Neuigkeit von, über (und zum Thema) A0 informiert worden sind.

"Neues A0" war der Thread von Günter Stertenbrink, daraus:
http://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=116666#pid116666

Hab' ich sonst noch was verpasst?
Parent - - By Peter Martan Date 2018-12-06 22:09 Edited 2018-12-06 23:04
Stefan Pohl schrieb:

Enthält auch mehr Ergebnisse und Auswertungen von Partien gegen Stockfish.

Du meinst das?
Zitat:

(C) Extra evaluations of AlphaZero in chess against the most recent version of Stockfish at the time of writing (27) and against Stockfish with a strong opening book (28).

Unter 27 ist die Stockfish- Version zum Zeitpunkt 13. Jänner 2018 angegeben, unter 28:
Zitat:

28.The Stockfish variant used the Cerebellum opening book downloaded from https://zipproth.de/#Brainfish. AlphaZero did not use an opening book. To ensure diversity against a deterministic opening book, AlphaZero used a small amount of randomization in its opening moves (10); this avoided duplicate games but also resulted in more losses.

Heißt das jetzt, es ist ein neues Match gegen SF vom Jänner mit Cerebellum (von damals?) gespielt worden?
Wäre das dann nicht einer Extra- Erwähnung wert? (gewesen, relativ zum ersten Match scheint das dann eher geheim gehalten worden zu sein?)

Zitat:
this avoided duplicate games but also resulted in more losses.


Ist das Ganze jetzt das "Paper" zum "Preprint" von damals oder doch was Neues?

Und wo sind die Partien zum Download, seien's jetzt "nur" alte oder doch neue?


Edit:
Zitat:

We also played a match that started from the set of opening positions used in the 2016 TCEC world championship; AlphaZero won convincingly in this match, too (26) (fig. S4). We played additional matches against the most recent development version of Stockfish (27) and a variant of Stockfish that uses a strong opening book (28). AlphaZero won all matches by a large margin (Fig. 2).


Die wesentlichen Daten muss man dort entnehmen, offenbar hat ein neues Match doch schon im Jänner stattgefunden, es wurde von "most popular human openings" aus gespielt einmal und ein zweites mal von TCEC- Eröffungsstellungen aus, oder beides ist ein und dasselbe im einen Match und im anderen wurde das Cerebellum verwendet?

Die jeweilige Match- Performance kann ich dementsprechend auch nicht sicher zu zwei von 3 Möglichkeiten zuordnen, während mir die Editierzeit abläuft, ich hoffe auf Erleuchtung später, vielleicht hilft mir wer dabei, der das schneller klarer sieht.

Aber jedenfalls schaut's in den beiden Matches, die graphisch veständlich dargestellt werden, so aus:

W-D-L 29-70.6-0.4 % aus der Sicht von A0 und im anderen
2 (!)-97.2 (!) -0.8

Die Partien würden mich jetzt erst recht interessieren.
Parent - - By Peter Martan Date 2018-12-06 23:11 Edited 2018-12-06 23:19
Nun ist die Editierzeit endgültig um.

https://www.chess.com/news/view/updated-alphazero-crushes-stockfish-in-new-1-000-game-match

aus dem CCC- thread
http://talkchess.com/forum3/viewtopic.php?p=781641#p781641

Im ersten Link (ich rate, wie bei chess.com immer, zu Google Chrome, die Site selbst tut das auch, so ein Zufall ) liest man:
Zitat:

The updated AlphaZero crushed Stockfish 8 in a new 1,000-game match, scoring +155 -6 =839. (See below for three sample games from this match with analysis by Stockfish 10 and video analysis by GM Robert Hess.)

AlphaZero also bested Stockfish in a series of time-odds matches, soundly beating the traditional engine even at time odds of 10 to one.

In additional matches, the new AlphaZero beat the "latest development version" of Stockfish, with virtually identical results as the match vs Stockfish 8, according to DeepMind. The pre-release copy of journal article, which is dated Dec. 7, 2018, does not specify the exact development version used.

[Update: Today's release of the full journal article specifies that the match was against the latest development version of Stockfish as of Jan. 13, 2018.]

The machine-learning engine also won all matches against "a variant of Stockfish that uses a strong opening book," according to DeepMind. Adding the opening book did seem to help Stockfish, which finally won a substantial number of games when AlphaZero was Black—but not enough to win the match.

Wenigstens ist wieder was los und A0 nicht tot, darüber freu' ich mir jedenfalls schon mal einen Ast.
Parent - - By Peter Martan Date 2018-12-07 00:25
Und am meisten freut mich, mal wieder was von Matthew Lai zu lesen:
http://talkchess.com/forum3/viewtopic.php?p=781652#p781652
Parent - - By Peter Martan Date 2018-12-07 07:54 Edited 2018-12-07 08:03
Und der macht auch gleich ganz schön viel Öffentlichkeitsarbeit:

http://talkchess.com/forum3/viewtopic.php?p=781671#p781671

Und ein paar Postings in der Folge von ihm in dem Thread sollte man auch noch lesen.

Und hier auch endlich ein großes Partieangebot zum Download:

https://deepmind.com/research/alphago/alphazero-resources/

A0 goes public.

Hier schreibt Lai allerdings, es handle sich nur um Partien aus vorgegebenen Eröffnungsstellungen, keine gegen Brainfish:
http://talkchess.com/forum3/viewtopic.php?p=781683#p781683

Und jetzt dann also auch einfach her mit A0 in der Google- Cloud für den kleinen User leistbar, noch besser, gratis.

Man ist einfach etwas unbescheiden geworden als Computerschachspieler, falls man's nicht schon immer war.
Aber was soll's, in dem bechriebenen Thread spekulieren ja auch schon genug Leute, dass LC0 A0 bald überholen wird, wenn nicht schon hat. Der Elo- Unterschied zum SF von damals ist ja gar nicht soo groß, man schreibt von 52 Elo (sind wohl die aus den Vorgabestellungen) Larry Kaufman rechnet gar nur 32?

http://talkchess.com/forum3/viewtopic.php?p=781703#p781703

Man sollte sich selbst ein Bild machen können, also:
her mit A0 in der Google- Cloud für den kleinen User leistbar, noch besser, gratis.

Man ist einfach etwas unbescheiden geworden als Computerschachspieler, falls man's nicht schon immer war.
Parent - - By Guenter Stertenbrink Date 2018-12-07 11:21 Edited 2018-12-07 11:41
AlphaZero-2  - Stockfish 8  : +155 -6 =839

Jaenner = Oesterreichisch fuer Januar (?)

supplemental data

aar6404_DataS1.zip

http://science.sciencemag.org/highwire/filestream/719481/field_highwire_adjunct_files/1/aar6404_DataS1.zip

... enthaelt 100 shogi-Partien und:

2018-11-07 11:57:20 ....A       198043        72509  alphazero_vs_stockfish.pgn
2018-11-07 11:57:18 ....A       183874        65576  alphazero_vs_stockfish_tcec_positions.pgn
2018-10-16 11:52:04 ....A         3921         1385  figure1_elos.json

110 Partien im ersten .pgn   32,6,72
100 Partien im zweiten .pgn  23,2,75

(weisssiege,schwarzsiege,remisen)
Parent - - By Peter Martan Date 2018-12-07 12:03 Edited 2018-12-07 12:19
Guenter Stertenbrink schrieb:

Jaenner = Oesterreichisch fuer Januar (?)

Sehr gut erkannt, Günter!

https://www.duden.de/rechtschreibung/Jaenner
Daraus unter "Wussten Sie schon?":
Zitat:

Dieses Wort gehört zum Wortschatz des Zertifikats Deutsch.

Keine Partien zum Download vom Brainfish- Match:
http://talkchess.com/forum3/viewtopic.php?p=781683#p781683
Und das schöne Ergebnis, das du nochmals zusammgefasst hast, war wohl auch das ohne Stockfish- Buch.

Alles in allem, um für mich endlich wieder Ruhe zu geben, würde ich sagen, Deep Mind hat seine Hausaufgaben in diesem Jahr ganz brav gemacht, mag schon sein, dass das auch Vorgaben vom Peer Review waren, die ganz große Neuerfindung des Spieles Schach war's halt doch nicht, über die sich natürlich nicht nur Google gefreut hätte, und nach der es im ersten Match ausgesehen hat und wohl auch aussehen hatte sollen.

Aber das kann ja alles noch kommen und immerhin wurde da schon ganz schön viel Arbeit investiert, mal ganz vom Hardware- Zeit- Einsatz abgesehen.

Mittlerweile ist ja zusätzlich spannend, inwieweit LC0 da bald (Manche meinen ja, es sei schon so weit) wird mithalten können, und was man als kleiner User davon wird profitieren können.
Momentan scheinen die Werbeträger für A0 ja immerhin auch namhafte Schachspieler zu werden, und vielleicht wird für solche ja auch dafür ein Zugang zum Werkzeug A0 in Sachen Eröffnungtheorie herausschauen.

Mal sehen, wie's weitergeht.
Parent - By Guenter Stertenbrink Date 2018-12-07 12:27
habe jetzt auch die links geklickt ...
zunaechst war ich den thread nur uebergeflogen

man streitet immer noch ueber die exakten Konditionen,
wer denn nun besser ist und wieveil (Elo). Kein Leela-Ratio ?

Das haette google doch nun mal genau darlegen koennen,
vielleicht geniessen sie die ambiguity
Parent - - By Benno Hartwig Date 2018-12-09 06:52 Edited 2018-12-09 07:00

> AlphaZero-2  - Stockfish 8  : +155 -6 =839


A01 schaffte hier also eine 57,5%-Quote

Ich habe den aktuellen SF mal bei sehr kurzen Zeiten gegen SF8 auf die Reise geschickt, um überhaupt mal sowas wie einen Vergleich zu haben.
Diese sehr kurzen Zeiten führen natürlich zu einer deutlich kleineren Remisquote. Aber vielleicht gibt jeweils das Verhältnis der Gewinnpartien-Anzahlen was her:

1m + 0,5s:  
Stockfish_18120615_x64_modern vs. Stockfish_8_x64_popcnt  : 136,5/200   79- 6-115
Quote: 68%

2m + 1s:
Stockfish_18120615_x64_modern vs. Stockfish_8_x64_popcnt  :  70,0/107   35- 2- 70
Quote: 65%
(diese Begegnung läuft gerade noch weiter, ein i5-Kern 2,3 GHz,
Die geringe Partienzahl gestattet zunächst ja nicht mehr als eine Ahnung von den Verhältnissen)

Benno
Parent - - By Benno Hartwig Date 2018-12-09 18:11
Inzwischen:
2m + 1s
Stockfish_18120615_x64_modern - Stockfish_8_x64_popcnt : 140,0/210 75-5-130
also ca. 67% Quote.

Die A0-Erfolge gegen SF8 wirken schon drastisch.
Aber der aktuelle SF mach das auch sehr beeindruckend!
Benno
Parent - - By Frank Brenner Date 2018-12-10 00:47
Dann mach den Test doch mal mit 3 Stunden +15s/Zug  Partien. Dann schrumpft der Vorteil von 67% auf schätzungsweise 54%.
Parent - By Benno Hartwig Date 2018-12-10 19:24

> mach den Test doch mal mit 3 Stunden +15s/Zug  Partien



Nee, mache ich nicht. Und einen viele-viele-viele-Kerne-Rechner kaufe ich mir auch nicht.
Aber natürlich würde die Remisquote satt steigen. Weiß ich natürlich.
Das Verhältnis der Gewinn- und Verlustpartien könnte aber leidlich vergleichbar einen Hinweis darauf geben, in welchem Maße Überlegenheit besteht.
(im Moment lasse ich noch mal 5m + 2s laufen)

Benno
Parent - - By Guenter Stertenbrink Date 2018-12-07 13:47
Peter Martan schrieb:

Und am meisten freut mich, mal wieder was von Matthew Lai zu lesen:
<a class='ura' href='http://talkchess.com/forum3/viewtopic.php?p=781652#p781652'>http://talkchess.com/forum3/viewtopic.php?p=781652#p781652</a>


er hat ein Disclaimer, dass er seine eigenen Meinung posted, nicht die von Deepmind-Google-Alphabet .
Aber er verteidigt deren Position

Wie wuerde er wohl posten, wenn er nie zu google gegangen waere ...

deepmind schaemt sich offensichtlich, den sourcecode zu posten
und wir werden wohl kein a0 bekommen, das wir testen koennen, das bei TCEC oder CCCC mitspielt
oder gar in die Ratinglisten kommt, falls/wenn jene schliesslich doch mit GPU testen.
Parent - - By Peter Martan Date 2018-12-07 14:26 Edited 2018-12-07 14:30
M. Lai hat jedenfalls offenbar keine strenge Geheimhaltung von Deep Mind auferlegt, und was er schreibt, klingt für mich ehrlich und ehrlich überzeugt.
Auch beschönigt er, was ich so gelesen habe, nichts unnötig, scheint mir halt.

Dass der source code von A0 (wenn überhaupt jemand ohne die entsprechende Hardware viel davon hätte) nicht veröffentlicht wird, wenn Google selbst noch irgendwas damit vorhat, ist klar.
Ich glaube auch nach wie vor, dass das ganze Paket als Werkzeug vermarktbar wäre, immerhin haben ja auch Vasik Rajlich und chessbase Hardware- Software- Mietmodelle schon eine Zeit lang betrieben, ganz ohne Interesse wäre das nach wie vor nicht, ob's in vernünftigen Hardware- Zeit- Einheiten anbietbar und annehmbar wäre, hängt davon ab, was man damit wirklich machen könnte und inwieweit die Daten, die man damit gewinnen könnte, auch schützbar für den einzelnen User wären, ansonsten wären sie nämlich natürlich auch gleich wieder nutzlos.

Nur falls irgend so etwas als Angebot geplant wäre, könnte ich mir vorstellen, dass Schaukämpfe nach dem TCEC- Muster bei Google Interesse wecken könnten. Andererseits wäre Remisschieberei gegen starke, oder eventuell auch gar nicht gar so starke Gegner genau da dann wieder kontraproduktiv werbetechnisch.

Realistisch betrachtet glaube ich nur allerdings sowieso und schon nach dem Bisschen mehr, was man jetzt wieder zu sehen bekommen hat, erst recht, dass auch so eine Hardware- Software- Kombi, je mehr sie noch leisten könnte, umso schneller ins sichere Remis steuern würde, und sich allein dadurch schon ziemlich schnell selbst limitieren in der weiteren Erkenntnis- Gewinnung.

Außerdem wäre der schnellste Weg in den sicheren Remistod ohnehin immer noch das weitere explosionsartige Ausbauen der Eröffnungsdatenbanken, damit oder mit anderen Engines. Ein Cerebellum- Algorithmus müsste meiner Einschätzung nach da auf breitester Front marschieren, mit welcher rechnenden Entität dahinter auch immer.
Was mag wohl aus Thomas Zipproths angekündigtem LC0- Cerebellum- Versuch geworden sein?
Parent - - By Guenter Stertenbrink Date 2018-12-07 15:17
Man muss ja nichts falsches sagen, um eine gewisse "Richtung" der Meinung vorzugeben.
Allein die Auswahl der Themen zu denen man sich aeussert (und welche man weglaesst) bewirkt dieses.

Dass man Lc0 befuerwortet scheint mir fraglich, es ist "Konkurrenz".
Aber natuerlich unpopulaer , es als solche darzustellen.

Angeblich sind ja alle Algorithmen veroeffentlicht, mit pseudo-code.
Das haette man ja nicht gemacht, wenn "Google selbst noch irgendwas damit vorhat".
Also spekulierte ich, dass der Code selber irgendwie "ugly" , peinlich, schlecht dokumentiert
und nachvollziehbar ist. Andere Programmierer wuerden sich lustig machen.
Lehrer wuerden es als Beispiel nehmen , wie man's nicht machen soll.

Die moegliche Vermarktung kannst du nicht mit Rajlich-chessbase vergleichen.
Das sind hier ganz andere Groessenordnungen. Es dient nur der PR des
gesamten deepmind AI-Projektes.
Und allein diese PR ist fuer Alphabet viel wichtiger, als was Chessbase mit Fritz verdient.
Parent - - By Christian Paluch Date 2018-12-07 15:38
Auf Chess24 gibt es 5 neue Videos von GM Matthew Sadlers mit Analysen der Partien.
Parent - By Roland Riener Date 2018-12-07 17:06 Upvotes 1
Ein eher populär gehaltener Artikel, also recht für mich.

Habe die Beiträge der geschätzten Vorschreiber nicht vollständig gelesen, daher vielleicht schon leergedroschenes Stroh:

https://science.orf.at/stories/2951759/
Parent - By Peter Martan Date 2018-12-07 18:49
Guenter Stertenbrink schrieb:

Die moegliche Vermarktung kannst du nicht mit Rajlich-chessbase vergleichen.
Das sind hier ganz andere Groessenordnungen. Es dient nur der PR des
gesamten deepmind AI-Projektes.
Und allein diese PR ist fuer Alphabet viel wichtiger, als was Chessbase mit Fritz verdient.

Natürlich, der Hauptzweck ist sicher die Werbung, der wissenschaftliche Stellenwert des ganzen Projektes, aber nebenbei könnte man ja noch ein bisschen Kleingeld mit Schachspielern verdienen, und dass jetzt z.B. ein einzelner Großmeister für sein Buch das Programm verwenden kann soll darf, spricht ja auch dafür, dass man sich auf diesem Weg durchaus zusätzlich Werbewirksamkeit erhofft.
Man soll den Nimbus des Spieles Schach als solches nicht unterschätzen, es wird nach wie vor (eigentlich ziemlich zu Unrecht, meiner Meinung nach) als Intelligenz- Spiel schlechthin betrachtet, zumindest in der "westlichen" Welt, für die übrige hat man Go und Shogi ja auch im Programm.
Parent - - By Peter Martan Date 2018-12-07 21:38
Guenter Stertenbrink schrieb:

Angeblich sind ja alle Algorithmen veroeffentlicht, mit pseudo-code.
Das haette man ja nicht gemacht, wenn "Google selbst noch irgendwas damit vorhat".
Also spekulierte ich, dass der Code selber irgendwie "ugly" , peinlich, schlecht dokumentiert
und nachvollziehbar ist. Andere Programmierer wuerden sich lustig machen.
Lehrer wuerden es als Beispiel nehmen , wie man's nicht machen soll.

Und überhaupt scheinst du mir noch misstrauischer zu sein als ich.

Es entwickelt sich doch anscheinend ein konstruktiver Dialog zwischen Lai und Pascutto in dem bekannten Thread.
Mag natürlich sein, sie tun beide nur so.
Parent - - By Guenter Stertenbrink Date 2018-12-08 05:46 Edited 2018-12-08 05:57
ja.

Also warum wird der Code und executable nicht freigegeben ?
Doch vielleicht irgendwelche urheberrechtlichen Gruende

hier nochmal der Link :

http://talkchess.com/forum3/viewtopic.php?f=2&t=69175&start=80

zur Zeit auf Seite 9

wird es auch weiterhin "konkurrierende" a0 und Lc0 Versionen geben
mit jeweils neuen Verbesserungen ?  ....

und Hybride
Parent - - By Lothar Jung Date 2018-12-08 10:01 Edited 2018-12-08 10:09
Hier ist ein Link auf einen aktuellen blog betreffend „alphazero Paper and Lc0 v019.1“:

https://blog.lczero.org/2018/12/alphazero-paper-and-lc0-v0191.html

Aufgrund der Veröffentlichung des Papiers wurden/werden verschiedene Parameter in Lc0 19.1 im Spiel und Training geändert bzw. angepasst.
Ein erstes Release wurde bereits veröffentlicht, weitere sollen folgen.

Sehr spannend!
Parent - By Stefan Pohl Date 2018-12-08 14:51
Lothar Jung schrieb:

Hier ist ein Link auf einen aktuellen blog betreffend „alphazero Paper and Lc0 v019.1“:

<a class='ura' href='https://blog.lczero.org/2018/12/alphazero-paper-and-lc0-v0191.html'>https://blog.lczero.org/2018/12/alphazero-paper-and-lc0-v0191.html</a>

Aufgrund der Veröffentlichung des Papiers wurden/werden verschiedene Parameter in Lc0 19.1 im Spiel und Training geändert bzw. angepasst.
Ein erstes Release wurde bereits veröffentlicht, weitere sollen folgen.

Sehr spannend!


Das denke ich auch. Durch die neuen Infos über Alpha Zero ergeben sich doch erhebliche Abweichungen zu Leela. Wenn diese nun reduziert werden können, kann das für Leela sicher förderlich sein.
Parent - - By Stefan Pohl Date 2018-12-08 15:09 Edited 2018-12-08 15:12
Von chess.com:
Eine upgedatete Version von AlphaZero erzielte gegen Stockfish 8 155 Siege bei nur 6 Niederlagen und 839 Remis.
Laut DeepMind besiegte Alpha Zero sogar die "neueste Entwicklungsversion" von Stockfish mit nahezu identischen Ergebnissen wie im Match gegen Stockfish 8. Jedoch ist in der Vorabversion des Zeitschriftenartikels vom 7. Dezember 2018 die genaue Version nicht angegeben.

[Update: Im soeben veröffentlichten Artikel ist von Stockfish 9 die Rede.]

Das kann man ja mal durchrechnen und schauen, was das heißt:

Das ist ein Erfolgsscore von 57.5% gegen Stockfish 8. Also etwa +50 Elo. Wenn auch gegen Stockfish 9 derselbe Score erzielt wurde, wäre Alpha Zero also bestenfalls auf Augenhöhe mit Stockfish 10. Nicht aber stärker.
Allerdings ist eine Remisquote von 83.9% natürlich monströs hoch und macht wirklich klare Siege praktisch unmöglich. Was auch erklärt, warum Alpha Zero gegen Stockfish 8 und 9 etwa gleich erfolgreich gescored hat. Diese exorbitante Remisquote zerstört schlicht das Ergebnis: je schwächer die Gegnerengine, desto (scheinbar) besser scored sie bei so einer Remisquote gegen den starken Gegner. Daher kommen dann Stockfish 8 und 9 auf denselben Erfolgsscore. Was ja absurd ist, da Stockfish 9 natürlich deutlich stärker als Stockfish 8 ist.
Wie ich immer sage: hohe Remisquoten zerstören Ergebnisse im Computerschach und damit das Computerschach an sich.

Mit Drawkiller wäre das nicht passiert!

https://www.sp-cc.de/drawkiller-openings.htm
Parent - - By Roland del Rio Date 2018-12-09 14:03 Edited 2018-12-09 14:25
Zitat:
bestenfalls auf Augenhöhe mit Stockfish 10. Nicht aber stärker.

Glaubst du das wirklich? Keine Zweifel an der Anwendbarkeit von ELO-Ratings (oder zumindest deren transitive Relation) über "Systemgrenzen" (AB vs. MCTS+NN) hinweg? Ich weiß noch wie vor einem Jahr die gleiche ELO-Rechnerei losging und es hieß, dass das Ergebnis gegen einen aktuellen SF9 bei "normalen" Turnierbedenkzeiten und Eröffungsbuch/TBs ganz anders ausgesehen hätte. Wenn SF9 gemäß ELO SF8 deutlich überlegen ist, AZ aber beide gleichhoch schlägt, sagt dir dein Bauchgefühl dann nicht, dass ELO-Rechnerei hier vielleicht schwerlich anwendbar sein könnte?
Parent - - By Stefan Pohl Date 2018-12-09 14:37
Roland del Rio schrieb:

Zitat:
bestenfalls auf Augenhöhe mit Stockfish 10. Nicht aber stärker.

Glaubst du das wirklich? Keine Zweifel an der Anwendbarkeit von ELO-Ratings (oder zumindest deren transitive Relation) über "Systemgrenzen" (AB vs. MCTS+NN) hinweg? Ich weiß noch wie vor einem Jahr die gleiche ELO-Rechnerei losging und es hieß, dass das Ergebnis gegen einen aktuellen SF9 bei "normalen" Turnierbedenkzeiten und Eröffungsbuch/TBs ganz anders ausgesehen hätte. Wenn SF9 gemäß ELO SF8 deutlich überlegen ist, AZ aber beide gleichhoch schlägt, sagt dir dein Bauchgefühl dann nicht, dass ELO-Rechnerei hier vielleicht schwerlich anwendbar sein könnte?


Das hatte ich ja auch ausgeführt, daß Ergebnisse mit einer Remisquote von über 80% de facto nicht mehr brauchbar sind.
Parent - - By Roland del Rio Date 2018-12-10 14:02 Upvotes 1
Dann sind wir uns bzgl. der Zweifel an der ELO-Rechnerei, wenn es um AZ vs. "konventionellen Engines" geht, ja einig. Wenn ich auch deine Argumentation nicht nachvollziehen kann, denn eine hohe Remisquote könnte, meinem Verständnis nach, lediglich die Anzahl der Partien vergrößern, die man braucht, um mit der gleichen Fehlertoleranz bei der Ergebnisbewertung zum selben Schluss zu kommen. Eine vermeintlich schwächere Engine würde doch auch erst gar nicht die gleiche Remisquote erzielen, wie eine Stärkere?! Ich möchte das aber gar nicht vertiefen, denn auch wenn es dem eingefleischten Computerschächern vielleicht schwerfällt, aber bei dem ganzen Thema geht doch gar nicht um ELO-Zahlen und "Wer-ist-der-Bessere"-Diskussionen. Es geht um die Art und Weise, wie AZ Schach spielt und spielen gelernt hat. Wer sich einfach nur die Partien ansieht und den ELO-Taschenrechner außen vor läßt, dem sollte klar sein, dass die Partien gegen einen SF10+ mit einer noch so schnellen Maschine nicht grundsätzlich anders ausgesähen hätten. Das Ergebnis wäre für SF vielleicht/wahrscheinlich besser ausgefallen, aber die Unterschiede im Spielstil wären die Gleichen geblieben. Eine Spielführung wie in der von mir geposteten Partie, oder auch wie in der von Sadler kommentierten Partie, in der AZ materiell lange Zeit (ohne absehbaren Rückgewinn) 2-4 Bauern hinten dran ist, die wird man bei SF&Co. nicht finden. Wer Fernschach spielt kennt das: konventionelle Engines sind super darin, wenn es gilt einen 30 Züge entfernt liegenden Gewinnzug zu finden, wenn der (Varianten-)Pfad dorthin nur schmal genug ist. Finden sie so etwas nicht, erweisen sie sich meist als nicht sonderlich kreativ. AZ ist nun so erfrischend anders und gleichzeitig erfolgreich. Das Bemerkenswerteste (Erschreckenste?!) daran ist aber die Art und Weise, wie es zu seiner Spielweise gefunden hat. Ich bin schon sehr gespannt, wie die Ideen aus den AZ-Partien nun ihre programmatische Umsetzung in den AB-Enginecode finden werden. Das verspricht zumindest genug Futter für die nächsten Jahre der SF-Entwicklung zu werden. Eine AI zeigt dem Menschen Ideen auf, die er dazu nutzt um Programmen beizubringen besser Schach zu spielen.
Parent - By Frank Brenner Date 2018-12-10 16:16
Ich sehe das auch so wie du.

Man kann noch etwas zur Elo Rechnerei ergänzen:

Wenn eine Engine die Spielstärke insbesondere durch positionelles und weitsichtiges Spiel erzielt und taktisch auf noch regelmässig blinde Flecken auftauchen (kurzzügige taktische Fehler) - selbst bei sehr kurzen Kombinationen -  dann führt dies dazu, daß diese Engine selbst gegen deutlich schwächere AB Engines gelegentlich einmal verliert oder nur Remis erzielt.
Wenn die Wahrscheinlicheit des Auftreten von solchen taktischer Fehlen (mit relativ kurzen Distanzen) gegen starke AB Engines gleich bleibt, so ergibt sich dadurch das Bild das wir heute haben:  So eine MC-Vektor-Engine (AZ oder LC0)  erzielt gegen starke AB Engines eine höhere Elo-Performance als gegen eine Schwache AB Engine.

Aber wo liegt das Problem ?

Um das zu verstehen kann man sich folgendes Beispiel ansehen:  Wenn Gott in 5% der Fälle einen taktischen Fehler auf Anfängerniveau macht, so erzielt er gegen mich nur 95%. Carlsen erzielt aber 100% gegen mich.

Carlsen spielt erfolgreicher gegen mich, also ist er klar stärker als Gott. Aber tatsächlich erzielt Gott 95% gegen Carlsen.

Hier sieht man den Widerspruch und zwar ohne die Eloformel zu erwähnen.

Die Elo Formel, die ja im wesentlichen einem Spieler nur eine einzige Zahl (die Elozahl) zuordnet ist nur dann auf ein Spiel anwendbar, wenn die Spielstärke der Spieler in jedem Zug und in jeder Situation und in jeder Spielphase konstant gleich hoch ist.

Je umfangreicher diese  Spielstärkebalance  unausgewogen ist umso schwerer wird es mit Hilfe einer nur einzigen  Wertungszahl  das Spielergebnis vor dem Spiel zu schätzen. Dabei spielt es keine
Rolle ob diese Wertungzahl eine Elo-Zahl oder irgendeine beliebige andere Spielstärkeeinheit ist.
Das Problem der Prognose des Ergebnisses einer Partie liegt nicht in de Elo Formel an und für sich, sondern es liegt in der nur einen einzigen Zahl umfassenden Spielstärkezahl.

Es gibt noch andere Beispiele für Spiele bei der die Schätzung adhoc nicht so einfach ist, wenn man dem Spieler nur eine einzige  Spielstärkezahl zuordnet:

Man werfe eine Münze. Bei Kopf wird Go gespielt und bei Zahl wird Schach gespielt.

Hier kann man sich aber behelfen indem man einem Spieler nicht nur eine einzige SPielstärkezahl zuordnet sondern zwei , und zwar zwei Elo-Zahlen.

bei den Aktuellen Vektor Engines müssen wir uns noch einige Monate oder Jahre gedulden bis die die Programmierung so weit fortgeschritten ist, bis die Spielstärke bei jedem Zug und in jeder Situation im wesentlichen ähnlich groß ist und dann klappt das auch wieder nahezu perfekt mit den Elozahlen.
Parent - - By Peter Martan Date 2018-12-09 17:37 Edited 2018-12-09 17:46
HGM teilt deine Bedenken, Roland:

http://talkchess.com/forum3/viewtopic.php?p=781993#p781993

Kai Laskos hatte im Eingangspostings des Threads zum Thema Scaling und Performance auch sehr interessante Beobachtungen über den Zusammenhang von Eröffnungspositionen und Elo angestellt.

Hab ich was verpasst, oder gibt es nach wie vor keine Partien aus dem Match gegen Brainfish zu sehen? Die Performance war ja da jedenfalls schon auch noch einmal eine Nummer schlechter, was ich so gelesen habe.
Parent - - By Roland del Rio Date 2018-12-10 19:26
Hallo Peter.
Habe mir den Thread mal angeschaut und sehr zu begrüßen ist, dass Matthew Lai hier mitmischt. Endlich mal jemand, der nun definitiv nicht in Verdacht steht spekulieren zu müssen, wenn es um die Implementierungen in AZ geht.
Btw., sein Kommentar zur ELO Übertragbarkeit: "Elo differences from new versions are always greater between two versions of the same (or very similar) programs, and they don't usually translate to equal improvement against other opponents.
Nein, du hast nichts verpasst, veröffentlicht sind nur jeweils gut 100 Partien aus den 1000er Matches gegen SF8, einmal mit TCEC-Vorgabestellung und einmal aus der Grundstellung heraus. Zu den Partien gegen den Quasi-SF9 und das Match gegen Brainfish ist nur das Ergebnis veröffentlicht. Da es in Form einer Graphik ist hier mal die ca. Zahlen zu den doch sehr erstaunlichen (der Übersichtlichkeit gerundeten) Ergebnissen [% Sieg-Remis-Niederlage aus der Sicht von AZ]:
AZ vs. SF8: 15 - 84 - 1
AZ vs. SF9: 15 - 84 - 1
AZ vs  BF:   14 - 81 - 5
Somit bleibt schonmal festzustellen, dass die Zuhilfenahme des Buches mehr gegen AZ bewirkt, als die ca. 12 Monate Entwicklungsunterschied zwischen SF8 und SF9. (Deckt sich das mit den ELO-basierten Erkenntnissen, also "BF8" stärker als SF9?)
Interessanter ist jedoch der Drilldown nach Farben, wiederum in [% Sieg-Remis-Niederlage aus der Sicht von AZ]
AZ immer mit Weiß:
vs. SF8: 29 - 71 - 0
vs. SF9: 26 - 73 - 1
vs. BF:    9  - 90 - 1
soweit ok, aber jetzt mit
AZ immer mit Schwarz:
vs. SF8:  2- 97 - 1
vs. SF9:  4 - 95 - 1
vs. BF:  18 - 73 - 9
Das AZ mit Schwarz gegen SF9 besser abschneidet als gegen SF9, mag ich aufgrund der (vermutlich) kleinen Anzahl an Partien noch als Fehlertoleranz durchgehen lassen, aber wenn man nun auf das Ergebnis gegen Brainfish schaut: 9% Gewinnpartien gegenüber den mageren 1% des SF ohne Buch, ok, aber warum bitte verliert BF mit Weiß 18% seiner Partien, während der buchlose SF nur 2% verliert? Ein Erklärung wäre eine wirklich sehr kleine Anzahl von Partien, eine Andere könnte ein (oder mehrere) aufgedeckter Fehler im Buch sein. Hierzu wäre es wirklich sehr hilfreich die Partien zu haben. Hat auch schon jemand im talkchess Forum angefragt, ich fürchte nur das war einer der Posts die sich im Ton vergriffen haben und bezweifle, dass darauf reagiert wird. Aber vermutlich wird ein interessierter Zeitgenosse oder Thomas Z. selbst hierzu nochmal freundlicher nachfragen.
Parent - - By Peter Martan Date 2018-12-11 08:41
Roland del Rio schrieb:

Das AZ mit Schwarz gegen SF9 besser abschneidet als gegen SF9, mag ich aufgrund der (vermutlich) kleinen Anzahl an Partien noch als Fehlertoleranz durchgehen lassen, aber wenn man nun auf das Ergebnis gegen Brainfish schaut: 9% Gewinnpartien gegenüber den mageren 1% des SF ohne Buch, ok, aber warum bitte verliert BF mit Weiß 18% seiner Partien, während der buchlose SF nur 2% verliert? Ein Erklärung wäre eine wirklich sehr kleine Anzahl von Partien, eine Andere könnte ein (oder mehrere) aufgedeckter Fehler im Buch sein. Hierzu wäre es wirklich sehr hilfreich die Partien zu haben. Hat auch schon jemand im talkchess Forum angefragt, ich fürchte nur das war einer der Posts die sich im Ton vergriffen haben und bezweifle, dass darauf reagiert wird. Aber vermutlich wird ein interessierter Zeitgenosse oder Thomas Z. selbst hierzu nochmal freundlicher nachfragen.


http://talkchess.com/forum3/viewtopic.php?p=781685#p781685

war die letzte Nachfrage, die ich gesehen habe, das war auf damals page 4, die nächsten 3 Seiten habe ich dann noch daraufhin durchgeblättert, dann hab ich's bei mittlerweile 19 Seiten instgesamt sein lassen.

Mag schon sein, wenn man nochmals höflich fragt, kriegt man eine höfliche Antwort von Lai, aber eigentlich liegt der Grund dafür, dass gerade diese Partien nicht zum Download angeboten werden, ohehine auf der Hand, man könnte daraus wertvolles Hinweise zu einem Anti- A0- Buch- Bau gewinnen.

Nun mag das für Deep Mind keine Rolle mehr spielen, nachdem sie ihr Papier durchgebracht haben, wenn sie aber weiter zu einer Art Turniergeschehen mit A0 als Teilnehmer zumindest bereit bleiben wollen, können sie sich eins sicher nicht leisten: den Spezialisten unter den Buchautoren Futter für genau zugeschnittene Edits geben.

Drum frag' ich selbst nicht mehr nach, hätte Deep Mind diese Partien auch veröffentlichen wollen, hätte er sie es das wohl schon getan, weil dass genau diese Fragen auftauchen würden, war ja wohl auch von vornherein klar.
Parent - - By Roland del Rio Date 2018-12-11 11:50
Hallo Peter.
Ich habe Matthew nun diesbezüglich doch mal selbst gefragt, vielleicht bekommen wir so, wenn auch nicht die Partien selbst, vielleicht aber doch weitergehende Infos. Sätze wie
Zitat:
aber eigentlich liegt der Grund dafür, dass gerade diese Partien nicht zum Download angeboten werden, ohehine auf der Hand, man könnte daraus wertvolles Hinweise zu einem Anti- A0- Buch- Bau gewinnen
gehen in eine Richtung, die mir, wenn ich Matthew wäre, schon genügen könnten, um der Bitte nach weitergehenden Infos nicht nachzukommen. Ich habe mich durch die 19 Seiten im Thread durchgelesen und muss sagen, dass Matthew bereits ein dickes Fell bewiesen hat, indem er erst auf den letzten Seiten mal die, teils wirklich absurden, Vorwürfe gegen Google/das DeepMind/AZ-Team kommentiert. Die Community sollte sehr dankbar sein, im Gegensatz zum letzen Jahr, nun hier jemand ist, der keine Glaskugeln liest, sondern Informationen aus erster Hand liefert. Glücklicherweise sieht das die Mehrzahl der Teilnehmer in dem Thread auch so und die Anzahl der Psychopathenpostings hält sich auf einem für ihn hoffentlich (noch?) erträglichen Level.
Parent - - By Peter Martan Date 2018-12-11 13:51 Edited 2018-12-11 14:15
Also hör mal, ich würde ihn ja nicht fragen, ob er die Brainfish- Partien deshalb nicht herzeigt, weil man daraus Eröffnungsschwächen (oder mangelnde Stärken, wenn dir das lieber ist) gegen ein Cerebellum, das nicht eigens auf A0 zugeschneidert war, lesen könnte, und dann auf die Idee kommen, aus gerade diesen weniger starken Stärken in einem Engine- Buch, das genau auf die hin editiert und mit zusätzlichen Lines aufgerüstet werden könnte, ein solches Buch gegen A0 maßzuschneidern, ich würde ihn das deshalb nicht fragen, weil das ohnehin nur eine rhetorische Frage wäre. Ich hoffe, du unterstellst mir nicht ernsthaft, nur weil ich aus diesem offenen Geheimnis im CSS- Forum kein Hehl mache, so dumm zu sein, ihn das extra provokativ persönlich im CCC zu fragen, oder?


Ich finde, du machst dir ein bisschen zu viel Sorgen, den Autor von Giraffe in seiner neu erstarkten Offenheit im Kommunizieren von A0- Betriebsgeheimnissen zu vergrämen, glaubst du wirklich, der sagt dir was nur aus Freundlichkeit, was im Sinne der Firma und des Projektes, für das er arbeitet, nicht gesagt werden soll?

Wenn die Partien aus dem Brainfish- Match auch noch zugänglich gemacht werden, ist das Google- Firmenpolitik, Lai wird da ein gewichtiges Wörtchen mitreden, aber dass er in dem ganzen CCC- Thread als Signatur das hier hat,
Zitat:

Disclosure: I work for DeepMind on the AlphaZero project, but everything I say here is personal opinion and does not reflect the views of DeepMind / Alphabet.

, sagt doch irgendwie schon alles, nein?

Ich find's ja auch gut, dass er so offen ansprechbar geworden ist jetzt, es spricht für mich vor allem dafür, dass Google auch ein Interesse hat, oder jedenfalls einem von Matthew Lai nicht mehr ausdrücklich widerspricht, Öffentlichkeitsarbeit auch in anderen Computerschachkreisen, und seien es (für uns nachvollziehbar) unter anderen wenigstens auch solche in Foren wie CCC, zu betreiben.

Eine Anfrage wie diese hier:

http://talkchess.com/forum3/viewtopic.php?p=782247#p782247

finde ich eigentlich eh ganz educated, du nicht auch? Und ich hätte halt das von den supposedly poor opening lines auch nicht eigens hineingeschrieben, auf der anderen Seite, könnte man nicht, einfach ehrlich gesagt, Deep Mind vielleicht eh gerade so bei der wissenschaftlichen Ehre hinterfragen?
Edit:
Und hier gibt's ja auch schon eine ausführliche Antwort von Lai:

http://talkchess.com/forum3/memberlist.php?mode=viewprofile&u=7559

Educated answer, würde ich sagen.


Wo hast du denn deine Anfrage gestellt, Roland, damit ich jetzt nicht dauernd danach suchen muss?
Ich wünsch' dir viel Erfolg, ehrlich, danke, dass du's machst. Und wenn du's schaffst, dass doch noch Partien veröffentlicht werden, gratuliere ich dir jetzt schon recht herzlich, wie auch immer du es anstellst.

Hier hat jemand noch einmal die andere Frage, die mich brennend interessiert, gestellt:

http://talkchess.com/forum3/viewtopic.php?p=782219#p782219

Darauf gab's aber diesmal auch prompt die Antwort von Lai, wenngleich auch diese eine ziemlich genau so zu erwartende war:

http://talkchess.com/forum3/viewtopic.php?p=782220#p782220

Eigentlich könnte man aber "unnanounced" in dem Zusammenhang auch so verstehen, dass es da schon etwas zu announcen gäbe, nur halt noch nicht jetzt und in diesem CCC- Thread.

Und wenn ja jetzt das Heil, die Werbung, das schachliche Image, ganz offenbar über Schachmeister, die mit A0- Hilfe Partien analysieren und als Buch vermarkten, gesucht wird, spricht das erst recht für das Interesse von Deep Mind an den Schachspielern, meine Neugier ist ungebrochen.
Parent - - By Roland del Rio Date 2018-12-12 18:08
Hallo Peter.
Keine Sorge, Dir wollte ich gar nichts unterstellen. Es ist nur so, dass in dem talkchess-Thread DM Dinge unterstellt werden, die mir als ein M. Lai, der hier freiwillig (und mit dem Disclaimer) bereitwillig technische Details zum Bestens gibt, vielleicht schon genügen könnten um eine Aktivität zu überdenken. Es scheint sich aber um einen kleinen Personenkreis zu handeln, die er inzwischen gelernt hat gut zu ignorieren. Suchen musst du mich nicht mehr, die "well educated question" ist die meine. Ob's Partien gibt? Mal schauen, habe weitere Postings gemacht, die er mit den Partien beantworten könnte, wenn nicht kommt, frage ich auch  nochmal direkt. Die Geschichte mit den schrägen Brainfish Ergebnissen ist faszinierend, zumal er bestätigt hat, dass wir statistische Ungenauigkeiten ausschließen können.
Google ein kommerzielles Interesse an der Vermarktung von AZ als Engine? Das kann ich mir beim besten Willen nicht vorstellen, der Umsatz der damit erzielbar ist mag den ein oder anderen GM und/oder Programmierer interessieren, aber Alphabet bewegt sich in völlig anderen Sphären. Wenn zugänglich machen, dann wird das einen anderen Fokus haben als direkte Lizenzeinnahmen.
Parent - By Peter Martan Date 2018-12-12 23:01
Roland del Rio schrieb:

Die Geschichte mit den schrägen Brainfish Ergebnissen ist faszinierend, zumal er bestätigt hat, dass wir statistische Ungenauigkeiten ausschließen können.


Zitat:

Google ein kommerzielles Interesse an der Vermarktung von AZ als Engine? Das kann ich mir beim besten Willen nicht vorstellen

Schau' mer mal, dann seh' mer's eh.
Up Topic Hauptforen / CSS-Forum / Neuer Artikel über Alpha Zero

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill