Komodo 12 erschienen

By Stefan Pohl Date 2018-05-14 11:06 Edited 2018-05-14 11:38

Komodo 12 is about five elo stronger than Komodo 11.3.1, our last release, based on our own single-thread and four-thread testing at various blitz levels, and about forty elo stronger than Komodo 11 at blitz levels, which drops to about thirty elo at levels in the “rapid” range. In the new MCTS (Monte Carlo Tree Search) mode, on one thread it is around 3000 on the CCRL 40/40 scale, around 3050 on two threads, and around 3070 on three or more threads, which we believe makes it the strongest Monte-Carlo engine for the pc. While it is not competitive with normal Komodo in strength (so far), it is competitive with it if you set MultiPV to a high number on both, and its playing style and move choices are more like Alpha-Zero than like normal engines, meaning that it is generally less materialistic than normal Komodo, in the style of the spectacular World Champion Mikhail Tal.

Naja. Leela ist weit mehr, als eine "Monte-Carlo engine"... das Wesentliche ist ihr selbstlernendes Neuralnetz. Als Advocatus Diaboli könnte man sagen, wenn einem kommerziellen Engine-Anbieter keine nennenswerte Elo-Steigerung mehr gelingt und damit die Spitze (also Stockfish) zu erreichen, sowieso kein Thema mehr ist, dann springt man auf einen alternativen, gerade populären Zug auf... Andererseits ist ein MCTS-Komodo sicher dennoch interessant. Daher bin ich als zahlender Abonnent, der in den letzten 12 Monaten für sein Geld nicht gerade mit Elo-Steigerungen verwöhnt wurde, recht zwiegespalten, das muß ich zugeben.

By Thomas Müller Date 2018-05-14 13:04

Zitat:

five elo stronger

wie jetzt...5 ?! also fünf

zur 11.3.1
Immerhin 40 wer die jährliche updates nicht gleich gekauft hat.

By Stefan Pohl Date 2018-05-14 15:28 Edited 2018-05-14 15:33

Viel problematischer ist, was gerade auf talkchess passiert (und was zu befürchten war): Viele Leute setzen jetzt Komodo MCTS mit Leela gleich, weil sie nicht verstehen, wie Leela funktioniert und das der MCTS nur ein Teilaspekt von Leela ist. Es gab sogar schon die Frage, warum Komodo MCTS nicht auch die GPU eines Rechners nutzt (au weia...).
Um das mal zu unterscheiden: Komodo MCTS hat kein neurales Netz. Heißt
1) Komodo MCTS lernt nicht
2) Komodo MCTS hätte keinen Nutzen durch die mögliche Unterstützung der GPU

Komodo MCTS hat lediglich den althergebrachten rekursiven Alpha-Beta-Suchalgorithmus durch den MCTS ersetzt. Ob und inwieweit das die Spielweise wirklich verändert, muß man sehen. Aber das Wesentliche an Leela ist das aus dem Selfplay heraus autonom lernende Neuronal-Netz (bzw. die softwaremäßige Emulation eines solchen, es gibt natürlich kein reales Neuralnetz in einem PC, um ganz genau zu sein). Und damit hat Komodo MCTS nullkommanull gemein.
Fazi: Komodo MCTS ist keine Leela, nicht mal eine halbe, kastrierte Leela. Sondern gar keine Leela. Es ist Komodo, adaptiert auf den MCTS. Nicht mehr. Punkt.
Was ausdrücklich nicht heißt, daß das ganze nicht durchaus interessant ist (oder sein könnte, ich muß mir das alles erst mal anschauen). Gerade auch für das neue Mehrhirnprojekt Nukleus könnte eine weitere MCTS-Engine neben Leela durchaus als zweiter Slave interessant sein (ein MCTS gekoppelt ans NeuralNetz und ein MCTS mit normaler Engine-Bewertungsfunktion). Auch das muß man erst mal probieren.

By Thomas Müller Date 2018-05-14 15:45

au weia!
Also was die diskuss dazu bei talkchess angeht

Und danke für deine hinweise dazu und ja interessant was bei K12 so rauskommt.
Das liese sich evtl. mit einigen stellungen die dann von K11.3.x und K12 analysiert werden schnell feststellen?!

By Stefan Pohl Date 2018-05-14 15:55 Edited 2018-05-14 15:57

Thomas Müller schrieb:

Und danke für deine hinweise dazu und ja interessant was bei K12 so rauskommt.
Das liese sich evtl. mit einigen stellungen die dann von K11.3.x und K12 analysiert werden schnell feststellen?!

Bestimmt. Aber ich habe momentan mit meinen Stockfish-Testruns und mit dem Testen von Leela wirklich genug zu tun (vom "zum Laufen bringen" und dazu step-by-step-Anleitungen schreiben der MKL-Leela und der CUDA-Leela will ich gar nicht erst reden...). Wann ich mir Komodo MCTS und Nucleus näher anschauen kann, weiß ich schlicht noch nicht. Vielleicht haben ja andere Leute noch Rechnerkapazitäten frei ? Für die CEGT läuft ja wohl schon ein Test von Komodo MCTS...
Ich bin für alle Tests und Infos sehr verbunden!

By Thomas Müller Date 2018-05-14 17:28 Upvotes 3

Für Test mit K12 usw habe ich dich auch gar nicht angesprochen....du machst schon sehr viel.
Danke mal dafür direkt an dich!

By guest171218 Date 2018-05-14 18:03 Upvotes 1

Zitat:
au weia!
Also was die diskuss dazu bei talkchess angeht

Hallo,

mark lefler hat doch alles sehr gut erklärt und klar gestellt,
ein paar interna halt er logischerweise für sich behalten.
daß dort auch ein kommerzieller trick oder ein aufspringen auf
einen aktuellen zug vermutet wurde, fiel hier ja auch schon!
man sollte einfach abwarten und immer das beste vermuten.
bei der cegt sind sowohl bei 40in20 als auch bei 40in4 die
ersten testserien gestartet worden - spannend das alles.

Gruß MiKa.

By Tom Paul Date 2018-05-14 18:21

Thomas Müller schrieb:

Zitat:

five elo stronger

wie jetzt...5 ?! also fünf

zur 11.3.1
Immerhin 40 wer die jährliche updates nicht gleich gekauft hat.

Also quasi 0 wenn du es selbst testest.
Oder evtl. sogar negativ.

By guest171218 Date 2018-05-14 19:31

Hallo,

auf ipon-chess läuft schon ein test der "normalen" komodo-version:

http://www.inwoba.de/

herr pohl hatte mich seinerzeit auf diese sehr gute seite hingewiesen.
bisher (nach 1535 partien) steht die neue komodo-version bei 77.13%,
also ziemlich genau 1% hinter dem vorgänger.

Gruß MiKa.

By Michael Scheidl Date 2018-05-14 21:00

Es hat doch keinen Sinn eine MCTS-Enginevariante zu produzieren, die schwächer als die mit konventioneller Suche ist. Offenbar wurden da Monate an kreativer Energie verschwendet.

By Benno Hartwig Date 2018-05-15 06:43 Upvotes 1

Na, dass man ausprobiert, was man mit einer anderen Methodik erreicht, finde ich klasse.
Dass man davon berichtet auch, und auch dass man es dem mündigen Käufer anbietet.

Benno

By Stefan Pohl Date 2018-05-15 07:37 Edited 2018-05-15 07:42

Guenter Stertenbrink schrieb:

frag ich mich, warum macht LC0 kein alphabeta ?

Das wurde auf talkchess diskutiert (ich hatte mich das auch schon gefragt): das Bewerten von Stellungen durch ein (emuliertes) neurales Netz ist sehr viel langsamer, als eine klassische Stellungsbewertung. Und MTCS ist viel selektiver, als die klassische AlphaBeta-Methode (was auch Leelas taktische Schwäche erklärt), daher müssen im MCTS wesentlich weniger Stellungen bewertet werden, als mit dem klassischen AlphaBeta.

The only problem is NN evaluation s too slow that it needs massive hardware acceleration. I have a NN scorpio running with Tensorflow now. Even using single neuron NN (all inputs are weighed and summed just like in standard evaluaiton), the nps goes down by a factor of 50x. This is because of the massive overhead of 20 micro-second per session evaluation call in TF which brought down the nps from 1.2 Mnps to just 30 knps. Then when I had a 1 block x 64 filters resnet it went down to 5 knps ect. In terms of nps, LCZero is doing pretty well with its big 15x192 network.

By Guenter Stertenbrink Date 2018-05-15 09:20 Upvotes 2

OK.
Also nutz ich mal fuer 1s das NN , um Varianten mit Bewertungen ins Hash zu schreiben
(wobei die (gelogenen) Eintraege unter "Rechentiefe" noch zu optimieren sind )
und dann fuer 1s alphabeta mit diesem Hash.
Komodo voran.
Jetzt brauchen wir Taktik - Celo und multipv - Celo Ranglisten