Synergie von Shashess und Ceres zeigt, bei beiden ist noch Luft nach oben!

By Dieter Brandhorst Date 2021-08-26 16:39 Upvotes 1

Da ich neu in diesem Forum bin, möchte ich mich kurz vorstellen. Mein Name ist Dieter Brandhorst und ich beschäftige mich seit einiger Zeit mit Schach und natürlich auch Computerschach. Einige kennen mich evtl. vom Chessbase-Server, wo ich unter dem Pseudonym Legolas spiele. In letzter Zeit haben mich dort die hohen Remisquoten der Engine-(Blitz)partien zweifeln lassen, ob bei der Spielstärke der Top-Engines überhaupt noch Luft nach oben ist?

Zumindest, was das Lösen von Schachaufgaben angeht scheint das der Fall zu sein, wie es meine u.a. Testergebnisse
zeigen. Jede der Engines (Shashchess18,Ceres0.93) erreicht einzeln beim Lösen der HTC114-Tests deutlich nicht das Lösungsergebnis, wie es gemeinsam unter TripleBrain erreicht wird (54 u.69 vs. 86/114 bei 30sec). Auch bei anderen Testsets (Eret, Stockfish 2021) sieht es ähnlich aus.

M.E. zeigt das, jede der beiden Engines könnte sich mit den Fähigkeiten der anderen noch gehörig verbessern. Ich bin gespannt ob das durch bessere NNs oder Programmierung in Zukunft erreicht wird. Wie seht ihr das?

Hardware:
CPU: AMD Ryzen™ Threadripper™ 1950X
GPU: RTX 2070

OS: Win10pro

TestGUI: Shredder13

Testset: HTC114

Engine:
Triple Brain: ShashChess18.0(nn-517c4f68b5df.nnue) + Ceres 0.93 (69722vf2)
Parameter: s.u.

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
-------------------------------------------------------------------------------------

 0  |  12  25   -   -   -   1   -   2  13   1  20   -   0   3   2   5   3   -   2   4

 20 |   3   -   -   -   0   0   0   -   4   0   -   6   0   6  13   0   3   -   -   1

 40 |   9   0   -   -   -  24   2   0   0  28   8  15   -   1   0   0   1   0   9   5

 60 |   0   1   3   1   2   -   -   4   3   0   -   3   0   3   1   4   5   0   0   -

 80 |   0   2   -   2   -   3   0   3   4   0  29   3   6   -   -   2   5   9   -   2

100|   8   1   9   0 19   - 12   3   3   2 12   5   2   -

   1 sec -> 22/114
   2 sec -> 31/114
   3 sec -> 42/114
   4 sec -> 55/114
   5 sec -> 60/114
   6 sec -> 65/114
   7 sec -> 68/114
   8 sec -> 68/114
   9 sec -> 70/114
10 sec -> 74/114
11 sec -> 74/114
12 sec -> 74/114
13 sec -> 77/114
14 sec -> 79/114
15 sec -> 79/114
20 sec -> 81/114
25 sec -> 83/114
30 sec -> 86/114
K/s: 0
TotTime: 57:23m SolTime: 21:29m

Engine: ShashChess18.0(nn-517c4f68b5df.nnue)
Parameter: threads=32; Hash=1GB; TB=6steiner; MCTS=single, ansonsten default

1   2   3   4   5   6   7   8   9 10 11 12 13 14 15 16 17 18 19 20
-------------------------------------------------------------------------------------

0  |   -   -  21   -   -   -   8   7   6   -  30   -   5   -   -   3   2   -   1   -

20 |   1   -   -   -   0   -   0   -   -   0   -   -   0  12   -   0   0   -   -   -

40 |   -   0   -   -   -   -   0   0   0  15   -   -   -   1  26   -   0   0   -   8

60 |   0   3   9   0   -   -   -   2   -   0   -   2   0   4   2   6   2   0   0   -

80 |   -   -   -   0   -   -   0   3 14 25   -   -   -   -   -   1 30 18   -   0
100|   3   - 15   0 30   -   -   6 30   9   - 19   -   -

   1 sec -> 22/114
   2 sec -> 26/114
   3 sec -> 31/114
   4 sec -> 35/114
   5 sec -> 36/114
   6 sec -> 37/114
   7 sec -> 40/114
   8 sec -> 41/114
   9 sec -> 43/114
10 sec -> 45/114
11 sec -> 45/114
12 sec -> 45/114
13 sec -> 46/114
14 sec -> 46/114
15 sec -> 47/114
20 sec -> 51/114
25 sec -> 52/114
30 sec -> 54/114
K/s: 12.927.758
TotTime: 37:47m SolTime: 34:53m

Engine: Ceres 0.93 (69722vf2)
Parameter: TB=6steiner, ansonsten default

   1   2   3   4   5   6   7   8   9 10 11 12 13 14 15 16 17 18 19 20
-------------------------------------------------------------------------------------

  0  |   -   -   -   -   -   0   -   -   0   0   -   -   0   3   0   0   0   -   -   1

  20 |   -   2   -   -   0   0   0   -   -  26   -   -   0   5   0   0   2   -   -   1

  40 |  28   0   -  22   -   -   7   3  26   -   -   1   0   0   0   0   3   -   6   -

  60 |   -   -   -   0   0   0   -  15   -  24   -   1  11   0   -   -   -   -   2   -

  80 |   0   0   -   0   -   1   3   6   1   0  24   2   1  19   -   1   6   6   -   0

100|   -   0   6   0 17   -   3   1   0   0   3   2   0   -

   1 sec -> 32/114
   2 sec -> 41/114
   3 sec -> 46/114
   4 sec -> 52/114
   5 sec -> 52/114
   6 sec -> 53/114
   7 sec -> 58/114
   8 sec -> 59/114
   9 sec -> 59/114
10 sec -> 59/114
11 sec -> 59/114
12 sec -> 60/114
13 sec -> 60/114
14 sec -> 60/114
15 sec -> 60/114
20 sec -> 63/114
25 sec -> 66/114
30 sec -> 69/114
K/s: 11.596
TotTime: 26:55m SolTime: 23:33m

By Peter Martan Date 2021-08-26 18:01 Edited 2021-08-26 18:16 Upvotes 1

Hallo Dieter!

Interessantes Experiment, sehe ich das aber richtig, dass du ShashChess in seinem Solo- Lauf mit MCTS single eingestellt hattest? Dazu habe ich noch keine HTC114- Ergebnisse, weil MCTS bei meinen Versuchen mit einzelnen Stellungen viel häufiger Time to Solution verlängert und nur sehr selten verkürzt hat, muss ich mal mehr probieren, vielleicht hab' ich mich noch zu wenig befasst damit.

Hat ihm aber bei dir auch nicht viel geholfen in deinem Test, scheint mir, ich hab 96 mit der Option Tal und mit MultiPV=4 (einfach in der .uci- Datei der Engine als Textzeile so eingeben) bei 60"/Stellung und 16x3.5GHz avx2, 8G Hash:

Bisher gelöst: 96 von 114  ;  35:34m

         1   2   3   4   5   6   7   8   9  10  11  12  13  14  15  16  17  18  19  20
 -------------------------------------------------------------------------------------
   0 |   0   6  48   -  45   2   4   4   -  37   0  60   6  20   -   0   7   2   1  21
  20 |   2   -   9   1   0   -   0   4   8   0   -   1   0   -  11   0   0   -   -   3
  40 |   7   0   -   3  16  22   0   0   0   5   -  48   -   0   3   3   0   0   5   0
  60 |   0   3  11   3   -   -  24   0   1   0   -   3   0   0  10   2   2   0   0   -
  80 |  26   6   -   0  48  54   1   9  11   3  29   -  44   6  23   4   0  14   8   0
 100 |   4  11   2   0  38  50  51   7   3   0   5   7  27  35

Noch keinen Run mit 18 default, würde aber aus früheren Vergleichen annehmen, über 90 kommt SC so bei 60" auf meiner Hardware sicher auch.

Ceres 0.93 auf RTX 3070ti:

Bisher gelöst: 76 von 114  ;  38:31m

         1   2   3   4   5   6   7   8   9  10  11  12  13  14  15  16  17  18  19  20
 -------------------------------------------------------------------------------------
   0 |   -   -   -   -   -   0   -   -   0   0  23   -   0   0   0   0   0  18   -   0
  20 |  49   1   -   -   0   0   0   -   -   7  50   -   0   -   0   0   1   -  26   0
  40 |  18   0   -   5   -   -   3   3  17  15   -   0   0   0   0   0   1   -   4   -
  60 |   -  56   -   0   0   0   -   9   -   0   -   -   6   -   -  40  18   -   1   -
  80 |   0   0   -   0   -   0   0   3   0   0  10   2   3   7   -   0   1   3   -   0
 100 |   -   0   2   0   6   -   1   0   0   0   1   2   0  11

Spitzenreiter ist Crystal 240621 mit dem damaligen Netz nn-9e3c6298299a.nnue

Bisher gelöst: 102 von 114  ;  27:30m

         1   2   3   4   5   6   7   8   9  10  11  12  13  14  15  16  17  18  19  20
 -------------------------------------------------------------------------------------
   0 |   0   1   -   -  21   1   0   3  39   0  13  42   3   0   5   0  18   1   0  11
  20 |   4  11  60   3   0   0   0   4  23   0   4   3   0   -   3   1   1  59   -   0
  40 |  14   0  34   0  38  57   0   0   0   0   -   0   -  28   0   3  60   0   0   0
  60 |   0   5   3   -   -   -   1   2   6   0   -   0   0   0   -   3   9   0   0   -
  80 |   0   0  13   0  60   1   0   0  36   0   1   7  49   2  13   1   7   0  12   0
 100 |  12   3  16   7   0  30   0   0   5   1   5   2   4   2

Mit den kleineren Netzen von damals hatte ShashChess 17.1 auch einmal die 102/114.

Shredder 3Hirn macht ja nichts anderes, als die Evals der beiden Engines zu vergleichen, hat anscheinend beim HTC114 auch funktioniert, wenn die Evals von Zügen, bei denen kein single best move so deutlich von den anderen unterschieden wird, und es auf die numerische Höhe, die bei Ceres ja meistens eine ziemlich andere ist als bei SF, klappt das halt dann nicht mehr so gut.

Drum hab' ich in der letzten Zeit wieder mit Nucleus von Ferdinand Mosca experimentiert, da ist Ceres und SF auch ein Super- Gespann, leider kennt die Engine (eigentlich fungiert es ja als eine Art GUI- Feature im GUI, im Fritz geht's nicht bei mir, wohl aber in Arena und Shredder) kein go infinite, ist also für automatische Stellungstests nicht verwendbar.
SF nehme ich dabe als Slave2 und als Master, damit er sowohl einen eigenen Vorschlag abgibt und dann mit schon vollem Hash noch einmal auf der Stellung der Antwort auf den Vorschlag der zweiten Slave- Engine pondert, sozusagen ein "double blind test", wie Marco Costalba das seinerzeit nannte, bei seinen Versuche mit einer batch- Datei, die er so ähnlich wie im Nucleus für SF allein schrieb. Nach einem ersten Pondern, bei dem ein Lösungszug nicht gefunden wird, setzt das Script dem Fisch den vor und lässt ihn nach einer weiteren definierten Zeit auf der Stellung danach mit vollem Hash noch einmal auf der Ausgangsstellung rechnen. Seine Testsuite mit ausgesucht für den damaligen SF schweren Tetststellungen zu diesem Thema nannte er Poor Fish, leider ist die site zum Download nicht mehr erreichbar.
Ich hatte mich zu Nucleus hier schon etwas verbreitert

https://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=147124#pid147124

By Dieter Brandhorst Date 2021-08-26 21:10

Hallo Peter,

vielen Dank für deinen Kommentar. Stimmt, ich hatte ShashChess mit MCTS single eingestellt, weil ich in der Vergangenheit leicht bessere praktische Spielergebnisse damit auf dem ChessbaseServer erzielen konnte.
Ich kann mir aber gut vorstellen, dass Stellungstests bei den gewählten Lösungszeiten besser ohne MCTS abschneiden.
Ebenso erhöht MultiPV sicher die Lösungsergebnisse bei Testsets, aber wirkt sich m.E. eher negativ auf die allgemeine Spielstärke aus. ShashChess soll hier aber keineswegs suboptimal zum Einsatz kommen und ich werde gelegentlich
den Test noch einmal unter den vorgeschlagenen Bedingungen wiederholen.
Was ich letztendlich herausarbeiten wollte, ist die unterschiedliche Herangehensweise beider Programme. Grob gesehen lösen beide Programme in etwa die gleiche Anzahl an Testaufgaben, aber eben überwiegend nicht dieselben. Das führt zu einem deutlichen Synergieeffekt wenn beide Engines unter z.B. TrippleBrain zusammenarbeiten um Testsets zu lösen. Ob das allerdings ebenfalls zu einer Erhöhung der praktischen Spielstärke führt sei dahingestellt (evtl. Fernschach?!).
An Nucleus hatte ich auch schon gedacht, aber wegen der fehlenden Möglichkeit automatischer Stellungstests nicht weiter verfolgt. Im Moment überlege ich die Banksia-Gui, mit ihren umfangreichen Möglichkeiten Hybrid-Engines zu kreieren, zu nutzen um praktische Spielerfahrungen mit der Ceres/ShashChess-Kombi auf dem Lichess-Server zu erlangen. Leider kann man mit der Banksia-GUI auch keine Testsets automatisch lösen, oder ich habe diese Funktion noch nicht gefunden.

VG Dieter

By Peter Martan Date 2021-08-26 22:05 Edited 2021-08-26 22:59 Upvotes 1

Natürlich ist MultiPV nicht zum Spielen (mit kurzen TCs) geeignet und natürlich muss man auch bei den Stellungstests gleiche Settings miteinander vergleichen, wenn man reproduzierbare Ergebnisse haben will. Vincent Lejeune, der die Stellungen zusammengetragen hat, testet mit 30 Minuten/Stellung auf single core, um die SMP- Streuung auch noch auszuschalten.
Hier

http://talkchess.com/forum3/viewtopic.php?p=898118#p898118

hat er zuletzt den Link zu seinem Ranking- Sheet aktualisiert.

https://www.dropbox.com/s/584upipsovf2ply/results-hard-talkchess-2020-revision%202021-114%20pos-2021-07-04.ods?dl=0

Mich interessiert die Auswirkung von MultiPV schon auch als wichtiges Analyse- Feature bei A-B-Suche, bei MCTS, wie uns Dietrich Kappe gerade bestätigt hat, was LC0 und Ceres angeht, macht es ja keinen Unterschied.

Ich hatte gerade einen neuen single variant- Lauf mit ShashChess ohne MCTS, 30"/Stellung auf der Hardware siehe oben (Ryzen 5950, 32 Threads der 16x3.5GHz) diesmal nur 4G Hash, wieder (obwohl bei der kurzen TC vielleicht auch eher schon ein Nachteil) 6men Syzygys, von der Option Tal wollte ich mich nicht verabschieden, die ist wieder on gewesen:

Bisher gelöst: 79 von 114  ;  26:37m

         1   2   3   4   5   6   7   8   9  10  11  12  13  14  15  16  17  18  19  20
 -------------------------------------------------------------------------------------
   0 |  10   4   -   -  16   -   3  12  16   -  13   -   2   -   -   8   2  27   0   -
  20 |   5   -   -   -   0   -   0   0  10   0   -  16   0   -   3   0   0   -   -   -
  40 |   3   0  25  17   -   5   0   0   0   -   -  22   -   1  18   -   0   0  15   1
  60 |   0   0   4   0   -  10  30   0   2   0  30   2   0   3   1   1   3   0   0   -
  80 |  13  12   -   0   -   -   3   2   5   5  21   -  13   -   -   0   3  24   -   0
 100  |   1   8   1   0   -  14   -   4  12   0   3  23   -   -

Und dann einen Gegenversuch mit dem selben Setting und der einzigen Änderung MCTS single:

Bisher gelöst: 66 von 114  ;  31:00m

         1   2   3   4   5   6   7   8   9  10  11  12  13  14  15  16  17  18  19  20
 -------------------------------------------------------------------------------------
   0 |   -   -   -   -   -   0   -   5   -  21  13   -   2   2   -   3   2   -   1   3
  20 |   3   -   -   -   0   -   0   0   3   0   -   -   0   8   6   0   0   -   -   -
  40 |   6   0   -   -   -   8   1   0   0  30   -   -   -   1  20   -   -   0   -   3
  60 |   0   0  30   0   -  22   -   0   -   0   -   2   0  12   0   1   2   0   0   -
  80 |  30   -   -   0   -   -   1   3   4  24   5   -   -   -  21   3   1   -   -   0
 100  |   4  30   1   1   -   -   -  10   4   0   -  30   -   -

Also in dieser Testsuite mit dieser Hardware- TC schadet das MCTS eher (im single Modus), was nicht heißt, dass es bei anderen Stellungen nicht anders sein kann und selbst bei einer andere Bedenkzeit kann's schon wieder anders ausschauen.
Für meine Hardware sind die 30"/Stellung auch offenbar gerade relativ zu 60" ein großer Sprung, in solchen Fällen kehre ich dann zur längeren TC zurück, weil dadurch der Zufall weniger Rolle spielt.

Bei allen Teststellungen muss man immer einen einzelnen Parameter, der einen interessiert, und oder eine einzelne Engine(version) allein verändern mit sonst ganz gleichen Bedingungen, dann hat Stellungstesten am meisten Sinn. "Overall playing strength" ist eine Elosion, die auch beim Eng-Eng-Match mehr und mehr verblasst. Bei Teststellungen hat man wenigstens den Hauptunterschied der Spielstärkenmessungen im Griff, auch bei Matches hängen die Ergebnisse mehr und mehr von den Eröffnungs(test)stellungen ab, von denen man ausspielen lässt.
Der Stellungstest testet die Teststellungen. Am besten und genauesten anhand jeder einzelnen für sich, dann müssen's auch keine taktischen single best move positions sein, Output- Verläufe über die Rechenzeit kann man auch bei Stellungen mit vielen ähnlich guten Abspielen vergleichen, aus Eröffnung,- Mittel- und Endspiel, erzählt mal wieder die alten Geschichten vor sich hin,

By Dieter Brandhorst Date 2021-08-27 11:13

Deinen Anregungen folgend, habe ich das "Experiment" noch einmal mit höherer Lösungszeit (60sec) und dem von dir empfohlenen
"Tuning" für ShashChess durchgeführt.

[ENGINE]
Name=ShashChess 18
Author=K. Kiniama, A. Manzo and Stockfish deve
Filename=C:\Programme Portable\arena_3.5.1\Engines\ShashChess17\ShashChess18-x86-64-avx2.exe
[OPTIONS]
Threads=32
SyzygyPath=D:\TB\Syzygy;D:\TB\dtz;D:\TB\wdl
SyzygyProbeLimit=6
EvalFile=nn-517c4f68b5df.nnue
Tal=true
MultiPV=4

Hash auf 4GB eingestellt.

Bei Ceres 0.93 keine Änderungen vorgenommen.

Hier die Ergebnisse:

ShashChess 18

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
-------------------------------------------------------------------------------------

 0  |   2   4   -   -  42   -  11   9   -   -   -   -   3  13   -   0  12   5   1  20

20 |   1   -  31   3   0   -   0   -  26   0   -   2   0   -  21   0   0   -   -   1

40 | - 0 - 29 36 27 0 0 0 59 - - - 6 3 8 0 1 11 0

 60 |   0   5  14   0   -   -  18   1  10   0   -   3   0   1   3   3  11   0   0   -

80 | 37 20   -   1   -   0   3   9 49 16 37   -   -   -   -   1   2 59   -   3
100|   5 22 17   1   -   -   - 14 10   2 15 49 47   -

   1 sec -> 20/114
   2 sec -> 29/114
   3 sec -> 33/114
   4 sec -> 41/114
   5 sec -> 42/114
   6 sec -> 45/114
   7 sec -> 46/114
   8 sec -> 46/114
   9 sec -> 47/114
10 sec -> 49/114
11 sec -> 51/114
12 sec -> 54/114
13 sec -> 55/114
14 sec -> 56/114
15 sec -> 58/114
20 sec -> 62/114
25 sec -> 66/114
30 sec -> 69/114
40 sec -> 73/114
50 sec -> 77/114
60 sec -> 79/114
K/s: 13.363.954
TotTime: 59:12m SolTime: 50:15m

Ceres 0.93

   1   2   3   4   5   6   7   8   9 10 11 12 13 14 15 16 17 18 19 20
-------------------------------------------------------------------------------------

 0  |   -   -   -   -   -   0   -   -   0   0  56   -   0   3   0   0   0   0   -   1

20 |   -   2   -   -   0   0   0   -   -  19   -   -   0   5   0   0   2   -   -   1

40 |  29   0   -  24   -   -   7   3  25   -   -   1   0   0   0   0   4   -   8   -

60 |   -   -   -   0   0   0   -   9   -  32   -   1  11   0   -   -  53   -   2   -

80 |   0   0   -   0   -   0   0   6   1   0  27   4   1  20   -   1   6   4   -   0

100|   -   0   8   0 17   -   3   0   0   0   3   2   0 45

   1 sec -> 36/114
   2 sec -> 43/114
   3 sec -> 47/114
   4 sec -> 51/114
   5 sec -> 54/114
   6 sec -> 55/114
   7 sec -> 57/114
   8 sec -> 58/114
   9 sec -> 60/114
10 sec -> 61/114
11 sec -> 61/114
12 sec -> 62/114
13 sec -> 62/114
14 sec -> 62/114
15 sec -> 62/114
20 sec -> 64/114
25 sec -> 66/114
30 sec -> 69/114
40 sec -> 70/114
50 sec -> 71/114
60 sec -> 73/114
K/s: 14.306
TotTime: 48:58m SolTime: 42:06m

Triple Brain

   1   2   3   4   5   6   7   8   9 10 11 12 13 14 15 16 17 18 19 20
-------------------------------------------------------------------------------------

 0  |   6   3   -   -   9   0   0   5   -   0  50   -   0   -   2   0   3   0   0   3

 20 |  14   -   -   2   0   0   0   -   5   0   -   2   0   5   6   0   0   -   -   0

 40 |  23   0   -   -  24  24   0   0   0   -   -   -   -   0   0   0   0   0   8   0

 60 |   0   5  16   0   0   0  35   0   4   0   -   1   0   0   8   1   4   0   0   -

 80 |   0   0   -   0   -   0   0   8   -   0  46   4   2   -  38   2   3   6  50   0

100|   3   0 10   0 23   - 14   2   0   6   8   3   1 38

   1 sec -> 45/114
   2 sec -> 48/114
   3 sec -> 54/114
   4 sec -> 60/114
   5 sec -> 63/114
   6 sec -> 67/114
   7 sec -> 71/114
   8 sec -> 71/114
   9 sec -> 75/114
10 sec -> 76/114
11 sec -> 77/114
12 sec -> 77/114
13 sec -> 77/114
14 sec -> 77/114
15 sec -> 79/114
20 sec -> 80/114
25 sec -> 84/114
30 sec -> 84/114
40 sec -> 87/114
50 sec -> 88/114
60 sec -> 90/114
K/s: 0
TotTime: 114:29m SolTime: 33:41m

ShashChess liefert mit dem "Tuning" ein wesentlich besseres Lösungsergebnis als vorher, trotzdem bleibt der beobachtete Synergieeffekt unter Triple Brain bestehen (79 und 73 vs 90/114).

By Peter Martan Date 2021-08-27 11:49

Dieter Brandhorst schrieb:

Hier die Ergebnisse:
...
ShashChess liefert mit dem "Tuning" ein wesentlich besseres Lösungsergebnis als vorher, trotzdem bleibt der beobachtete Synergieeffekt unter Triple Brain bestehen (79 und 73 vs 90/114).

Danke fürs Extra- Testen, wieso ich mit SC18, 60" und MultiPV=4 allein schon auf 96 komme, ist mir dann allerdings immer noch unklar.
Dein Threadripper wird doch auch von der Hardware her besser sein. Was hast du da doch noch einmal genau für eine KernxGHz- Leistung?

32 Threads, 16x3.5Ghz avx2, 8G Hash, Tal checked, MultiPV=4, dem SC18 zugehöriges Netz:

Bisher gelöst: 96 von 114  ;  35:34m

         1   2   3   4   5   6   7   8   9  10  11  12  13  14  15  16  17  18  19  20
 -------------------------------------------------------------------------------------
   0 |   0   6  48   -  45   2   4   4   -  37   0  60   6  20   -   0   7   2   1  21
  20 |   2   -   9   1   0   -   0   4   8   0   -   1   0   -  11   0   0   -   -   3
  40 |   7   0   -   3  16  22   0   0   0   5   -  48   -   0   3   3   0   0   5   0
  60 |   0   3  11   3   -   -  24   0   1   0   -   3   0   0  10   2   2   0   0   -
  80 |  26   6   -   0  48  54   1   9  11   3  29   -  44   6  23   4   0  14   8   0
 100 |   4  11   2   0  38  50  51   7   3   0   5   7  27  35

Hattest du wieder das MCTS single on?

By Dieter Brandhorst Date 2021-08-27 12:18

Nein MCTS war definitiv auf off. Meine CPU läuft auf 4 MHZ.
Evtl. liegt es am anderen NN.

(Bin für evtl. Antworten erst am Sonntag wieder da)

By Peter Martan Date 2021-08-27 12:28

Dieter Brandhorst schrieb:

Evtl. liegt es am anderen NN.

Je größer die Dingens werden, desto mehr bremsen sie. Dass es die 4G Hash bei dir und die 8 bei mir sind, glaub' ich auch nicht wirklich.
Keine Eile, mein Rechner ist ohnehin auch beschäftigt jetzt, wenn ich ihn wieder weniger brauche, mach' ich sicherheitshalber noch einen Run mit eigens neuerlich gelöschter Experience, aber ich bin mir zu 99% sicher, dass in die nie etwas aus der HTC114 hineingekommen sein kann, die ich momentan verwende.
Bis nächste Woche, grüßt

By Chess Player Date 2021-08-27 09:24

Dieter Brandhorst schrieb:

erreicht einzeln beim Lösen der HTC114-Tests deutlich nicht das Lösungsergebnis, wie es gemeinsam unter TripleBrain erreicht wird (54 u.69 vs. 86/114 bei 30sec). Auch bei anderen Testsets (Eret, Stockfish 2021) sieht es ähnlich aus.

wirklich TripleBrain???

Entweder ist das TripleBrain völliger Quark, oder ich mache etwas falsch!

Wie soll es denn funktionieren?

By Dieter Brandhorst Date 2021-08-27 10:17 Upvotes 1

Hallo Chess Player,

das funktioniert relativ einfach.

1. Deep Shredder 13 GUI starten
2. Engine deiner Wahl laden (zB ShashChess)
3. Im Menüpunkt Modus->Triple Brain wählen
4. Du wirst aufgefordert die 2. Engine zu laden
5. Lösungszeit im Menüpunkt Spielstufen->Zeit pro Zug eingeben (wichtig das Häkchen bei exakter Zeit)
6. Modus->Stellungen analysieren-> gewünschtes Testset laden und los gehts.

Was klappt denn bei dir nicht?

By Chess Player Date 2021-08-27 10:28

Die Technik zur Bedienung habe ich eingehalten. Die funktioniert schon.

Nur wie soll das Triplebrain korrekt funktionieren, gefühlt vor 20 Jahren habe ich es ausprobiert.

Nur der Output war völliger Käse, damals schon.

Man soll ja unterschiedlich kalkulierende Engines benutzen. Das nutzt aber nix wenn
eine Engine viel schneller in die Tiefe kommt als die andere die noch an einem Punkt mit
falscher Bewertung festhängt und die andere schon sehr viel weiter ist und deren Bewertung stimmig ist.

Seit Rybka und Ippolit ist es nicht zu gebrauchen, weil die Engines zu ähnlich sind.

By Benno Hartwig Date 2021-08-27 11:13

> Das nutzt aber nix wenn eine Engine viel schneller in die Tiefe kommt als die andere die noch an einem Punkt mit falscher Bewertung festhängt

Ja, ungefähr vergleichbare Spielstärke (Verlässlicheit) sollten die Engines ja vielleicht schon haben.
Mir nützen gezielt zwei Beraterverträge ja auch nur wenig, wenn der eine Berater ein GM und der andere ein freundlicher Kreisklassenspieler ist.

By Dieter Brandhorst Date 2021-08-27 11:22

Kann mich dem nur anschließen. Ungefähr gleiche Spielstärke (numerische Lösungsergebnisse) , aber unterschiedliche Spielstile ergeben
m.E. die besten Synergieeffekte bei Triple Brain.

By Chess Player Date 2021-08-27 17:41

Ja, das ist eine Wunschvorstellung.

Eine positionelle Engine und eine taktisch spielende Engine und außerdem gleich schnell in die Tiefe kommende sind unrealistische Vorgaben.

Damit ist letztlich das Triple Brain ja auch gestorben.

Ich wüßte jetzt nicht das das Konzept jemals weiter entwickelt worden wäre.

Du bist damit ca. 20 Jahre zu spät dran.

By Peter Martan Date 2021-08-27 18:14 Edited 2021-08-27 18:28

Dieter Brandhorst schrieb:

Kann mich dem nur anschließen. Ungefähr gleiche Spielstärke (numerische Lösungsergebnisse) , aber unterschiedliche Spielstile ergeben
m.E. die besten Synergieeffekte bei Triple Brain.

Genau.
Ich hab' übrigens doch noch ein Minütchen freie Hardware- Zeit erübrigt (

), und einen weiteren Run, diesmal mit deinem Gespann (ich liebe es vor allem auch im Nucleus) und eigens gelöschter Experience gemacht.

Wieder 8G Hash für SC allein (Ceres nimmt sich sowieso, was es braucht, leider auch an CPU- Leistung), Threads diesmal 24, Ceres lastet meine CPU beim Alleingang je nach Stellung so zwischen 20 und 30% aus, damit's keine Konflikte gibt, die SC-Threads reduziert, weil die beiden ja im 3Hirn gleichzeitig rechnen, das ist bei A-B-Engine+Ceres ein bisschen schwer vorhersehbar, wie sich die beiden die CPU dann wirklich aufteilen, was ich so im Task Manager gesehen habe, blieben so aber eher ungenutzte Ressourcen übrig, aber besser als die Threads prügeln sich.
SC wieder "sein" Netz, MultiPV=4, Tal, Ceres 0.93 wieder das 69900, (hab' schon auch ein neueres, aber wegen des Vergleiches), 60"/Stellung.
Immerhin doch noch 4 weitere Lösungen relativ zu SC's 96 allein:

Bisher gelöst: 100 von 114  ;  25:17m

         1   2   3   4   5   6   7   8   9  10  11  12  13  14  15  16  17  18  19  20
 -------------------------------------------------------------------------------------
   0 |   3   3   -   -  17   0   3   4   -   0  10   9   0  10   0   0   0   0   0   3
  20 |  21   -   4   1   0   0   0   9  15   0  56   1   0  48   8   0   0   -  39   0
  40 |   4   0   -  10  28   -   0   0   0   4   -   3   -   0   0   0   0   1  12   0
  60 |   0   6  14   0   0  51  12   0   2   0   -   1   0   0   2   2   2   0   0   -
  80 |   0   0   -   0   -   0   0  44  12   2  14   1   3   -  21   1   1   5   8   0
 100  |   3   0   0   0   5  53  16   1   3   0   2   2   8  13

By Dieter Brandhorst Date 2021-08-29 16:32

Danke, dass du den Test noch einmal unter diesen Bedingungen durchgeführt hast. Was ShashChess angeht, da bringt deine aktuelle Ryzen 5950 CPU in den Benchmarks gegenüber meiner "alten" Threadripper 1950x schon die 1,6 fache Leistung. Evtl. erklärt das z.T. die unterschiedlichen Ergebnisse. Es bleibt aber festzustellen, der Synergieeffekt ist noch zu erkennen.Immerhin sind noch 4 von den 18 verbliebenen ungelösten Aufgaben zusätzlich gelöst worden.
Mit deiner hochperformanten Hardware (5950+3070ti) scheint mir, bräuchte man eine schwierigere Testsuite,
mit einer größeren Anzahl ungelöster Aufgaben für beide Solo- Engines, um den Synergieeffekt deutlicher zu zeigen.
Nucleus steht in jedem Fall auf meiner ToDo-Liste!

By Lothar Jung Date 2021-08-29 16:37

HTC114 ist so eine Testsuite.

By Dieter Brandhorst Date 2021-08-29 17:46

Hallo, das ist mir schon klar. Allerdings wäre es für den hier untersuchten Synergieeffekt eben günstiger, wenn die Single-Engines nicht schon 96/114 Aufgaben lösen könnten ( ShashChess in Peters Umgebung s.o.). Da bleibt halt weniger Spielraum an ungelösten Aufgaben, um evtl. Verbesserungen signifikant zu messen.
Theoretisch besteht natürlich die Möglichkeit, dass die Top-Engines schon fast die Spielstärke der 32er Table Bases (

) erreicht haben. Wenn dem so ist, wird man wohl kaum noch schwierigere und umfangreichere Testsuits finden können. Das ist allerdings die Fragestellung, der ich mit meinem "Experiment" nachgehen wollte. Inwieweit sind die beiden Top-Engines Ceres und ShashChess noch steigerungsfähig ? Solange sie sich gegenseitig bei der Aufgabenlösung von Testsuits noch ergänzen können, ist das wohl der Fall.

By Lothar Jung Date 2021-08-29 17:54

HTC114 ist schon eine schwierige Testsuite:

Here the benchmarks with other engines on HTC114: On 114 positions ->
SugaR.AI.ICCF.1.90 : 89 solved
ShashChess 16 : 87 solved
ShashChess 17 : 86 solved
Crystal3.1    : 86 solved
Bluefish-v13.1    : 85 solved
Bluefish-v13    : 84 solved
Black-Diamond-v13 : 80 solved
SugaR.AI.ICCF.1.00 : 79 solved
ShashChess15.1    : 78 solved
Stockfish_21051920 : 75 solved
Stockfish 13    : 67 solved

Ceres erreicht 81 Lösungen, auf meiner Hardware: RTX 3080tx, 3080, 2080S bei 30 sec.

By Dieter Brandhorst Date 2021-08-29 18:37

Danke für die Testergebnisse. Also bei meinen Testergebnissen war es so, wie auch genauer weiter oben beschrieben. Ceres 0.93 schaffte bei 60sec 73/114 und bei 30 sec 69/114 (Netz:69722vf2, GPU RTX2070). ShashChess 18 (MultiPV=4;Tal;Threadripper 1950x) schaffte bei 60 sec 79/114 und bei 30 sec 69/114.Beide zusammen unter Triple Brain bei 60sec 90/114 und bei 30sec 84/114. Peter (s.o.) mit Ryzen 3950 und ShashChess liegt allerdings mit ShashChess bei 60sec schon bei 96/114 und bei Triple Brain (Ceres+ShashChess) bei 100/114. Da wird es schon enger mit nicht gelösten Aufgaben.

By Dieter Brandhorst Date 2021-08-29 19:09

P.S.

wie ich sehe kommt Ceres ja mit deinen 3 GPUs so richtig auf Touren (81/114 bei 30sec). Ich fände es höchst interessant, ob oder wie weit sich diese Leistung unter Triple Brain mit ShashChess als zweite Engine noch steigern ließe.

By Lothar Jung Date 2021-08-29 20:21 Edited 2021-08-29 20:30

Auf der PC-Seite „nur“ ein Ryzen 3900X mit 12 Kernen. Gib mir mal ein Link von Shashess, dann teste ich.
Für Ceres und Lc0 ist aber ein hoher Hardwareaufwand erforderlich.
Die SF-Spezial-Analyse-Engines sind Ceres/Lc0 überlegen.
Aber die sind im praktischen Spiel um einiges besser.

Lothar

By Dieter Brandhorst Date 2021-08-30 15:58

Hier der Link von ShashChess18: https://github.com/amchess/ShashChess/releases/. Bin sehr gespannt.

VG Dieter

By Peter Martan Date 2021-08-29 18:11 Edited 2021-08-29 18:21

Dieter Brandhorst schrieb:

Nucleus steht in jedem Fall auf meiner ToDo-Liste!

Ich hab' Ferdinand Mosca schon im CCC erreicht dazu, leider hat er vorläufig nur als Alternative seine andere Art von triple braiin namens headsup empfohlen, das ja aber nicht als Analyse- Tool verwendbar ist.

http://talkchess.com/forum3/viewtopic.php?p=902853#p902853

Ich hoffe immer noch, dass er (oder jemand Anderer) sich der Sache weiter annehmen wird. Eigentlich wäre der go infinite- Befehl und das Mehr als 2G pro Engine, das vor allem, alles, was mir zunächst mal fehlt. Manuelle Analyse mit 2 Engines gleichzeitig ist ja vielleicht sogar sowieso das Effektivste, weil man sich die Zeit fürs Vorwärts und fürs Rückwärts und welche Gegenvorschläge der Zweitengine man probieren will, selbst einteilen kann.
Es geht also nur ums automatische Backward (das ja mit dem Shredder- 3Hirn auch nicht funktioniert) und das Abarbeiten von Testsuiten, naja und ums automatische ausspielen Lassen am Rande schon auch

By Lothar Jung Date 2021-08-31 10:27

Hallo Peter,

ich habe bei meinen Tests mit HTC114, das auch Ceres 0.93 und Lc0 28.0 ein gutes Team wären.
Lc0 0.28.0 löst zwar weniger Stellungen (76) als Ceres (81) aber eine ganze Reihe andere Stellungen, in anderer Zeit.
Hier wirkt sich die unterschiedliche Suche ziemlich aus.
Das wäre ein Projekt mit der BanksiaGUI.
Und Nibbler wäre zum Analysieren ideal.
Leider bin ich sehr bald wieder in Frankreich.

Lothar

By Peter Martan Date 2021-08-31 10:35

Und ich bin jetzt wieder mit IdEA zu Gange und muss das machen, weil ich Aqua (fast) neu gekauft habe. Es ist wie mit der Ehe, man kann dann die Probleme miteinander (oder mit den GUIs) teilen, die man nicht gehabt hätte, wenn man nicht geheiratet (sich ein fast neues GUI zugelegt) hätte.

By Lothar Jung Date 2021-08-31 15:00 Edited 2021-08-31 15:03

Ich bin seit fast 40:Jahren glücklich verheiratet.

Nicht nur für Zweifler empfehle ich dieses schöne Lied von Georg Kreißler:

https://youtu.be/o93B2RWmGXg

Grüße

Lothar

By Kurt Utzinger Date 2021-08-29 17:59

Dieter Brandhorst schrieb:

Kann mich dem nur anschließen. Ungefähr gleiche Spielstärke (numerische Lösungsergebnisse) , aber unterschiedliche Spielstile ergeben
m.E. die besten Synergieeffekte bei Triple Brain.

Habe ich was verpasst. In meinem Kopf ist gespeichert, dass Triple Brain
keine wirklich brauchbaren Resultate bringt. Ist das Konzept verbessert
worden.
Mfg Kurt

By Dieter Brandhorst Date 2021-08-29 18:49

Nun, die weiter oben geposteten Ergebnisse sprechen doch für sich, was die Enginekombination Ceres+ShashChess unter Triple Brain betrifft. Wenn du Daten hast, die dem widersprechen, teile sie doch bitte mit.
Änderungen an dem Konzept von Triple Brain sind mir nicht bekannt. Wohl aber hat sich in der Hardware- und Engine-Entwicklung eine Menge getan, was sicher zu anderen Resultaten führen kann.

By Lothar Jung Date 2021-08-30 09:37 Upvotes 1

Hallo Dieter,

hier das wird dich bestimmt interessieren:

Dual-Engine-Möglichkeit mit der BanksiaGUI:

https://banksiagui.com/create-new-engines-by-mixing-existing-ones/

Lothar

By Dieter Brandhorst Date 2021-08-30 15:13 Upvotes 1

Hallo Lothar,

vielen Dank für den Hinweis. Die Banksia-GUI bietet ja noch einiges mehr an Möglichkeiten für das Spiel und die Konstruktion von Multi-Engines, als die Shredder - GUI mit Triple Brain. Mir gefällt besonders die Möglichkeit mit diesen Engines dann auf dem Lichess-Server spielen zu können. Das werde ich zeitnah einmal mit meiner Shashchess/Ceres -Kombi ausprobieren.
Ideal wäre, wenn man mit Banksia auch noch Testsuits lösen könnte. Weißt du (oder evtl. jemand anders der hier mitliest), ob der Entwickler von Banksia noch vorhat diese Funktion einzubauen?

VG Dieter

By Max Siegfried Date 2021-08-30 16:00

Dieter Brandhorst schrieb:

Ideal wäre, wenn man mit Banksia auch noch Testsuits lösen könnte. Weißt du (oder evtl. jemand anders der hier mitliest), ob der Entwickler von Banksia noch vorhat diese Funktion einzubauen?

Die Antwort wird dir nicht gefallen aber:
Der Entwickler hat aktuell nicht vor diese Funktion einzubauen, denn er kennt diese Funktion überhaupt nicht.
Er weiß weder was so eine Funktion genau machen muss, noch weiß er wie das ganze optisch aussehen soll.
Außerdem wartet er noch immer auf eine E-Mail an banksiagui@gmail.com von einem gewissen Dieter Brandhorst. Kennst du diesen oder kommt er dir bekannt vor?

By Dieter Brandhorst Date 2021-08-30 16:13 Upvotes 1

Na, wenn er auf eine Mail von Dieter Brandhorst wartet, dann schaue ich doch mal in meine Kontaktliste, ob ich da was finde

. Wollte halt nur keine offenen Türen einrennen.

By Lothar Jung Date 2021-08-31 10:09

Hier die Mailantwort des Entwicklers der BanksiaGUI zu Testsuite:

Yes, I have a long-time-logged task to do that. Just a bit lazy.

If you can help to test, I may start soon.

By Dieter Brandhorst Date 2021-08-31 14:42

Hallo Lothar,

das hört sich doch sehr vielversprechend an. Wenn du dich nicht als Tester anbieten möchtest oder ein weiterer benötigt wird, bin ich gerne dabei.

VG Dieter

By Lothar Jung Date 2021-08-31 14:58

Hallo Dieter,

würde ich gerne, geht aber jetzt noch nicht, da ich bald -nur mit meinem Notebook- nach Frankreich fahre.
Aber ab November geht es wieder.
Du kannst Dich ja gerne melden und ich stoße später hinzu.

Viele Grüße

Lothar

By Dieter Brandhorst Date 2021-08-31 15:33

O.K., gerne, das machen wir so.

By Lothar Jung Date 2021-08-30 16:56 Upvotes 1

Hallo Dieter,

die BanksiaGUI ist ein tolles Projekt.

Ich hatte wegen der Testsuite den Entwickler angeschrieben.

Warte noch auf Antwort.

Die Testsuitebearbeitung bei Fritz 16, 17 ist buggy. Es bleibt deshalb nur Arena übrig.

Viele Grüße

Lothar