Crystal 5...

By Peter Martan Date 2022-11-06 10:41 Edited 2022-11-06 10:58

Erste Testresultate:

http://talkchess.com/forum3/viewtopic.php?p=937410#p937410

Die relevantesten in der letzten Liste unten, was die Haupt- Stärke von Crystal angeht, die "taktische".
Die anderen beiden oben dienen mehr dem Vergleich mit dem MEA- Tool, das mehr die Schnelligkeit der Evaluierung und Zugsortierung in Stellungen angeht, die über ein breites Spektrum an Taktik (was sowieso das einzige ist, was Engines können, egal, wie lange sie rechnen, es bleibt immer some kind of number crunching, "Strategie" kennen nur Menschen) leichter (aus der "statischen Eval" mit minimaler Tiefe) in very short TC gelöst werden. Dafür ist die Breite der Stellungen schon auch über das, was sich der Mensch unter "Motiven" vorstellt, geordnet und "praxis- relevant", weil die Anteile der 888 aus Eret, Arasan- Suite und STS (siehe die ursprüngliche Sortierung in 15x100er- Blöcken nach strategischen Mustern, wie sie Swaminithan und Corbit ursprünglich vorgenommen haben) bestehen und keine anti- Engine- Puzzles. Solche sind in den 256 mixed, in den 128 stark vorwiegend drin.

By Jörg Oster Date 2022-11-06 10:56

Mich würde natürlich ganz besonders interessieren, wie der Vergleich zum Huntsman
in bezug aufs Mattfinden ausfällt.

By Peter Martan Date 2022-11-06 11:01 Edited 2022-11-06 11:24

Das macht man am besten mit einzelnen Matt- Stellungen, Jörg, nicht statistisch, es sei denn, du beziehst auch in die Statistik die DTM- Werte ein, das wäre wieder eine eigene Tool (GUI-)- Aufgabe, du kannst das dazu nehmen, was es gibt für automatische Abläufe und Urteile, aber wie lange willst du die TCs nehmen, wie lang darf die DTM sein und wie genau muss sie stimmen. Ich sag' mal, ohne es noch näher für Crystal 5 untersucht zu haben, dass er mehr als die Nase vorn haben wird, wenn's nur um die kürzeste time to solution bis zu irgendeinem mate in x- output geht (die eben anzweifelbar wäre von der Aussagekraft relativ zu exakt richtiger DTM, die man erstmal überhaupt von wirklich langzügigen Matts exakt kennen muss) oder um die time to solution für eine bestimmte Stellung, deren exakt richtiger DTM und ihrem taktischen Charakter neben der allgemeinen Bezeichnung "Matt in x- Aufgabe", sprich, wieviel Nullmove, Lazy King- Eval, Fortress detection, allgemeiner King Safety, und explizit spezialisierter Matt- Suche wie viel hilft oder schadet.
Aber dass Crystal da "overall" deutlich besser abscheidet, liegt schon daran, dass da sogar der game playing SF (siehe SF 11) den Huntsman immer noch in den meisten Stellungen abhängt, insbesonders natürlich in den "Praxis- nahen".
Dir muss ich ja nicht sagen, dass gerade die Matt- Suche eine Aufgabe für sich ist, und vor allem auch die Stellungen dafür wieder fast so vielfältig, wie die Schachstellungen als solche. Nein, genau so, weil du ja auch schon in der Grundstellung nach DTM suchen lassen kannst.

Ich harre deiner Beispiele, harrt...

Edit, edit, edit: Hast du das

2b1kb2/pppppppp/8/8/8/8/PPPPPPPP/RNBQKBNR w KQ - 0 1

schon aufgegeben?
Ich meine nur, das wäre etwas, wo ich (relativ zu Crystal, der ja eben keine auf Mattsuche spezialsierte Engine ist) ganz stark auf den Huntsman tippen würde, aber es käme eben auch sehr darauf an, wie viele Züge in die Stellung hinein du gehst, und ob du die früheste oder die genau richtige DTM vergleichst, von Forward- Backward mal ganz abgesehen.
Vor allem solltest du für faire Vergleiche auch in vielen Matt in x- Stellungen dem Crystal die NNUE- usage abdrehen, was beim Huntsman ja automatisch passiert, wenn man die spezialisierte Mattsuche einschaltet, oder du vergleichst mit Huntsman + MateSearch off, dafür NNUE on.

By Jörg Oster Date 2022-11-06 11:26

Nee nee, Peter.
Das sehe ich anders.

Ich habe ja extra fürs Mattfinden NNUE abgedreht, und Joseph eben nicht.
Von daher sehe ich das durchaus als einen fairen Vergleich an.

By Peter Martan Date 2022-11-06 11:57

Passt schon, Jörg, worauf ich ja nur hinaus wollte, was da fair ist, hängt sehr vom Auge des Betrachters, aber vor allem von den Stellungen ab

By Jörg Oster Date 2022-11-06 12:09

Zustimmung.
Nach einem schnellen Testlauf über meine Matt-Teststellungen weiß ich schon, was ich wissen wollte.

By Peter Martan Date 2022-11-06 12:40 Edited 2022-11-06 12:42

Na siehst du, ich wusste das sogar schon, bevor ich mir noch irgendwelche einzelnen Teststellungen angesehen hatte

Ich präzisiere, das, was du wissen wolltest (Frechheit, noch dazu mit Abischt

), meine persönlichen Interessen an Matt- Aufgaben gehen schon noch etwas weiter, sind aber nur streng stellungsabhängig zu beantworten, ceterum censeot (beharrt) ...

By Jörg Oster Date 2022-11-06 13:55 Upvotes 1

Kleine Ergänzung:
nichtsdestotrotz sind in Crystal ein paar sehr interessante Änderungen an der Suche vorgenommen worden.
Die muss ich mir mal in Ruhe vornehmen und prüfen, ob die auch für meinen Huntsman was bringen könnten.

By Peter Martan Date 2022-11-06 15:08 Edited 2022-11-06 15:33

Prima.
Was die Stellung angeht, über die wir ja seinerzeit auch per PN etwas gemeinsam gegrübelt haben, nach wie vor ist die (oben noch einmal zitierte) zu schwer für alle Programme, in absehbarer Hardware- Zeit die genau richtige DTM aus dem Stand auszurechnen, ich hab vor langer Zeit auch ein bisschen mit Chest und Gustav herum probiert, da sind eben zu viele ähnlich weite Wege zu vergleichen, selbst wenn ein Programm die DTM eingegeben bekommt, was den spezialisierten Mattsuchern ja in der Regel stark hilft.
Aber 7 Züge in eine der Hauptvarianten hinein, wird's auch für game playing engines machbar und der Huntsman ist mit 15 Threads (weil ich da Crystal noch parallell laufen ließ) bei den letzten 11 Zügen dann recht flott, wenn man's um 2 auf oder ab nicht ganz so genau nimmt

...
8.Sd5 Lg7 9.Sg5 Ld7 10.Lxd6 cxd5 11.Df3 f5 12.exd5 Lh6 13.De3 b6 14.Te1 b5 15.dxe6 Lc6 16.Df4 Kd8 17.Sf7+ Kc8 18.Dxh6 Kb7 19.Df8 a5 20.Db8+ Ka6 21.Se5 Lb7 22.Lxb5+ Kb6 23.Dc7+ Kxb5
Weiß setzt Matt: +- (#18) Tiefe: 30/38   00:05:40 5659MN
...
8.Sd5 Lg7 9.Sg5 Lf8 10.Sf6+ Kd8 11.Dd2 Kc7 12.Db4 h4 13.Sxf7 e5 14.dxe5 Kb8 15.exd6 Ka7 16.d7 Lxb4 17.dxc8D Ld2+ 18.Txd2 g5 19.Sd7 gxf4 20.Db8#
Weiß setzt Matt: +- (#13) Tiefe: 54/26   00:09:00 8950MN
...
8.Sd5 cxd5 9.exd5 b5 10.dxe6 fxe6 11.Sg5 Le7 12.De4 Lxg5 13.Lxg5 Kd7 14.Da8 Kc7 15.Td3 b4 16.Tf3 d5 17.Tf7+ Ld7 18.Lxa6 e5 19.Db7+ Kd6 20.Dxd7#
Weiß setzt Matt: +- (#13) Tiefe: 69/26   00:15:19 15151MN

Kopiert habe ich von dort, wo das erste Mal eine DTM in den Output kam, oder nicht viel später, weil ich da erst auf Listen- Anzeige umgeschaltet hatte.

Jetzt müsste man aber wahrscheinlich auf die nächsten Iterationen, die dann das korrekte #11 irgendwann vermutlich anzeigten, doch noch ziemlich lange warten, will man das?
Oder findet man sich damit ab, dass Huntsman vom go mate x- Befehl halt auch nicht profitiert und sagt, ok., ist ja irgendwie doch auch ein game playing program (was er ja, wenn man die NNUE- Eval auch aufdreht und dafür die Mattsuche ab, auch ein sehr starkes ist, wäre nicht uninteressant, mal Matches zwischen Huntsman ohne MateSearch (die würde ihn bei nicht sehr langer TC vor allem auch zu sehr ausbremsen, denke ich) und Crystal spielen zu lassen, ich fürchte nur, da bräuchte man sehr viele Partien von der Grundstellung aus und von unbalanced openings aus käme es wieder sehr auf die Länge und Art der Eröffnungen an.
Und was die letzen 2 Züge der korrekten DTM angeht, man gibt game playing programs dann (und das können sie sogar wieder besser als die spezialisierten Programme, weil sie mit mehr Hash und SMP besser umgehen können) einfach ein paar Züge mehr ein und geht langsam rückwärts bis dorthin, wo sie ins Stocken kommen, z.B. auch das #11 kriegt man mit Huntsman (aber auch mit Crystal, siehe dann ganz unten noch) viel schneller mit etwas FW- BW als aus dem Stand.

Crystal ist mit ebensolchen 15 Threads default (Syzygy- Probe Limit 0, das war beim Huntsman auch so, die tbs können hier außer bremsen nur bremsen) viel weniger tief und von einer DTM (wahrscheinlich, weiß man natürlich auch erst, wenn man weiter wartet) noch ziemlich weit entfernt:

2b1kb2/1p3p2/p1ppp1p1/7p/3PPB2/2N2N2/PPP1QPPP/2KR1B1R w - - 0 1

Analysis by Crystal 5 KWK:

8.g3 Le7 9.De3 Kd8 10.Sg5 f6 11.Sf7+ Kc7 12.Sxd6 Lxd6 13.Lxd6+ Kxd6
Weiß steht klar auf Gewinn: +- (28.36) Tiefe: 10/11   00:00:00
...
8.De3 Le7 9.Kb1 b5 10.h4 b4 11.Sa4 a5 12.Lh6 f5 13.Sb6 Ld7 14.Sxd7 f4 15.Dxf4 b3 16.Sc5 Kd8 17.Df7 d5 18.Dg8+ Kc7 19.Lf4+ Ld6 20.Dg7+ Kb6
Weiß steht klar auf Gewinn: +- (41.08 --) Tiefe: 25/33   00:18:16 13604MN

Ein Gegenversuch mit Crystal mit NNUE unchecked, um irgendwie Chancengleicheit herzustellen, ist nach weiteren 10 Minuten nach GUI- Neustart auch erst in Tiefe 25, das wird also auch nicht die relevante Beschleunigung beim Einzelversuch bringen vermutlich.

Matefish habe ich mit 30 Threads nach ca. einer Stunde in Tiefe 15 abgebrochen, wäre zwar nicht unmöglich, dass er in Tiefe 15 das #11 gefunden hätte, aber die Wahrscheinlichkeit spricht auch hier dagegen.

Das sind halt so die wirklich schweren Matt- Stellungen, wobei man sehr geteilter Meinung sein kann, ob die praxis- relevant ist, einerseits nicht von der Materialverteilung her, andererseits ist das "unnatürliche" an den für und von Menschen konstruierten mate in x- puzzles ja die Reduzierung des Suchbaumes auf Varianten, die der Mensch durch Abstraktion findet, was die Maschine nicht so kann. Wenn ein Programm (wie vor allem Chest und Gustav) da den game players deutlich die Show stiehlt, dann eben weil auch hier die Suchbaum- Beschneidung stark vom game playing abweicht, nur nach Mattbildern gesucht wird und die DTM vorgegeben.

So gesehen ist diese Stellung eigentlich wieder praxis- relevanter als ein cyclic Zugzwang- Mehrzüger, den der Mensch eigentlich umso leichter löst, je länger er ist, weil die Wege dafür umso schmäler sein müssen.
Du weißt, was ich meine.

Zum Schluss noch der Output von Crystal nach etwas flottem Vorwärts- Rückwärts von der und zurück zur Ausgangsstellung (allerdings schon in mehr als eine Sideline hinein und wieder heraus), die Zeit im Output ist jetzt natürlich nur vom letzten Halbzug- Rückschritt gemessen:

2b1kb2/1p3p2/p1ppp1p1/7p/3PPB2/2N2N2/PPP1QPPP/2KR1B1R w - - 0 1

Analysis by Crystal 5 KWK:

8.d5 h4 9.dxe6 Lxe6 10.Txd6 Lxd6 11.Lxd6 Kd7 12.Dd2 f6 13.Lc5+ Ld5 14.Sxd5 cxd5 15.Dxd5+ Kc7 16.Dd6+ Kc8 17.Lb6 h3 18.Dc7#
+- (#11)   Tiefe: 39/21   00:00:22 1560MN
Weiß setzt Matt

Edit, edit: Und auch hier ist weiteres Fortschreiten der Tiefen- Anzeige jetzt nach wie vor eine sehr zähe Angelegenheit, das

2b1kb2/1p3p2/p1ppp1p1/7p/3PPB2/2N2N2/PPP1QPPP/2KR1B1R w - - 0 1

Analysis by Crystal 5 KWK:

8.d5 h4 9.dxe6 Lxe6 10.Txd6 Lxd6 11.Lxd6 Kd7 12.Dd2 f6 13.Lc5+ Ld5 14.Sxd5 cxd5 15.Dxd5+ Kc7 16.Dd6+ Kc8 17.Lb6 h3 18.Dc7#
+- (#11)   Tiefe: 40/21   00:00:58 3357MN
Weiß setzt Matt

ist gute 5 Minuten nach dem vorletzten Kopieren, hier lässt also die nächste Iteration jetzt auch schon immer länger auf sich warten, woher sollen wir also hier wissen, dass die Engine nicht ein noch kürzeres Matt finden könnte bei entsprechend langer Zeit, wenn wir's nicht schon vorher wüssten, weil wir die kürzeste DTM kennen oder zu kennen glauben?
Du weißt, was ich meine

By Jörg Oster Date 2022-11-06 15:32

Wenn schon Matefish, dann kann ich dir nur die aktuelle Entwicklungsversion empfehlen.
In der "übergehe" ich quasi die nicht relevanten Suchtiefen und suche erst ab der gewünschten
Mattsuchstufe (also Matt in x) minus 2 Iterationen.

Soweit ich das vom Output beurteilen kann, macht Chest das so ähnlich.
Wenn also ein Matt in 11 gesucht wird, rechnet Matefish zwar die Iterationen 1 und 3 durch,
springt dann aber gleich zur Tiefe 17. (Für ein Matt in 11 wird eine nominale Suchtiefe von 21 höchstenfalls erforderlich!)

Es ist halt nicht sehr wahrscheinlich, dass wenn man nach einem Matt in 7 sucht, dass dann ein Matt in 2 die Lösung ist ...

P.S. Ich werde dir die aktuelle Dev-Version per PN zukommen lassen.

By Peter Martan Date 2022-11-06 15:34 Edited 2022-11-06 15:38

Danke, Jörg!
Aber ohne voreingenommen sein zu wollen, die Entscheidung zwischen spezialisierter Mattsuche und breiterer (game- playing tauglicher) muss wohl trotz allem oder gerade wegen solcher Stellungen wie dieser einen hier (und den mindestens 7 davor auf dem Weg zu ihr von der ursprünglichen Ausgangsstellung aus, siehe im ersten Antwortposting auf deins in diesem Thread) getroffen werden vom User. Sei's durch Wahl der richtigen Engine, oder optimaler Weise durch ein Setting, sei's eine zuschaltbare MateSearch und oder eine DTM- Option wie im Houdini 4 seinerzeit.

By Jörg Oster Date 2022-11-06 17:06 Edited 2022-11-06 17:08

Peter Martan schrieb:

Gerne.

Es ist genau umgekehrt.
Vor allem die Mattlöser suchen auf jeden Fall breiter.
Nur durch gute Zugsortierung und sichere Cutoffs wird der Suchbaum möglichst stark beschnitten.

"Normale" Engines müssen viel Pruning (vor allem unsicheres) betreiben, um wettbewerbsfähig zu sein.
Das ist ja der Grund, weshalb so viele Matts, und vor allem auch kurzzügige, "übersehen" werden.

Was aber stimmt, ist, dass derzeit noch der Anwender entscheiden muss, wann er was einsetzt.

By Chess Player Date 2022-11-07 18:37

FEN: 2b1kb2/1p3p2/p1ppp1p1/7p/3PPB2/2N2N2/PPP1QPPP/2KR1B1R w - - 0 1

The Huntsman 1 ssse3:
...
34/41+ 5:24:41   16.668.791k 856k +152,65 1.Sc3-d5
34/48 6:16:15   19.352.109k 857k +M18 1.Sc3-d5 Lf8-g7 2.Sf3-g5 b7-b5 3.De2-f3 c6xd5 4.Df3-c3 Ke8-d7 5.e4xd5 Lc8-b7 6.Lf1xb5+ a6xb5 7.d5xe6+ f7xe6 8.Th1-e1 Lb7-d5 9.Dc3-b4 Lg7-f8 10.Db4xb5+ Ld5-c6 11.Db5-b8 Lc6-d5 12.Sg5xe6 Kd7-c6 13.Se6-c5 d6xc5 14.Te1-e6+ Ld5xe6 15.Db8-c7+ Kc6-b5 16.Dc7-b7+ Kb5-a5 17.Lf4-d2+ Ka5-a4 18.Db7-c6+
35/43 6:34:36   20.306.441k 858k +M16 1.Sc3-d5 Lf8-g7 2.Sf3-g5 e6-e5 3.Sd5-f6+ Lg7xf6 4.d4xe5 d6xe5 5.De2-c4 Lc8-e6 6.Dc4-b4 Le6-d5 7.Db4-d6 Lf6-e7 8.Dd6-b8+ Ke8-d7 9.Db8xb7+ Kd7-e8 10.Db7-b8+ Ke8-d7 11.e4xd5 c6-c5 12.Sg5-e6 f7xe6 13.Db8-b7+ Kd7-e8 14.d5xe6 e5xf4 15.Db7-c8+ Le7-d8 16.Dc8xd8+
36/42 6:47:07   20.951.793k 858k +M15 1.Sc3-d5 Lf8-g7 2.Sf3-g5 Ke8-d7 3.De2-d2 c6xd5 4.Dd2-a5 Lg7-f6 5.e4xd5 Lf6-e7 6.Da5-b6 h5-h4 7.d5xe6+ f7xe6 8.Lf1-d3 e6-e5 9.d4xe5 Kd7-e8 10.Ld3xg6+ Ke8-f8 11.Db6-b3 d6-d5 12.Db3xd5 Lc8-e6 13.Sg5xe6+ Kf8-g8 14.Dd5-d8+ Le7xd8 15.Td1xd8+

Matefish 2.0 clang++:
???

Crystal 5 KWK:

...
22/33 01:45   89.191k 847k +30,88 1.d4-d5 e6-e5 2.Sf3xe5 c6-c5 3.Se5-c4 f7-f6 4.Lf4xd6 Lf8xd6 5.Sc4-b6 Ld6-f4+ 6.Kc1-b1 Lc8-d7 7.Sb6xd7 Ke8xd7 8.Sc3-a4 Lf4xh2 9.De2-f3 Lh2-e5 10.Sa4xc5+ Kd7-c7
23/35 03:42   191.615k 862k +33,16 1.d4-d5 Lf8-e7 2.d5xc6 b7xc6 3.De2-c4 Lc8-d7 4.Dc4xa6 f7-f6 5.Da6-a8+ Ke8-f7 6.Lf4-h6 Ld7-c8 7.Da8xc6 g6-g5 8.Dc6xc8 d6-d5 9.Lh6xg5 d5xe4
24/36 08:43   451.931k 864k +35,04 1.d4-d5 Lc8-d7 2.d5xc6 Ld7xc6 3.De2-d3 Lc6-d5 4.e4xd5 e6-e5 5.Dd3-c4 Ke8-d8 6.Dc4-b4 Kd8-c8 7.Db4-b6 f7-f6 8.Lf4-g5 Lf8-h6 9.Kc1-b1 Lh6-f8 10.Lg5xf6 Lf8-e7 11.Lf6xe7 Kc8-b8 12.Db6xb7+ Kb8xb7
25/39 19:06   978.490k 854k +37,48 1.d4-d5 Lf8-e7 2.d5xc6 Ke8-f8 3.c6xb7 Lc8xb7 4.De2-e3 Lb7-c8 5.De3-a7 g6-g5 6.Lf4xg5 f7-f6 7.Da7-c7 Kf8-f7 8.Dc7xc8 Le7-f8 9.Dc8-c7+ Kf7-g6 10.Sf3-h4+ Kg6xg5 11.Sh4-f3+ Kg5-g6 12.Lf1xa6
26/36+ 45:29   2.369.056k 868k +53,99 1.d4-d5
26/36+ 1:05:31   3.208.611k 816k +54,03 1.d4-d5
26/36+ 6:00:02   15.167.713k 702k +66,85 1.d4-d5