Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / weitere Entwicklung des "herkömmlichen" Stockfish eingestellt?
- - By Benno Hartwig Date 2020-07-30 10:51 Upvotes 1
Ist die "herkömmliche" Stockfish-Entwicklung eigentlich eingestellt?
Oder pausiert sie gerade nur?

Die Seite der Development-Versionen
https://abrok.eu/stockfish/
hat die Version vom 17.7.2020 als neueste Version im Angebot.

Dafür wird hier aber verlinkt auf
https://abrok.eu/stockfish-nnue/
wo mit wunderbarer Regelmäßigkeit neue NNUE-Fassungen angeboten werden, augenblicklich die letzte vom 28.7.2020 um 20:08.
Parent - - By Heinz Hagenstein Date 2020-07-30 11:32
Auf der Stockfish Seite ist ein Link, goto Stockfish NNUE builds, dort geht es normal weiter.

Gruß Heinz
Parent - - By Thorsten Czub Date 2020-07-30 12:26
Naja dieser neuronale Stockfish spielt ja stärker und könnte die Krone die der 11er verloren hat zurückholen.
Parent - - By Benno Hartwig Date 2020-07-30 16:07
Hat schon jemand eine Vorstellung davon, wie die Abrok-Executables und die Sergio-Executables zueinander stehen?
Signifikante Unterschiede (bei gleicher nn.bin)?
Parent - - By Thomas Plaschke Date 2020-07-30 19:59

>Hat schon jemand eine Vorstellung davon, wie die Abrok-Executables und die Sergio-Executables zueinander stehen?


Sergio liefert nur die Netze. - Oder irre ich mich da?

>Signifikante Unterschiede (bei gleicher nn.bin)?


Ich habe die künftige Stockfish-Version (work-in-progress = WIP), die Roman Korba anbietet, mit der Stockfish-NNUE-190720 und identischem Netz getestet.
Hier mit den HERT-250-Eröffnungen (TC 60+0.6):
Code:
    Program                          Elo    +   -   Games   Score   Av.Op.  Draws

  1 SF-NNUE-200728-0207            : 3002   11  11   500    50.6 %   2998   86.4 %
  2 SF-NNUE-WIP-200728-0207        : 2998   11  11   500    49.4 %   3002   86.4 %

(37:31 Siege)


und hier mit den SALC_V5_fc_8m_500-Eröffnungen:
Code:
  1 SF-NNUE-200728-0207            : 3005   12  12  1000    51.4 %   2995   69.7 %
  2 SF-NNUE-WIP-200728-0207        : 2995   12  12  1000    48.5 %   3005   69.7 %

(166:137 Siege)

Ich würde mal sagen, das Stockfish-Team ist auf einem guten Weg. - Der Stockfish-Quellcode ist schon recht gut gepflegt - allein schon von der Zahl der Compiler-Warnungen her . Weiter so!

Viele Grüße
Th. Plaschke
Parent - - By Benno Hartwig Date 2020-07-30 20:14

>>Hat schon jemand eine Vorstellung davon, wie die Abrok-Executables und die Sergio-Executables zueinander stehen?
> Sergio liefert nur die Netze. - Oder irre ich mich da?


Sorry, ja, da schrieb ich es falsch. Gemeint hatte ich:
Hat schon jemand eine Vorstellung davon, wie die Abrok-Executables und die FireFather-Executables zueinander stehen?
Parent - - By Thomas Plaschke Date 2020-07-31 18:46
Ich habe Firefather gegen die SF-WIP und die nodchip-Version spielen lassen. Alle mit demselben Netz. Außerdem TC 60+0.6 und Eröffn.: SALC_V5_fc_8m_500.
Code:
    Program                          Elo    +   -   Games   Score   Av.Op.  Draws

  1 SF-NNUE-200728-0207            : 3003   12  12  1000    50.4 %   3000   69.4 %
  2 SF-FF-290720-200728-0207       : 3000    9   9  2000    50.1 %   3000   68.7 %
  3 SF-NNUE-WIP-200728-0207        : 2996   12  12  1000    49.5 %   3000   67.9 %

Ich sehe keinen besonderen Unterschied.

Viele Grüße
Th. Plaschke
Parent - - By Benno Hartwig Date 2020-07-31 20:03
Sowas!
Nachdem ich eine Weile betrachtete, wie FireFather-Kompilate den zu jenem Zeitpunkt letzten "herkömmlichen" Stockfish (Stockfish_20071720_x64_bmi2)
Quelle: https://abrok.eu/stockfish/
an die Wand spielten, bei kurzen Zeiten mit einer sehr deutlichen Quote von 60% bis 65 %,

wollte ich jetzt sehen, was der letzte StockfishNNUE "Stockfish_20072905_x64_avx2" so leistet.
Quelle: https://abrok.eu/stockfish-nnue/

Bislang (nach 75 Partien) hat sich der neue SF überhaupt nicht absetzen können (38.0 zu 37.0)
Hast du auch solch ein Kompilat getestet, oder meintest du was ganz anderes?
(oder setze ich den NNUE-Stockfish ggf einfach falsch ein
Parent - - By Peter Martan Date 2020-07-31 20:09
Jetzt versteh ich dich aber vollends nicht mehr, Benno.
Du hast zuerst Fire-Father SF NNUE- Compile gegen SF dev. getestet und wunderst dich jetzt, dass SF NNUE abrok- Compile sich gegen das nur ein paar Tage ältere SF- NNUE- Compile nicht gleichermaßen deutlich absetzt?
Beim selben Netz?
Auf was hinauf?
Hättest du ein SF- Firefather- SF dev.- Compile (ohne NNUE- Netz) gegen ein abrok- Compile von SF dev. ohne NNUE- Netz gegeneinander getestet, hättest du dir ein ähnliche Absetzung erwartet wie von SF NNUE gegen SF dev. ohne NNUE?
Parent - - By Benno Hartwig Date 2020-08-01 06:31 Edited 2020-08-01 06:36
Wurde ich vielleicht missverstanden?

1.Test:
FireFather vs. Sockfish-Dev-17.7.
Ergebnis: sehr großer Spielstärkevorteil für FireFather

2.Test
StockfishNNUE vs. Sockfish-Dev-17.7.
(also die "offiziele Stockfish-NNUE-Linie)
Ergebnis: allenfalls sehr moderate Verbesserung ggü. dem 17.7. und damit sehr deutlich "schwächer" als FireFather.

Ja, es mag meine Erwartung daneben gewesen sein. Aber ich hatte erhofft, dass StockfishNNEU auf NNUE-Nutzung umgestellt sei und nun zumindest in ähnlichen Spielstärke-Bereichen liegen könnte, wie die FireFather-Kompilate. Aber das ist wohl einfach nicht so.
Parent - - By Peter Martan Date 2020-08-01 09:33 Edited 2020-08-01 09:37
Ein langes Posting wieder gelöscht, bei dem ich immer noch fälschlich davon ausging, dass du dich auf den Test von Thomas bezogen hättest, auf dessen Posting du geantwortet hattest.
Dass du einen eigenen Test mit 75 Partien gemacht hattest, hab' ich jetzt erst gelesen.
Gegen welchen SF non NNUE du dabei hast spielen lassen, steht dort aber nicht ausdrücklich. Wahrscheinlich denselben wie Thomas?
Zitat:
"herkömmlichen" (Stockfish_20071720_x64_bmi2)
?
Hast du schon gelesen, was Detlev über die Pfadangaben beim SFNNUE abrok schreibt?

https://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=133445#pid133445

Wusste ich auch noch nicht, hab' noch keinen NNUE von abrok runtergeladen.
Parent - By Benno Hartwig Date 2020-08-01 10:06 Edited 2020-08-01 10:14

> Hast du schon gelesen,...


Ups, Thanx, ne, hatte ich nicht, bin ohne Anleitung an die Sache rangegangen. (Gibt's irgendwo eine abrok-sf-NNUE-Anleitung?)
Ich hatte einfach auch hier ein eval-Verzeichnis angelegt und die nn.bin hineingelegt.
abrok-SfNNUE zeigte dann auch ein Spiel ähnlich wie bisher mit sehr plausiblen Zugbewertungen.
Da dachte ich, dass läuft jetzt korrekt so.
Mal genau ansehen, was Detlev schrieb, und was das ggf. verändert...

PS:
Oh, peinlich, das hatte ich falsch konfiguriert beim abrok-SfNNUE.
Ich wiederhole meinen Testlauf...

PPS:
...und nun erhalte ich zumindest schon mal nodes/sek-Werte, wie sie bei NNUE-Nutzung zu erwarten sind:
Gut halb so groß wie beim "alten" Stockfish.
Parent - By Thomas Plaschke Date 2020-08-01 12:17

>Hast du schon gelesen, was Detlev über die Pfadangaben beim SFNNUE abrok schreibt?
>[...]


Das entspricht nicht meinen Erfahrungen. In Cutechess übergebe ich den vollständigen (absoluten) Pfad und Namen der Netzdatei. Bei mir heißen die auch nich nn.bin, sondern so, wie sie auf Sergios Webseite benannt sind (xyz.bin).
Das funktioniert. Ich habe es unter der Arena-Oberfläche kontrolliert:
Im Engine-Ausgabefenster liest man:
Code:
13140 <first : Error! nn-c157e0a5755b.nnue not found or wrong format
13187 <first : info string NNUE E:\NNUE\20200728-2138.bin found & loaded
Die erste Zeile meldet, dass ein Netz mit dem Standardvorgabenamen nn-c157e0a5755b.nnue für EvalFile nicht gefunden wurde. Die zweite Zeile ist die Bestätigung, dass der Parameter EvalFile mit dem Pfad zu einer gültigen Netzdatei gefunden wurde.

Eine Ergänzung zu den Tests weiter oben im Thread.
Ich habe aus dem aktuellen Quelltext von Stockfish-NNUE-WIP auch eine lauffähige Version mit Microsofts VS19-Compiler herstellen können.
Ebenfalls TC 60+0.6 und Eröffn.: SALC_V5_fc_8m_500 im Spießrutenlauf. Alle mit identischem Netz.
Code:
    Program                          Elo    +   -   Games   Score   Av.Op.  Draws

  1 SF-FF-290720-200728-0207       : 3011   12  12  1000    52.8 %   2992   68.5 %
  2 SF-NNUE-WIP-200728-0207        : 3005   12  12  1000    51.9 %   2992   69.9 %
  3 SF-NNUE-WIP[VC19]-200728-0207  : 2992    8   8  2000    47.6 %   3008   69.2 %
Die leicht geringere Spielstärke für ich auf die etwas niedrigere Rechenleistung der VC19-Compilate zurück. Bei Stockfish A/B waren das meistens um die 10-15 %.

Viele Grüße
Th. Plaschke
Parent - By Thomas Plaschke Date 2020-07-31 20:56
Von nodchipNNUE- und FireFather-Quellcodes bekomme ich noch keine sauber funktionierende Programmdateien zustande. Der Stockfish-Quellcode ist in dieser Hinsicht schon besser gepflegt. Mit dem klappt's. Das SF-Team beeindruckt mich wieder mal sehr! Ich habe deswegen die exen aus dem Internet nehmen müssen. Die Spielstärke Der Programme kommt bei meinem Test aber aus dem NN. Peter hat das schon richtig dargestellt. "Use NNUE" war, wo möglich, gesetzt.

Viele Grüße
Th. Plaschke
Parent - - By Andreas Matthies Date 2020-08-01 10:54 Edited 2020-08-01 11:24
Hallo Benno.

Die SF Programmierer bauen mit Unterstützung des NNUE-Entwicklers (Github Pseudonym nodchip) die NNUE-Evaluierung gerade in den offiziellen SF-Zweig ein. Siehe https://github.com/official-stockfish/Stockfish/issues/2823 und https://github.com/official-stockfish/Stockfish/issues/2728
SF wird dann zwei alternative Bewertungen haben, die "traditionelle" und die NNUE-Variante, aus denen der Benutzer dann wohl per UCI-Option auswählen kann.
Abrok hat im Moment halt selten neue Binaries, weil es wenig Patche in den SF schaffen, die sind halt mit der NNUE-Integration beschäftigt.

Ich würde ein wenig geduldig sein und dann dieser "offiziellen" Version vertrauen. Im Moment wird da viel halbgares (wenn auch natürlich sehr starkes) Zeugs verbreitet. FireFather ist ja niemand anderes als der Fire-Entwickler, der wohl auch nur die fertigen Quellen von nodchip genommen, etwas Nutzerfreundlichkeit und ein paar optimierende Compileroptionen hinzugefügt hat. Und dieser ShashChess-"Entwickler" hat gerade ein ShashChess NNUE 1.0 und kurz darauf 1.1 veröffentlicht, in dem der NNUE-Teil, wenn ich es richtig überblicke, zu 100% von anderen Entwicklern / Netz-Anlernern stammt. Seine Motivation, die "Alexander Shashin theory" in der Engine einzubauen, ist also aus dem Bewertungsteil komplett verschwunden und nur noch in einigen wenigen (und fragwürdigen) Modifikationen der Suche zu finden. Ist sicherlich nicht illegal, aber aus meiner Sicht sollte sich der Typ was schämen. Trittbrettfahrer...

Grüße, Andreas
Parent - - By Peter Martan Date 2020-08-01 11:18 Edited 2020-08-01 11:31
Andreas Matthies schrieb:

Und dieser SashChess-"Entwickler" hat gerade ein SashChess NNUE 1.0 und kurz darauf 1.1 veröffentlicht, in dem der NNUE-Teil, wenn ich es richtig überblicke, zu 100% von anderen Entwicklern / Netz-Anlernern stammt. Seine Motivation, die "Alexander Shashin theory" in der Engine einzubauen, ist also aus dem Bewertungsteil komplett verschwunden und nur noch in einigen wenigen (und fragwürdigen) Modifikationen der Suche zu finden. Ist sicherlich nicht illegal, aber aus meiner Sicht sollte sich der Typ was schämen. Trittbrettfahrer...

So sehe ich das mit Andrea Manzo, der ShashChess und BrainLearn schon viele Monate lang laufend aktualisiert, überhaupt nicht.

Man mag von der Shashin Theorie halten, was man will, ShashChess war aber immer schon ein taktisch besonders interessanter SF- Branch, (schau dir z.B. an, was Vincent Lejeune an Resultaten an seinem Hard Talkchess Testset für Resultate hat.

http://talkchess.com/forum3/viewtopic.php?p=851817#p851817

Dass Manzo jetzt auch den "NNUE- Teil" übernommen hat, kann man ihm ebensowenig anlasten, wie allen Anderen, die schon länger SF- Derivate unter GPL mit Quellcode veröffentlichen und jetzt überhaupt schon so weit sind, ihre eigenen Versionen aufzurüsten. Eigentlich kenne ich da momentan außer Manzo nur Michael Byrne mit seinem Honey NNUE, und ich finde halt beide Branches des Runterladens und Testens wert.

Für mich noch wichtiger: Andrea Manzo war mit Marco Zerbinati gemeinsam einer der Ersten, die das Hash- Learning in Stockfish wiederbelebt haben, nachdem der SF PA (persistent analysis) von Jeremy Bernstein nicht mehr weiter bearbeitet wurde. Kelly Kiniama hat einen Code veröffentlicht, der "Experience"- Files aus Hasheinträgen von SF abspeichert, dass das Zerbinati anfangs auch "NN" nannte bei seinem SugaR, war vielleicht ein unglücklich gewählter Ausdruck, aber außer ihm und Manzo hat sich dann nur noch Kahlid Omar dieses Features angenommen.

Wen das nicht interessiert, der soll es ignorieren, ich finde es ein ebenso interessante Entwicklung wie die aller anderen Lernfiles von Engines, die ja mit Shredder (bis 12) Hiarcs (immer noch) Houdini (bis 4)  durchaus viel Entwicklungsgeschichte haben.

SF PA war die erste GPL- Engine mit Stellungslernen, BrainLearn und ShashChess haben diesbezüglich für mich auch schon viel Fortschritt gemacht, dass ich Eman und jetzt Enigma auch nach wie vor für sehr interessante Entwicklungen halte, liegt für mich auch an den Experience- Files, und wenn man sich auf der einen Seite darüber aufregt, dass Khalid Omar den Eman- Code nicht veröffentlicht, sollte man auf der anderen Seite nicht auch noch auf einen derjenigen Programmierer schimpfen, die eine so interessante Entwicklung bearbeiten und den Usern (in seinem Fall eben auch noch gemeinsam mit den Sourcen) gratis anbieten.
Parent - - By Andreas Matthies Date 2020-08-01 11:49
Peter Martan schrieb:

Andreas Matthies schrieb:

Und dieser SashChess-"Entwickler" hat gerade ein SashChess NNUE 1.0 und kurz darauf 1.1 veröffentlicht, in dem der NNUE-Teil, wenn ich es richtig überblicke, zu 100% von anderen Entwicklern / Netz-Anlernern stammt. Seine Motivation, die "Alexander Shashin theory" in der Engine einzubauen, ist also aus dem Bewertungsteil komplett verschwunden und nur noch in einigen wenigen (und fragwürdigen) Modifikationen der Suche zu finden. Ist sicherlich nicht illegal, aber aus meiner Sicht sollte sich der Typ was schämen. Trittbrettfahrer...

So sehe ich das mit Andrea Manzo, der ShashChess und BrainLearn schon viele Monate lang laufend aktualisiert, überhaupt nicht.

Man mag von der Shashin Theorie halten, was man will, ShashChess war aber immer schon ein taktisch besonders interessanter SF- Branch, (schau dir z.B. an, was Vincent Lejeune an Resultaten an seinem Hard Talkchess Testset für Resultate hat.

<a class='ura' href='http://talkchess.com/forum3/viewtopic.php?p=851817#p851817'>http://talkchess.com/forum3/viewtopic.php?p=851817#p851817</a>


Diese Liste mit den Lösungen der Testpositionen beweist doch eher das Gegenteil von "besonders interessanter SF-Branch".
Original SF Version vom 27.6.20: 153 Lösungen
Shash 12.1 (veröffentlicht am 6.7.20, enthält also ggf. noch einige Patche aus dem SF nach dem 27.6.): 154 Lösungen

Näher dran am Original geht ja schon gar nicht mehr.

Mich würde interessieren, wann der Kollege zuletzt eigene Ideen in den Code eingebaut hat und nicht nur die Patche der SF-Entwickler übernommen.

Das mit den Zusatzfunktionen Learningfile etc. ... schön und gut aber deine Probleme, die du in http://talkchess.com/forum3/viewtopic.php?f=2&t=68093&start=150 beschreibst, zeigen ja auch, dass die NNUE Version ein Schnellschuss ist, der nichts mit der Originalidee der Engine zu tun hat. Hier geht es wahrscheinlich um schnelles "releasen", um in Ranglisten etc. vielleicht kurz auf den ersten Platz hüpfen, bevor die eigentlichen kreativen Köpfe, die sich die nötige Zeit nehmen, das Zepter übernehmen.
Parent - - By Peter Martan Date 2020-08-01 12:59 Edited 2020-08-01 13:43
Andreas Matthies schrieb:

Das mit den Zusatzfunktionen Learningfile etc. ... schön und gut aber deine Probleme, die du in <a class='ura' href='http://talkchess.com/forum3/viewtopic.php?f=2&t=68093&start=150'>http://talkchess.com/forum3/viewtopic.php?f=2&t=68093&start=150</a> beschreibst, zeigen ja auch, dass die NNUE Version ein Schnellschuss ist, der nichts mit der Originalidee der Engine zu tun hat. Hier geht es wahrscheinlich um schnelles "releasen", um in Ranglisten etc. vielleicht kurz auf den ersten Platz hüpfen, bevor die eigentlichen kreativen Köpfe, die sich die nötige Zeit nehmen, das Zepter übernehmen.

Meine "Probleme" waren nur Rückmeldungen, dass nicht sofort immer alles gleich ganz so funktionierte, wie es sollte.
Im zweiten Posting von oben hatte ich zur Fehlermeldung übers sse4.2- compile dazu geschrieben, dass das sse3- popcnt korrekt läuft.

Natürlich ist die Originalidee von ShashChess nicht das NNUE gewesen, aber von SF selbst ja wohl auch nicht.
Ehrlich gesagt hatte ich mir die jüngsten Ergebnisse von Lejeune noch gar nicht wirklich angeschaut, wusste aber noch, dass ShashChess immerhin von Vincent als eigenständig genug angesehen wurde und wird, die Entwicklung auch zu verfolgen.
Um in Ranglisten auf erste Plätze hüpfen zu können, müssen Branches überhaupt erst mal getestet werden, dass die größeren Ranglisten da viel zu tun hätten (haben sie in Zeiten wie diesen wohl ohnehin auch so genug) wenn sie jeden der vielen SF- Zweige mit testen würden, ist ja klar und mir auch überhaupt kein Anliegen.

Auch Testsuites bilden natürlich immer nur das ab, was sie an Stellungen enthalten, und alles andere ist natürlich erst recht Ansichts- und Geschmackssache.
Würden Ranglisten Lernfiles beim Testen zulassen, wäre die Übertragbarkeit von Elo aus verschiedenen Testumgebungen vollends beim Teufel (ist sie eh jetzt allerdings auch schon, also so what), aber wenn wochenlang trainierte Netze in die gemessene Performance als alleiniges Unterscheidungsmerkmal eingehen, könnte man eigentlich genau so gut auch trainierte Experience- Files zum Leistungsvergleich gelten lassen, so lange sie nicht während des Spiels weiter lernten, etwas, was sie hingegen als einzige so leicht zu aktualisierende Lernwerte so einfach abspeichern und wieder aufrufen können.

Ich schaue auf Ranglisten und Stellungstests schon auch, aber was für mich wirklich zählt, ist die Performance einer Engine in der Analyse einer bestimmten einzelnen Fernpartie, und da haben schon vor den NNs die Lernfiles gute Dienste geleistet, und was ich so an der kurzen Zeit der NNUE- Entwicklung sehe (LC0- Netze sind dazu nicht so tauglich, weil das Hashlernen dafür fehlt), sind die experience- files damit auch noch einmal einen Schritt effektiver geworden.

Das war noch vor ShashChess NNUE:

http://talkchess.com/forum3/viewtopic.php?p=851789#p851789

Weiß schon, dass das Sachen sind, die immer nur ganz wenige Einzelne interessieren, mich halt schon.
Z.B. das "full depth threads"- UCI- Feature von ShashChess hat durchaus auch was, da wird für die eingestellte Anzahl an Threads eine fast- brute- force- Suche neben der normalen veranstaltet.
Und ja, es geht mir bei alledem jeweils primär um einzelne Stellungen, aber aus solchen besteht Schach nun mal ausschließlich.
Parent - - By Andreas Matthies Date 2020-08-01 14:31
Peter Martan schrieb:

Natürlich ist die Originalidee von ShashChess nicht das NNUE gewesen, aber von SF selbst ja wohl auch nicht.

Naja, was heisst "von SF". Hinter dieser Software stehen ja eine ganze Reihe von Entwicklern.
Der Erfinder der NNUE-Version nodchip hatte den Original-SF inkl. dessen sehr starker Suchfunktion genommen und ihm eine neue Evaluierung auf Basis von NN verpasst. Ursprünglich ging es ja auch gar nicht um Schach sondern um die Variante Shogi.
Jetzt bauen die Entwickler des SF diese neue Evaluierungsvariante mit ausdrücklicher Zustimmung und mit Unterstützung von nodchip in den Original-SF ein. nodchip hat außerdem angekündigt, seinen eigenen Entwicklungszweig nicht mehr weiter zu entwickeln und ist für mich damit jetzt automatisch ebenfalls einer der SF-Entwickler. Das ist meiner Meinung nach vorbildliche Kooperation von Entwicklern freier Software.

Peter Martan schrieb:

Um in Ranglisten auf erste Plätze hüpfen zu können, müssen Branches überhaupt erst mal getestet werden, dass die größeren Ranglisten da viel zu tun hätten (haben sie in Zeiten wie diesen wohl ohnehin auch so genug) wenn sie jeden der vielen SF- Zweige mit testen würden, ist ja klar und mir auch überhaupt kein Anliegen.


Vielleicht erklärt der Blick auf den aktuellen Stand von Grahams Division1, warum ich etwas angefressen bin 
Code:
RANK   ENGINE                                    GAMES  POINTS   1  2  3  4  5  6  7  8  9  10 11 12
-------------------------------------------------------------------------------------------------------
   1.   STOCKFISH+NNUE 150720 64-BIT                19    15.5    ** 1= == 1= 11 1= =1 1. 1. 1. 11 1=
   2.   SUGAR XPRO NN 1.0 64-BIT                    19    13.5    0= ** == == =. =. 1. 11 1= 11 1= 11
   3.   SHASHCHESS NNUE 1.0 64-BIT                  19    12.0    == == ** =. == == =1 1. 1. 1= == =1
...
  12.   RUBICHESS 1.7.3 64-BIT                      19     6.0    0= 00 =0 =0 == 0. =. 0= 0= == 1. **
Parent - - By Peter Martan Date 2020-08-01 21:07 Edited 2020-08-01 21:43
Andreas Matthies schrieb:

Vielleicht erklärt der Blick auf den aktuellen Stand von Grahams Division1, warum ich etwas angefressen bin 
Code:
RANK   ENGINE                                    GAMES  POINTS   1  2  3  4  5  6  7  8  9  10 11 12
-------------------------------------------------------------------------------------------------------
   1.   STOCKFISH+NNUE 150720 64-BIT                19    15.5    ** 1= == 1= 11 1= =1 1. 1. 1. 11 1=
   2.   SUGAR XPRO NN 1.0 64-BIT                    19    13.5    0= ** == == =. =. 1. 11 1= 11 1= 11
   3.   SHASHCHESS NNUE 1.0 64-BIT                  19    12.0    == == ** =. == == =1 1. 1. 1= == =1
...
  12.   RUBICHESS 1.7.3 64-BIT                      19     6.0    0= 00 =0 =0 == 0. =. 0= 0= == 1. **


Einerseits verstehe ich jetzt besser, und wenn's das ist, was du meinst, ist es natürlich für mich keine Frage, dass die "Erfindungshöhe" von NNUE eine andere ist als die von ShashChess, dafür steckt in dem doch auch schon einiges an Zeitleistung drin, finde ich, und mich interessiert halt immer gleich, was ein etwas anderer Code,  ein etwas anderes Suchparameter- Setting mit anderen Evals gemeinsam bringt. Stellungslernen gemeinsam mit NNUE- Eval interessiert mich sowieso auch.

Und wenn du jetzt schon angefressen bist, wenn die wenigen NNUE- Engines, die's bisher gibt (SugaR "NN" ist halt etwas irreführend) gegeneinander getestet werden, dann wirst du's in Zukunft einfach schwer haben, dich nicht ständig aufs Neue über einzelne Tester zu ärgern, fürchte ich. Eigentlich sehe ich keinen zwingenden Grund darin, dass Graham auch an ShashChess interessiert ist, sich darüber aufzuregen, es ist halt leichter, CPU- Engines gegeneinander spielen zu lassen, als einen Mix mit GPU- basierten mit der geteilten Hardware-Zeit in eine entsprechende Partiezahl umzusetzen.

Das Hauptproblem beim Testen wird meiner Meinung nach jetzt noch mehr als bisher sowieso sein, zu unterscheiden, was an Performance den Code- Änderungen oder den Netzen zugeordnet werden kann oder den möglichen Kombinationen aus beidem und das gegen verschiedene mögliche Gegnerschaften auf verschiedener Hardware, teilweise CPU und teilweise GPU- basiert, sofern sie überhaupt statistisch gesichert werden kann (die Performance) mit halbwegs vernünftigen Eröffnungen und halbwegs vernünftigen TCs, ohne dem Remistod noch viel größere Partiemengen opfern zu müssen.

Nodchip im SF- Entwicklerteam zu wissen, macht viel Hoffnung auf Weiteres. Danke für die Infos!
Parent - - By Andreas Matthies Date 2020-08-07 10:13
Der Merge der NNUE in den offiziellen SF-Zweig ist jetzt abgeschlossen https://groups.google.com/forum/?fromgroups=#!topic/fishcooking/Kzw1W_Yr1d8
Ich würde also ab jetzt immer auf die offizielle Version setzen. Es werden im Fishtest aktuell auch schon neuere / bessere Netze getestet und vermutlich dann auch demnächst als Default-Netz bereitgestellt:
https://tests.stockfishchess.org/tests/view/5f2d00b461e3b6af64881f21

Und für meinen kleinen Motor hat sich die Lage auch verbessert    Alles wird gut!

Code:

RANK   ENGINE                                    GAMES  POINTS   1    2    3    4    5    6    7    8    9    10   11   12  
-------------------------------------------------------------------------------------------------------------------------------
   1.   STOCKFISH+NNUE 150720 64-BIT                38    31.0    **** 1==. ==== 1==. 1==1 1111 111. =1=1 1=1. 1=1. 111. 1111
   2.   SUGAR XPRO NN 1.0 64-BIT                    38    28.0    0==. **** ===. ===1 ===. ==1. 1==1 111. 11=1 111= 111. 1=11
   3.   SHASHCHESS NNUE 1.0 64-BIT                  38    25.5    ==== ===. **** ===. ==== ==11 1==. =11. 1=1. =11. 1==1 ==11
...
  10.   RUBICHESS 1.7.3 64-BIT                      38    14.0    0=0. 000= =00. =0== 0=1. ===. 0==0 =10. 0=0= **** ==== 1=1.
  11.   DEFENCHESS 2.2 64-BIT                       38    13.5    000. 000. 0==0 0==. ==0= ==== 1==. 00== ===. ==== **** ===.
  12.   ROC 1.7 64-BIT                              38    11.5    0000 0=00 ==00 00== ==0. ==0= =01. =10. ===. 0=0. ===. ****
Parent - By Peter Martan Date 2020-08-07 12:53
Andreas Matthies schrieb:

Und für meinen kleinen Motor hat sich die Lage auch verbessert    Alles wird gut!

Ach Gott, Andreas, Rubichess, natürlich, hatte ich auch schon wieder vergessen, obwohl dich im anderen Thread Wolfgang Battig noch drauf angesprochen hatte.

Go Rubichess, go!


Danke wieder für die Infos.
Parent - - By Peter Martan Date 2020-08-08 08:59 Edited 2020-08-08 09:03
Übrigens, weil's mir ja immer wieder um einzelne Stellungen geht, in dieser nr. 146 aus dem HTC von Lejeune schlägt Rubichess SF NNUE dev. bei mir auf 12x3Ghz mit 8G Hash, jedenfalls bei einzelnen Versuchen:



Analysis by RubiChess 1.7.3 (TCEC S18) Popcnt:

Code:
1.c3 Sxa2+ 2.Kb1 h6 3.Kxa2 hxg5 4.hxg5+ Kg8 5.Kb1
  -+  (-2.36)   Tiefe: 7/10   00:00:00  18kN
1.c3 Sc6 2.Kb1 h6 3.Sf3 b4 4.cxb4 Sxb4
  -+  (-2.89)   Tiefe: 8/10   00:00:00  46kN
1.a3 Sc6 2.Kb1 h6 3.Sf3 b4 4.axb4 Sxb4 5.h5
  -+  (-2.88)   Tiefe: 9/14   00:00:00  172kN
1.c3 Sxa2+ 2.Kb1 Sxc3+ 3.bxc3 h6 4.Sf3 Lb7 5.h5 Le4+ 6.Ka1 Kg8 7.Sg6 Lxf3 8.gxf3
  -+  (-2.71)   Tiefe: 10/16   00:00:00  215kN
1.c3 Sd5 2.Sxd5 exd5 3.Txd5 Dc6 4.Thd1 h6 5.Sf3 Le6 6.c4
  -+  (-3.00)   Tiefe: 11/16   00:00:00  564kN
1.c3 Sd5 2.Sxd5 exd5 3.Txd5 Dc6 4.Thd1 h6 5.e6 hxg5 6.e7 Lxe7 7.Dxe7
  -+  (-3.09)   Tiefe: 12/16   00:00:00  802kN
1.c3 Sd5 2.Sxd5 exd5 3.Txd5 Dc6 4.Thd1 a3 5.b3 Lb4 6.c4 bxc4 7.bxc4 h6
  -+  (-2.75)   Tiefe: 13/18   00:00:00  1130kN
1.a3 Sd5 2.Sxd5 exd5 3.Txd5 Dc6 4.Thd1 h6 5.e6 hxg5 6.e7 Lxe7 7.Dxe7 Le6
  -+  (-3.14)   Tiefe: 14/18   00:00:00  1441kN
1.a3 Sd5 2.Sxd5 exd5 3.Txd5 Dc6 4.Df3 Le7 5.Dh5 h6 6.Thd1 Kg8 7.Sf3 Lc5 8.Td8 Lxf2
  -+  (-2.87)   Tiefe: 15/18   00:00:00  2582kN
1.a3 Sd5 2.Sxd5 exd5 3.Txd5 Dc6 4.Df3 Le7 5.Thd1 h6 6.Td8 Dxf3 7.Txf8+ Lxf8 8.Sxf3 Le7 9.Sd4 Lxh4 10.Sxb5 Lxf2 11.Sxc7
  -+  (-2.81)   Tiefe: 16/22   00:00:00  2781kN
1.a3 Sd5 2.Sxd5 exd5 3.Txd5 Dc6 4.Thd1 h6 5.e6 Le7 6.Sf7+ Kg8 7.Se5 Dxe6 8.Dxb5 Lxh4 9.De2 Lf6
  -+  (-2.84)   Tiefe: 17/22   00:00:00  4458kN
1.a3 Sd5 2.Sxd5 exd5 3.Txd5 Le7 4.Td3 h6 5.Sh3 Le6 6.Tc3 b4 7.axb4 Lxb4 8.Txc7 La5 9.Tb7 Ld5
  -+  (-3.13)   Tiefe: 18/23   00:00:01  8941kN
1.a3 Sd5 2.Sxd5 exd5 3.Txd5 Le7 4.Thd1 h6 5.Sf3 c6 6.T5d2 Le6 7.Sd4 Lxh4 8.Sxe6 Dxe6 9.Td7 Lg5+ 10.Kb1 Dc4
  -+  (-3.09)   Tiefe: 19/25   00:00:01  10843kN
1.a3 Sd5 2.Sxd5 exd5 3.Txd5 Le7 4.Thd1 h6 5.Sf3 c6 6.T5d2 Le6 7.Sd4 Lxh4 8.Sxe6 Dxe6 9.Td7 Lg5+ 10.Kb1 Dc4
  -+  (-3.25 --)   Tiefe: 20/27   00:00:01  16465kN
1.a3 Sd5 2.Sxd5 exd5 3.Txd5 Le7 4.Thd1 h6 5.Sf3 c6 6.T5d2 Le6 7.Sd4 Lxh4 8.Sxe6 Dxe6 9.Td7 Lg5+ 10.Kb1 Dc4
  -+  (-3.37 --)   Tiefe: 20/27   00:00:01  21625kN
1.a3 Sd5 2.Sxd5 exd5 3.Txd5 Le7 4.Tdd1 h6 5.Sh3 Lxh4 6.g3 Le7 7.Sf4 Lb7 8.Sd5 b4 9.Sxc7 Db8 10.Sxa8 Lxh1 11.Txh1 Dxa8
  -+  (-3.41)   Tiefe: 20/27   00:00:01  26241kN
1.a3 Sd5 2.Sxd5 exd5 3.Txd5 Le7 4.Tdd1 h6 5.Sh3 Lxh4 6.g3 Le7 7.Sf4 Lb7 8.Sd5 b4 9.Sxc7 Db8 10.Sxa8 Lxh1 11.Txh1 Dxa8
  -+  (-3.49 --)   Tiefe: 21/27   00:00:02  35769kN
1.a3 Sd5 2.Sxd5 exd5 3.Txd5 Le7 4.Tdd1 b4 5.axb4 a3 6.bxa3 Txa3 7.b5 Lb7 8.Se6 Lxg2 9.Sxc7 Dg6 10.Thg1 Dh6+ 11.Kb1 Dxh4
  -+  (-3.38)   Tiefe: 21/27   00:00:02  36872kN
1.Kb1 a3 2.c3 Sd5 3.Sxd5 exd5 4.b4 Le7 5.f4 h6 6.Sf3 c5 7.bxc5 Lxc5 8.Sd4 Ta4 9.Df3 Lxd4 10.Txd4 Le6 11.Dg3 Tc4
  -+  (-3.59)   Tiefe: 22/27   00:00:02  49165kN
1.Kb1 a3 2.c3 Sd5 3.Sxd5 exd5 4.b4 Le7 5.f4 h6 6.Sf3 c5 7.bxc5 Lxc5 8.h5 Le6 9.Sh4 Tf7 10.Sg6+ Kg8 11.Thf1 Lb6 12.Tf3 Tc7
  -+  (-3.62)   Tiefe: 23/27   00:00:02  53060kN
1.Kb1 a3 2.c3 Sd5 3.Sxd5 exd5 4.b4 Le7 5.f4 h6 6.Sf3 c5 7.bxc5 Lxc5 8.h5 Le6 9.Sh4 Tf7 10.Sg6+ Kg8 11.Thf1 Lb6 12.Tf3 Tc7
  -+  (-3.54 ++)   Tiefe: 24/32   00:00:03  65303kN
1.a3 Sd5 2.Df3 Tb8 3.Sxd5 exd5 4.e6 Kg8 5.e7 Lxe7 6.Dxd5+ Kh8 7.The1 Lb7 8.Dd7 Dxd7 9.Txd7 Lc5 10.f3 Ld6 11.Se6 Lg3 12.Sxf8 Lxe1 13.Se6
  -+  (-3.53)   Tiefe: 24/33   00:00:04  80267kN
1.a3 Sd5 2.Df3 Tb8 3.Sxd5 exd5 4.e6 Kg8 5.e7 Lxe7 6.Dxd5+ Kh8 7.The1 Lb7 8.Dd7 Dxd7 9.Txd7 Lc5 10.f3 Ld6 11.Se6 Lg3 12.Sxf8 Lxe1 13.Se6
  -+  (-3.61 --)   Tiefe: 25/32   00:00:05  108MN
1.a3 Sd5 2.Df3 Tb8 3.Sxd5 exd5 4.e6 Kg8 5.e7 Lxe7 6.Dxd5+ Kh8 7.The1 Lb7 8.Dd7 Dxd7 9.Txd7 Lc5 10.f3 Ld6 11.Se6 Lg3 12.Sxf8 Lxe1 13.Se6
  -+  (-3.69 --)   Tiefe: 25/32   00:00:05  112MN
1.Kb1
  -+  (-3.61 ++)   Tiefe: 25/34   00:00:06  128MN
1.Kb1
  -+  (-3.81 --)   Tiefe: 25/34   00:00:07  150MN
1.Df3 c6 2.a3 Sd5 3.h5 Sxf4 4.h6 g6 5.Dxf4 De7 6.Kb1 b4 7.axb4 Lxb4 8.c3 Lc5 9.Td2 a3 10.b4 a2+ 11.Txa2 Txa2 12.Kxa2 Da7+ 13.Kb2 Lxf2 14.Dc4
  -+  (-3.85)   Tiefe: 25/37   00:00:10  209MN
1.Df3 c6 2.a3 Sd5 3.h5 Sxf4 4.h6 g6 5.Dxf4 De7 6.Kb1 b4 7.axb4 Lxb4 8.c3 Lc5 9.Td2 a3 10.b4 a2+ 11.Txa2 Txa2 12.Kxa2 Da7+ 13.Kb2 Lxf2 14.Dc4
  -+  (-3.77 ++)   Tiefe: 26/33   00:00:11  233MN
1.Df3 c6 2.a3 Sd5 3.h5 Sxf4 4.h6 g6 5.Dxf4 De7 6.Kb1 b4 7.axb4 Lxb4 8.c3 Lc5 9.Td2 a3 10.b4 a2+ 11.Txa2 Txa2 12.Kxa2 Da7+ 13.Kb2 Lxf2 14.Dc4
  -+  (-3.69 ++)   Tiefe: 26/33   00:00:11  237MN
1.c3 Sd5 2.Sxd5 exd5 3.Txd5 Le7 4.e6 a3 5.b3 Dc6 6.Te5 Dxc3+ 7.Kb1 La6 8.Sf7+ Kg8 9.Dc2 Dxc2+ 10.Kxc2 b4 11.Txf5 h6 12.Te5 Lb7
  -+  (-3.88)   Tiefe: 26/37   00:00:13  273MN
1.c3 Sd5 2.Sxd5 exd5 3.Txd5 Le7 4.e6 a3 5.b3 Dc6 6.Te5 Dxc3+ 7.Kb1 La6 8.Sf7+ Kg8 9.Dc2 Dxc2+ 10.Kxc2 b4 11.Txf5 h6 12.Te5 Lb7
  -+  (-3.80 ++)   Tiefe: 27/37   00:00:13  279MN
1.c3 Sd5 2.Sxd5 exd5 3.Txd5 Le7 4.e6 a3 5.b3 Dc6 6.Df3 Lxe6 7.Te5 Lxg5+ 8.hxg5 Dd6 9.De2 Lg8 10.Td1 Dc6 11.Df3 Dxf3 12.gxf3 Tfe8 13.Txb5 Te2 14.Td7 Txa2
  -+  (-3.87)   Tiefe: 27/37   00:00:13  281MN
1.Df3 c6 2.c3 Sd5 3.h5 Kg8 4.h6 g6 5.Dg3 De7 6.Sgh3 Kh8 7.Kb1 a3 8.b4 Lb6 9.Td2 Tg8 10.Sxd5 cxd5 11.Sg5 d4 12.cxd4 Ta4 13.Ka1 Lb7 14.f4 Txb4 15.Dxa3
  -+  (-3.88)   Tiefe: 28/38   00:00:17  340MN
1.Df3 c6 2.c3 Sd5 3.h5 Kg8 4.h6 g6 5.Dg3 De7 6.Sgh3 Kh8 7.Kb1 a3 8.b4 Lb6 9.Td2 Tg8 10.Sxd5 cxd5 11.Sg5 d4 12.cxd4 Ta4 13.Ka1 Lb7 14.f4 Txb4 15.Dxa3
  -+  (-3.96 --)   Tiefe: 29/35   00:00:19  388MN
1.Kb1
  -+  (-3.88 ++)   Tiefe: 29/38   00:00:23  460MN
1.Kb1
  -+  (-3.80 ++)   Tiefe: 29/38   00:00:23  466MN
1.Kb1
  -+  (-4.04 --)   Tiefe: 29/38   00:00:28  553MN
1.Kb1
  -+  (-4.16 --)   Tiefe: 29/38   00:00:36  711MN
1.Kb1 c6 2.h5 a3 3.Sg6+ Kg8 4.Sxf8 Lxf8 5.c3 Sd5 6.Sf3 De7 7.Txd5 cxd5 8.b4 Dc7 9.Tc1 Ld7 10.Sd4 Tc8 11.De3 Dc4 12.Dd2 Le7 13.f4 Kh8 14.Tc2 Ta8 15.De3 Kg8 16.Df2
  -+  (-4.20)   Tiefe: 29/38   00:00:52  1009MN
1.a3
  -+  (-4.12 ++)   Tiefe: 30/40   00:01:02  1200MN
1.a3
  -+  (-4.28 --)   Tiefe: 30/40   00:01:05  1262MN
1.a3
  -+  (-4.10 ++)   Tiefe: 30/42   00:01:07  1295MN
1.Kb1
  -+  (-3.93 ++)   Tiefe: 30/42   00:01:16  1464MN
1.Kb1
  -+  (-3.70 ++)   Tiefe: 30/42   00:01:17  1469MN
1.Kb1 Sd5 2.Sxd5 exd5 3.Txd5 Le7 4.e6 h6 5.Te5 Kg8 6.Sf3 c5 7.Td1 b4 8.b3 Lb7 9.Td7 Lc6 10.Dd2 f4 11.h5 Td8 12.Txd8 Dxd8 13.bxa4 Lxa4 14.Dd3 Dxd3 15.cxd3 b3
  -+  (-3.72)   Tiefe: 30/44   00:01:27  1648MN
1.Kb1 Sd5 2.Sxd5 exd5 3.Txd5 Le7 4.e6 h6 5.Te5 Kg8 6.Sf3 c5 7.Td1 b4 8.b3 Lb7 9.Td7 Lc6 10.Dd2 f4 11.h5 Td8 12.Txd8 Dxd8 13.bxa4 Lxa4 14.Dd3 Dxd3 15.cxd3 b3
  -+  (-3.64 ++)   Tiefe: 31/43   00:01:29  1681MN
1.Kb1 Sd5 2.Sxd5 exd5 3.Txd5 Le7 4.e6 h6 5.Te5 Kg8 6.Sf3 c5 7.Td1 b4 8.b3 Lb7 9.Td7 Lc6 10.Dd2 f4 11.h5 Td8 12.Txd8 Dxd8 13.bxa4 Lxa4 14.Dd3 Dxd3 15.cxd3 b3
  -+  (-3.80 --)   Tiefe: 31/43   00:01:32  1736MN
1.Kb1 Sd5 2.Sxd5 exd5 3.Txd5 Le7 4.e6 h6 5.Te5 Kg8 6.Sf3 c5 7.Td1 b4 8.b3 Lb7 9.Td7 Lc6 10.Dd2 f4 11.h5 Td8 12.Txd8 Dxd8 13.bxa4 Lxa4 14.Dd3 Dxd3 15.cxd3 b3
  -+  (-3.88 --)   Tiefe: 31/45   00:01:37  1823MN
1.Kb1 Sd5 2.Sxd5 exd5 3.Txd5 Le7 4.e6 h6 5.Te5 Kg8 6.Sf3 c5 7.Td1 b4 8.b3 Lb7 9.Td7 Lc6 10.Dd2 f4 11.h5 Td8 12.Txd8 Dxd8 13.bxa4 Lxa4 14.Dd3 Dxd3 15.cxd3 b3
  -+  (-3.78 ++)   Tiefe: 31/45   00:01:39  1857MN
1.Kb1 Sd5 2.Sxd5 exd5 3.Txd5 Le7 4.Tdd1 a3 5.b3 Dc6 6.Df3 Dxf3 7.Sxf3 b4 8.h5 Ta6 9.Sd2 Lc5 10.f3 Le6 11.Sc4 f4 12.Td2 Lxc4 13.bxc4 Te6 14.Td7 c6 15.h6 gxh6 16.Tc7
  -+  (-3.96)   Tiefe: 31/45   00:01:47  1983MN
1.Kb1 Sd5 2.Sxd5 exd5 3.Txd5 Le7 4.Tdd1 a3 5.b3 Dc6 6.Df3 Dxf3 7.Sxf3 b4 8.h5 Ta6 9.Sd4 f4 10.Sb5 Ta5 11.Sxc7 Txe5 12.The1 Ld6 13.Txe5 Lxe5 14.Sb5 Lf5 15.f3 Lb2 16.Sc7 Tc8 17.Td5
  -+  (-3.89)   Tiefe: 32/40   00:01:48  2000MN
1.Kb1 Sd5 2.Sxd5 exd5 3.Txd5 Le7 4.Tdd1 a3 5.b3 Dc6 6.Df3 Dxf3 7.Sxf3 b4 8.h5 Ta6 9.Sd4 f4 10.Sb5 Ta5 11.Sxc7 Txe5 12.The1 Ld6 13.Txe5 Lxe5 14.Sb5 Lf5 15.f3 Lb2 16.Sc7 Tc8 17.Td5
  -+  (-3.81 ++)   Tiefe: 33/38   00:01:50  2040MN
1.Kb1 Sd5 2.Sxd5 exd5 3.Txd5 Le7 4.Tdd1 a3 5.b3 Dc6 6.Df3 Dxf3 7.Sxf3 b4 8.h5 Ta6 9.Sd4 f4 10.Sb5 Ta5 11.Sxc7 Txe5 12.The1 Ld6 13.Txe5 Lxe5 14.Sb5 Lf5 15.f3 Lb2 16.Sc7 Tc8 17.Td5
  -+  (-3.97 --)   Tiefe: 33/40   00:01:53  2094MN
1.Td8
  -+  (-3.85 ++)   Tiefe: 33/45   00:02:01  2231MN
1.Td8
  -+  (-3.73 ++)   Tiefe: 33/45   00:02:02  2256MN
1.Td8
  -+  (-3.56 ++)   Tiefe: 33/45   00:02:03  2281MN
1.Td8
  -+  (-3.33 ++)   Tiefe: 33/45   00:02:05  2328MN
1.Td8
  -+  (-3.03 ++)   Tiefe: 33/45   00:02:07  2367MN
1.Td8
  -+  (-2.64 ++)   Tiefe: 33/45   00:02:11  2436MN
1.Td8
  -+  (-2.14 ++)   Tiefe: 33/52   00:02:15  2518MN
1.Td8
  -/+  (-1.50 ++)   Tiefe: 33/52   00:02:21  2627MN
1.Td8
  =/+  (-0.68 ++)   Tiefe: 33/52   00:02:27  2739MN
1.Td8 Dxd8 2.Dh5 h6 3.Dg6 hxg5 4.Sxe6 Lxe6 5.hxg5+ Kg8 6.Dxe6+ Tf7 7.g6 Dg5+ 8.Kb1 Taf8 9.gxf7+ Txf7 10.De8+ Lf8 11.e6 Tf6 12.e7 c5 13.exf8D+ Txf8 14.De6+ Tf7 15.De8+ Tf8
  =  (0.00)   Tiefe: 33/52   00:02:33  2814MN
1.Td8 Dxd8 2.Dh5 h6 3.Dg6 hxg5 4.Sxe6 Lxe6 5.hxg5+ Kg8 6.Dxe6+ Tf7 7.g6 Dg5+ 8.Kb1 Taf8 9.gxf7+ Txf7 10.De8+ Tf8 11.De6+ Tf7
  =  (0.00)   Tiefe: 34/48   00:02:34  2863MN
1.Td8 Dxd8 2.Dh5 h6 3.Dg6 hxg5 4.Sxe6 Lxe6 5.hxg5+ Kg8 6.Dxe6+ Tf7 7.g6 Dg5+ 8.Kb1 Taf8 9.gxf7+ Txf7 10.De8+ Lf8 11.e6 Tf6 12.e7 Dxg2 13.exf8D+ Txf8 14.De6+ Tf7 15.De8+ Tf8
  =  (0.00)   Tiefe: 35/50   00:02:38  2934MN
1.Td8 Dxd8 2.Dh5 h6 3.Dg6 hxg5 4.Sxe6 Lxe6 5.hxg5+ Kg8 6.Dxe6+ Tf7 7.g6 Dg5+ 8.Kb1 Taf8 9.gxf7+ Txf7 10.De8+ Lf8 11.e6 Tf6 12.e7 Dxg2 13.exf8D+ Txf8 14.De6+ Tf7 15.De8+ Tf8
  =  (0.08 ++)   Tiefe: 36/50   00:02:44  3093MN
1.Td8 Dxd8 2.Dh5 h6 3.Dg6 hxg5 4.Sxe6 Lxe6 5.hxg5+ Kg8 6.Dxe6+ Tf7 7.g6 Dg5+ 8.Kb1 Taf8 9.gxf7+ Txf7 10.De8+ Lf8 11.e6 Tf6 12.e7 Dxg2 13.exf8D+ Txf8 14.De6+ Tf7 15.De8+ Tf8
  =  (0.16 ++)   Tiefe: 36/50   00:02:48  3163MN
1.Td8 Dxd8 2.Dh5 h6 3.Dg6 hxg5 4.Sxe6 Lxe6 5.hxg5+ Kg8 6.Dxe6+ Tf7 7.g6 Dg5+ 8.Kb1 Taf8 9.gxf7+ Txf7 10.De8+ Lf8 11.e6 Tf6 12.e7 Dxg2 13.exf8D+ Txf8 14.De6+ Tf7 15.De8+ Tf8
  =  (0.28 ++)   Tiefe: 36/52   00:02:51  3233MN
1.Td8 Dxd8 2.Dh5 h6 3.Dg6 hxg5 4.Sxe6 Lxe6 5.hxg5+ Kg8 6.Dxe6+ Tf7 7.g6 Dg5+ 8.Kb1 Taf8 9.gxf7+ Txf7 10.De8+ Lf8 11.e6 Tf6 12.e7 Dxg2 13.exf8D+ Txf8 14.De6+ Tf7 15.De8+ Tf8
  +/=  (0.45 ++)   Tiefe: 36/52   00:02:55  3306MN
1.Td8 Dxd8 2.Dh5 h6 3.Dg6 hxg5 4.Sxe6 Lxe6 5.hxg5+ Kg8 6.Dxe6+ Tf7 7.g6 Dg5+ 8.Kb1 Taf8 9.gxf7+ Txf7 10.De8+ Lf8 11.e6 Tf6 12.e7 Dxg2 13.exf8D+ Txf8 14.De6+ Tf7 15.De8+ Tf8
  +/=  (0.68 ++)   Tiefe: 36/52   00:03:02  3434MN
1.Td8 Dxd8 2.Dh5 h6 3.Dg6 hxg5 4.Sxe6 Lxe6 5.hxg5+ Kg8 6.Dxe6+ Tf7 7.g6 Dg5+ 8.Kb1 Taf8 9.gxf7+ Txf7 10.De8+ Lf8 11.e6 Tf6 12.e7 Dxg2 13.exf8D+ Txf8 14.De6+ Tf7 15.De8+ Tf8
  +/-  (0.98 ++)   Tiefe: 36/52   00:03:08  3561MN
1.Td8 Dxd8 2.Dh5 h6 3.Dg6 hxg5 4.Sxe6 Lxe6 5.hxg5+ Kg8 6.Dxe6+ Tf7 7.g6 Dg5+ 8.Kb1 Taf8 9.gxf7+ Txf7 10.De8+ Lf8 11.e6 Tf6 12.e7 Dxg2 13.exf8D+ Txf8 14.De6+ Tf7 15.De8+ Tf8
  +/-  (1.37 ++)   Tiefe: 36/52   00:03:14  3667MN
1.Td8 Dxd8 2.Dh5 h6 3.Dg6 hxg5 4.Sxe6 Lxe6 5.hxg5+ Kg8 6.Dxe6+ Tf7 7.g6 Dg5+ 8.Kb1 Taf8 9.gxf7+ Txf7 10.De8+ Lf8 11.e6 Tf6 12.e7 Dxg2 13.exf8D+ Txf8 14.De6+ Tf7 15.De8+ Tf8
  +-  (1.87 ++)   Tiefe: 36/54   00:03:24  3856MN


Jedenfalls die SF dev. Version vom 7.8. mit dem NNUE- treshold- patch ist wieder viel länger ahnungslos als es die Versionen davor mit "full NNUE eval" waren.

Hier

https://github.com/official-stockfish/Stockfish/issues/2915#issuecomment-670598949

und hier

http://talkchess.com/forum3/viewtopic.php?f=2&t=74719&p=855291#p855291

wird's auch diskutiert.

Zuletzt war die Stellung, die George Tsavdaris seinerzeit ins CCC gebracht hatte, hier diskutiert worden, schon damals zeigte sich, dass sie eine ausgepsprochen SF- Schwäche darstellt, sie ist nicht leicht, aber die meisten gleich alten Engines, die's damals so gab, taten sich damals schon leichter als SF.

http://talkchess.com/forum3/viewtopic.php?p=761437#p761437
Parent - - By Jörg Oster Date 2020-08-08 10:02
Ehrlich gesagt, finde ich diesen Threshold-Patch auch nicht gut, bzw. zu vorschnell übernommen.

Die Frage, die sich mir hier stellt, warum bringt das so viel Elo?
Falsches oder nicht genügendes Training des Netzes? Liegt es womöglich an der Zeitkontrolle (ultrafast)?

Auf jeden Fall hätte ich vorerst die NNUE-Bewertung so gelassen wie sie ist,
weil das ist ja gerade der Sinn der Sache, eine andere Bewertung zu haben.
Jetzt hat man irgendein Misch-Masch ...
Parent - - By Peter Martan Date 2020-08-08 10:09
Am Netz liegts nicht, da hab' ich schon ein paar probiert, mit den Versionen vor dem Patch geht's mit jedem, danach mit keinem.
Parent - - By Jörg Oster Date 2020-08-08 10:14
Peter, mir ging es nicht nur um diese Stellung allein,
sondern allgemein um den Elo-Zuwachs dieses Patches.

Das muss ja einen Grund haben, und als erstes kommt mir da halt
der Geschwindigkeitszuwachs durch den Wechsel zur "classic eval"
bei diesen sehr schnellen Spielen in den Sinn.
Parent - By Peter Martan Date 2020-08-08 10:27 Edited 2020-08-08 10:39
Schon klar, Jörg, dass eine einzelne Stellung nichts über den Elo- Zuwachs (oder Verlust) sagt, in diesem Thread dazu, den du ja wohl auch kennst

https://github.com/official-stockfish/Stockfish/issues/2915#issuecomment-670598949

heißt es (momentan ganz unten im Fenster), dass der Patch 11 Elo gebracht hätte, und sehr wohl wird das natürlich im Selfplay mit den dort üblichen LTCs sein?
Wieviel er im LTC bringt (oder kostet), weiß ich nicht, weil ich auch nicht weiß, wann genau er eingeführt worden ist.

Ich finde die Stellung nur so gut als Beispiel, weil sie den Unterschied von noNN SF- Eval zu (vollständiger) NNUE- Eval so schön deutlich macht.

Der Mix, den das momentan bekommt (ohne, dass man darauf Einfluss nehmen kann), ist offenbar die Ursache, dass die NNUE- Eval nicht zum Zug kommt hier. Mag sein, das ist in der Mehrzahl der LTC- Spiele egal oder sogar besser, hier findet SF dev. mit dem Patch aber auch nach 3 Minuten (hab's dreimal auf meiner zugegeben etwas veralteten Hardware ohne avx2, das aber für die noNN- Eval eh auch nix bringt, oder?) die für andere moderne Engines nicht soo schwere Lösung nicht. Mit full NNUE (vor dem Patch) mit jedem Netz sofort. LC0 übrigens auch sofort.

Und ja natürlich kann man einzelne Stellungen immer auch an einzelne Branches "delegieren", dann darf man sich aber auch nicht wundern, wenn die erst recht sofort wieder blühen werden und die Tester natürlich die Branches weiter testen werden ("müssen"), wenn da so große Unterschiede sind. "Groß", sofern man überhaupt noch von statistisch signifikant nachweisbaren Unterschieden zwischen Code- und Netz- Versionen wird sprechen können in Hinkunft.
Ich fürchte, das Selfplay im SF- Framework ist mit SF NNUE ähnlich verlässlich, was die Elo angeht, wie die Selfplay- Elo von LC0. Schließlich wird's ja in Hinkunft schon auch auf die Entwicklung der Netze ankommen in derFortschrittskontrolle. Und wenn man dann mit bestimmten Patches nur bestimmte Netze Elo- optimal wird kombinieren können, dann viel Spaß weiter beim Testen, wie auch immer es gemacht wird.
Up Topic Hauptforen / CSS-Forum / weitere Entwicklung des "herkömmlichen" Stockfish eingestellt?

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill