Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Teststellungen - Lösungszeiten
1 2 3 Previous Next  
Parent - By Max Siegfried Date 2021-12-19 12:44
Dieter Brandhorst schrieb:

Wie man sieht reicht 1Sek. exakt für 88 Lösungen, wem das reicht o.k.

VG Dieter


Natürlich.
Die Ergebnisse schwanken auch immer minimal und du hattest nicht mal 7-Steiner verwendet.
Die Frage ist was es einem bringt. Du könntest den Test auch mit einer Stunde pro Stellung durchführen.
Ob man jetzt 100 oder nur 90 gelöste Stellungen bekommt ist nicht so wichtig. Ich meckere ja auch nicht wenn die Engine nur 90% löst anstatt 100% ->der Unterschied ist so gewaltig.
Ich frage mich aber ernsthaft ob ich für diesen einen 10er bereit bin die 15-fache Bedenkzeit zu verwenden!!! Oder kauft sich hier jemand mindestens die 15-fache Hardwarepower bzw. 15 AMD Threadripper?
Meine Turnierpartieanalyse dauert auch nur einen Tag und nicht einen halben Monat.
Faktor 15
Parent - - By Walter Eigenmann Date 2021-12-19 12:12
Max Siegfried schrieb:
Offensichtlich ist bereits eine Sekunde vollkommen ausreichend

Unsinn.

Hier SF 091221
- mit 01sec pro Stellung: 86 Lösungen
- mit 15sec pro Stellung: 99 Lösungen

(Ryzen2700/16Threads/Fritz18)

.
Parent - - By Max Siegfried Date 2021-12-19 12:25
Walter Eigenmann schrieb:

Max Siegfried schrieb:
Offensichtlich ist bereits eine Sekunde vollkommen ausreichend

Unsinn.

Hier SF 091221
- mit 01sec pro Stellung: 86 Lösungen
- mit 15sec pro Stellung: 99 Lösungen

(Ryzen2700/16Threads/Fritz18)

.

Danke das du meine Aussage selbst bestätigst.
Ich habe mich übrigens auf den Test von Dieter Brandhorst (88 Lösungen und nicht mal 7-Steiner) bezogen.
Parent - - By Walter Eigenmann Date 2021-12-19 12:31
Max Siegfried schrieb:

Walter Eigenmann schrieb:

Max Siegfried schrieb:
Offensichtlich ist bereits eine Sekunde vollkommen ausreichend

Unsinn.

Hier SF 091221
- mit 01sec pro Stellung: 86 Lösungen
- mit 15sec pro Stellung: 99 Lösungen

(Ryzen2700/16Threads/Fritz18)

.

Danke das du meine Aussage selbst bestätigst.

Nö - es geht darum, dass bei 1sec/Stellung viel weniger Lösungen generiert werden.
Aber auch darum, dass bei 60sec/Stellung viel zu viele Lösungen generiert werden.

.
Parent - By Max Siegfried Date 2021-12-19 13:07
Walter Eigenmann schrieb:

Max Siegfried schrieb:

Walter Eigenmann schrieb:

Max Siegfried schrieb:
Offensichtlich ist bereits eine Sekunde vollkommen ausreichend

Unsinn.

Hier SF 091221
- mit 01sec pro Stellung: 86 Lösungen
- mit 15sec pro Stellung: 99 Lösungen

(Ryzen2700/16Threads/Fritz18)

.

Danke das du meine Aussage selbst bestätigst.

Nö - es geht darum, dass bei 1sec/Stellung viel weniger Lösungen generiert werden.
Aber auch darum, dass bei 60sec/Stellung viel zu viele Lösungen generiert werden.

.


Wie definierst du „viel weniger“ Lösungen?
Warum sollte man jedes mal aufs neue mit jeder neuen Engine 15 Sekunde pro Aufgabe in zig unterschiedlichen langen Testsuites verwenden?
Dieter hatte ganze 88 gelöste bei 1 Sekunde pro Stellung. Was soll er oder die Engine oder seine Hardware, Lautstärke, Stromkosten… mit 88 Stellungen und 15 Sekunden pro Stellung??
Gut du hattest 11 mehr also 99 da waren wohl 15 Sekunden nötig nur eben nicht für jede dieser wenigen Stellungen, da einige davon bei 2 und 3 Sekunden gelöst worden sind also gerade einmal die doppelte, dreifache… Bedenkzeit und nicht die 15-fache.
Von daher waren 15 Sekunden extrem unnötig, falls es überhaupt eine Aufgabe gab die 15 Sekunden benötigt hatte.
Was ich sagen wollte war: Die wenigen Aufgaben die bei dir mehr gelöst worden sind als bei Dieter haben bestenfalls: mehr als 1 Sekunde bis maximal 15 Sekunden pro Stellung benötigt.
Parent - By Lothar Jung Date 2021-12-19 12:52
Die Lösungsanzahl für 5 sec. sind interessant für Blitztuniere.

Lothar
Parent - - By Lothar Jung Date 2021-12-19 12:04
Hallo Dieter,

herzlichen Glückwunsch zu deinem wichtigen Test!

Mit einer RTX 2070 mit Ceres ist das sehr beachtlich.

Ich glaube mit BanksiaGUI kann man mehrere Tests hintereinander laufen lassen.

Viele Grüße

Lothar
Parent - By Max Siegfried Date 2021-12-19 12:29
Lothar Jung schrieb:

Hallo Dieter,

herzlichen Glückwunsch zu deinem wichtigen Test!

Mit einer RTX 2070 mit Ceres ist das sehr beachtlich.

Ich glaube mit BanksiaGUI kann man mehrere Tests hintereinander laufen lassen.

Viele Grüße

Lothar

Mit der BanksiaGUI ist eigentlich alles möglich.
Wenn du es nur glaubst und nicht weißt, dann frage am besten den Entwickler: banksiagui@gmail.com
Wenn etwas fehlt dann kommt Verbesserung relativ zügig.
Und schön die Augen offen halten damit man nicht die Weihnachtsversion verpasst.
- - By Rainer Maikowski Date 2021-12-19 01:34
Ist denn Ceres 0.94 inzwischen leichter installierbar?
Parent - - By Dieter Brandhorst Date 2021-12-19 12:29
Wer bereits Lc0 für seine GraKa installieren konnte, sollte das auch mit Ceres 0.94 hinbekommen. Nach dem Entpacken einfach aus dem Ordner v.094  ceres.exe als UCI-Engine installieren. Es gibt einen Unterordner "Netfiles" in den man seine NNs kopieren kann. Für den Pfad zu den TB und die Angabe des NNs muss man die Datei Ceres.json editieren und entsprechend ändern. Bei mir sieht das so aus:

{
  "DefaultNetworkSpecString": "LC0:./Networks/69722vf2",
  "DefaultDeviceSpecString": "gpu:0",
  "SyzygyPath": "D:\\TB\\Syzygy;D:\\TB\\dtz;D:\\TB\\wdl",
  "DirLC0Networks": null,
  "DirLC0Binaries": null,
  "URLLC0Networks": "http://training.lczero.org/networks"
}

Das ist alles.

VG Dieter
Parent - - By Lothar Jung Date 2021-12-19 13:05
Hallo Dieter,

stellt Shredder die Ergebnisse der Engines automatisch dar?
Ist es möglich die Positionen zu markieren, die nur von einer Engine gefunden wurde und die Engine mit A oder B zu bezeichnen.

Grüße

Lothar
Parent - - By Dieter Brandhorst Date 2021-12-19 16:13
Hallo Lothar,

Shredder stellt seine Ergebnisse in einer Protokolldatei dar. Einerseits so wie ich es gepostet habe, also Tabelle mit Lösungszeiten für jede Aufgabe und eine Tabelle Bedenkzeit vs. Erfolgsquote. Darüber hinaus gibt es detaillierte Infos  zur Entscheidungsfindung von TripleBrain in der folgenden Form:

Beispiel ERET Nr.97

2k5/p7/Pp1p1b2/1P1P1p2/2P2P1p/3K3P/5B2/8 w - -
           +---+---+---+---+---+---+---+---+
         8 |   |:::|*K*|:::|   |:::|   |:::
           +---+---+---+---+---+---+---+---+
         7 |*B*|   |:::|   |:::|   |:::|  
           +---+---+---+---+---+---+---+---+
         6 | B |*B*|   |*B*|   |*L*|   |:::
           +---+---+---+---+---+---+---+---+
         5 |:::| B |:::| B |:::|*B*|:::|  
           +---+---+---+---+---+---+---+---+
         4 |   |:::| B |:::|   | B |   |*B*
           +---+---+---+---+---+---+---+---+
         3 |:::|   |:::| K |:::|   |:::| B
           +---+---+---+---+---+---+---+---+
         2 |   |:::|   |:::|   | L |   |:::
           +---+---+---+---+---+---+---+---+
         1 |:::|   |:::|   |:::|   |:::|  
           +---+---+---+---+---+---+---+---+
             a   b   c   d   e   f   g   h
Triple Brain
Lösung : c4-c5! Lf2-e1!
26+13   0:01   12%      1.Kc2    ShashChess 20.1_A
13+26   0:02   1%      1.c5    Ceres 0.94 [new]
13+26   0:03   1%      1.c5    Ceres 0.94 [new]
14+26   0:03   3%      1.c5    Ceres 0.94 [new]
14+26   0:04   3%      1.c5    Ceres 0.94 [new]
15+26   0:05   3%      1.c5    Ceres 0.94 [new]
15+26   0:06   3%      1.c5    Ceres 0.94 [new]
26+15   0:06   2%      1.Kc2    ShashChess 20.1_A
26+15   0:07   2%      1.Kc2    ShashChess 20.1_A
26+16   0:08   2%      1.Kc2    ShashChess 20.1_A
26+16   0:08   1%      1.Kc2    ShashChess 20.1_A
26+16   0:09   1%      1.Kc2    ShashChess 20.1_A
26+16   0:10   1%      1.Kc2    ShashChess 20.1_A
26+16   0:11   1%      1.Kc2    ShashChess 20.1_A
16+26   0:12   3%      1.c5    Ceres 0.94 [new]
16+26   0:13   3%      1.c5    Ceres 0.94 [new]
16+26   0:14   3%      1.c5    Ceres 0.94 [new]
17+26   0:14   3%      1.c5    Ceres 0.94 [new]
17+26   0:15   4%      1.c5    Ceres 0.94 [new]
17+26   0:16   5%      1.c5    Ceres 0.94 [new]
17+26   0:16   4%      1.c5    Ceres 0.94 [new]
17+26   0:17   4%      1.c5    Ceres 0.94 [new]
17+26   0:18   4%      1.c5    Ceres 0.94 [new]
17+26   0:19   4%      1.c5    Ceres 0.94 [new]
17+26   0:20   4%      1.c5    Ceres 0.94 [new]
17+26   0:20   5%      1.c5    Ceres 0.94 [new]
17+26   0:21   4%      1.c5    Ceres 0.94 [new]
18+26   0:22   4%      1.c5    Ceres 0.94 [new]
18+26   0:23   5%      1.c5    Ceres 0.94 [new]
18+26   0:24   5%      1.c5    Ceres 0.94 [new]
18+26   0:25   0%      1.c5    Ceres 0.94 [new]
18+26   0:26   0%      1.c5    Ceres 0.94 [new]
18+26   0:27   0%      1.c5    Ceres 0.94 [new]
18+26   0:28   3%      1.c5    Ceres 0.94 [new]
18+26   0:29   6%      1.c5    Ceres 0.94 [new]
18+26   0:30   6%      1.c5    Ceres 0.94 [new]
Bester Zug: c4-c5 Zeit: 0:30.312 min  K/s: 12.461.703 
Richtige Lösung! (0:00.808) 22
Bisher gelöst: 95 von 97  ;  2:55m

Man kann also für jede Aufgabe entnehmen, welche Engine für die Lösung gewählt wurde und mit welcher Suchtiefe und welchem Erwartungswert  für die Richtigkeit. Leider alles nicht so ganz das wonach du fragst.
Das habe ich allerdings für mich mit einem kleinen Workaround über Excel gelöst: 1. Die Testsuite jeweils durch eine Soloengine lösen lassen. ->  Dann die Lösungsergebnise in 2 Excelspalten nebeneinander bringen und in einer 3. Spalte die sich daraus ergebenden gemeinsamen Lösungsergebnisse darstellen. So findet man nicht nur die Positionen, die nur von einer Engine gefunden wurden, sondern kann auch beurteilen welche Engines sich am besten gegenseitig ergänzen würden. Darüber hinaus generiert man ein theoretisch zu erwartendes Gesamtlösungsergebnis und kann anschließend bewerten, wie gut die Entscheidungsengine  (hier triple brain) an das theoretisch zu erwartende Gesamtrgebnis herankommt.

Viele Grüße

Dieter
Parent - - By Lothar Jung Date 2021-12-19 17:10
Hallo Dieter,

mein großer Respekt.
Shredder scheint dazu die beste GUI zu sein.

OK, Du kommst mit Hilfe von Excel zu dem genauesten möglichen Ergebnis, um die jeweiligen Stärken der Engines heraus zustellen.
In Bezug auf Lösung und Zeit.

Was mir vor schwebt ist folgendes:

Man gibt in einem Script die beiden Engines und die Suite ein.
Der PC rechnet seriell oder parallel die Suite durch und zeigt das Gesamtergebnis oder das differenzierte Ergebnis an.

Seriell geht immer: Erst Ceres/Lc0, dann SF/Derivat.
Parallel geht nicht über GUIs, sondern über Tasks im Betriebssystem.
Das funktioniert mit Lc0 und SF einfach, weil Lc0 mit einer GPU nur 2 Threads braucht.
Ceres ist schwieriger, da es sich die CPU „unter den Nagel reißt“.
Das kann man aber begrenzen.

Mein Ziel ist es, das was Du über Shredder und Excel realisierst, über das Terminal zu automatisieren.
Geht auch über Windows.

Der Benutzer gibt Engines und Suite ein und bekommt ein Ergebnis, als ob er eine Engine einsetzt oder detaillierte Analyseergebnisse.

Dann hört die teuere Hardwareverschwendung mit teueren CPUs und überteuerten GPUs endlich auf.

Dank und beste Grüße

Lothar
Parent - - By Peter Martan Date 2021-12-19 17:48 Edited 2021-12-19 18:29
Aber was für Scripts brauchst du denn noch außer den vielen GUI- Scripts, die du ohnehin hast?
Natürlich kannst du das auch alles in Einzelbefehle selbst in Batch- Dateien oder Python- Scripts über die Konsole oder Excel oder  Betriebssystem- Tasks neu definieren, aber was geht dir denn auch nur bei Fritz, oder Shredder oder Arena oder deinem geliebten Banksia ab, wenn du nichts anderes willst, als eine und oder noch eine und eine dritte Suite automatisch abarbeiten und die Outputs speichern zu lassen?
Wenn du unbedingt parallel arbeiten willst, kannst du ja ein GUI ein paar Mal starten oder ein paar GUIs je einmal.

Das automatische Abspeichern macht das GUI, Fritz speichert die Auswertungen einer einzelnen Suite bei mehreren Engines auch noch alle in eine gemeinsame Lösungs- .cbh, verschiedene Lösungs- Dateien noch in eine gemeinsame Tabelle zu bringen und miteinander zu vergleichen hast du Tools wie EloStatTS, nur um es wieder mal zu erwähnen, weil es ein wirklich sehr mächtiges Tool ist, aber bei weitem auch nicht das einzige, du selbst hast im Thread Engine Test Tools mal das von Ferdinand Mosca verlinkt:

https://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=147412#pid147412

und in dem Thread waren noch alle möglichen anderen Dinge erwähnt. Geben tut's längst Unmengen an Angeboten, sie ordentlich anzuwenden, ist Sache des Users, dazu muss man sie sich aber in der Bedienung aneignen, und das, was die GUIs alles bieten, will halt auch einfach ordentlich anzuwenden gelernt und genützt werden, unterbricht kurz nochmal den Weihnachtsfrieden
Parent - By Max Siegfried Date 2021-12-19 18:55
Alles kompliziert.
Sagt dem Entwickler der BanksiaGUI wie ihr euch das vorstellt und wartet einpaar Tage bis er fertig ist.
Parent - By Benno Hartwig Date 2021-12-19 18:07
Ein wenig hübscher lässt sich die Position mit ganz wenigen Klicks schon darstellen:

2k5/p7/Pp1p1b2/1P1P1p2/2P2P1p/3K3P/5B2/8 w - -
           +---+---+---+---+---+---+---+---+
         8 |   |:::|*K*|:::|   |:::|   |:::
           +---+---+---+---+---+---+---+---+
         7 |*B*|   |:::|   |:::|   |:::| 
           +---+---+---+---+---+---+---+---+
         6 | B |*B*|   |*B*|   |*L*|   |:::
           +---+---+---+---+---+---+---+---+
         5 |:::| B |:::| B |:::|*B*|:::| 
           +---+---+---+---+---+---+---+---+
         4 |   |:::| B |:::|   | B |   |*B*
           +---+---+---+---+---+---+---+---+
         3 |:::|   |:::| K |:::|   |:::| B
           +---+---+---+---+---+---+---+---+
         2 |   |:::|   |:::|   | L |   |:::
           +---+---+---+---+---+---+---+---+
         1 |:::|   |:::|   |:::|   |:::| 
           +---+---+---+---+---+---+---+---+
             a   b   c   d   e   f   g   h
Parent - - By Lothar Jung Date 2021-12-20 22:07
Hallo Dieter,

wo kann man die Shredder GUI kaufen?

Ich habe beim ERET mit ShashChess auf einer Ryzen 5800h CPU 100 Lösungen.
Mit Lc0 92 Lösungen.
6 Positionen aus Lc0 ergänzen die ShashChess Lösungen.

Wieviel Lösungen hat bei Dir Ceres und wieviel ShashChess geschafft?

Übrigens ist Ceres 0.93 bei Suites ein wenig besser.

Ceres ist für meine RTX 3060m ungeeignet. Auf meinem großen PC mit drei guten GPUs erreicht Ceres 100 Lösungen.

Beste Grüße

Lothar
Parent - By Roland Riener Date 2021-12-20 22:51
Zitat:
wo kann man die Shredder GUI kaufen?

Wenn die Frage ernstgemeint ist, hier:

https://www.shredderchess.com/de/
Parent - - By Dieter Brandhorst Date 2021-12-21 12:33
Hallo Lothar,

Code:
wo kann man die Shredder GUI kaufen?


auf der Homepage von Stefan Meyer-Kahlen: https://www.shredderchess.com/de/windows/deep-shredder-13.html.
Da ist allerdings seit langer Zeit nichts neues mehr passiert.

Code:
Ich habe beim ERET mit ShashChess auf einer Ryzen 5800h CPU 100 Lösungen.
Mit Lc0 92 Lösungen.
6 Positionen aus Lc0 ergänzen die ShashChess Lösungen.

Wieviel Lösungen hat bei Dir Ceres und wieviel ShashChess geschafft?


Bei 15Sekunden Bedenkzeit 96 Lösungen mit Ceres und  102 mit ShashChess. 4 Lösungen fand ausschließlich Ceres.
Mit der Multiengine bzw.  TripleBrain ergänzte sich das in diesem Fall ideal zu 106/111 bei 15 Sekunden.
(Die 108/111 Lösungen waren bei 30s Bedenkzeit, aber die 30s Bedenkzeit hat Walter Eigenmann ja für den Eret zurecht kritisiert).

Code:
Übrigens ist Ceres 0.93 bei Suites ein wenig besser.


Ceres 0.93 habe ich früher schon einmal erfolgreich ((105/114/60s) zusammen mit Sugar2.40  bei den HTC114 - Tests eingesetzt und hier ausführlich berichtet: https://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=147621.
Parent - By Lothar Jung Date 2021-12-21 12:51
Hallo Dieter,

ich muß mich für 30 sec. sowohl nach unten und oben korrigieren.

ShashChess: 100

Ceres 0.94: 94 (91 bei 15 sec.)

Ceres hat 3 Positionen mehr gefunden: 2, 46 und 84, demnach 103 Lösungen insgesamt (die mehr gelösten auch bei 15 sec.).

Auch nicht schlecht für einen Notebook mit Ryzen 5800h und RTX 3060m, also 5 weniger als bei Dir.

Viele Grüße

Lothar
Parent - By Lothar Jung Date 2021-12-19 12:55
Schon. Man braucht nur die Ceres.json Datei etwas zu editieren. Bei einer GPU ist nichts zu tun.
Der Pfad auf den Wheightsfile muß rein kopiert werden.
Vorher das Netz nach Engines kopieren.

Lothar
Up Topic Hauptforen / CSS-Forum / Teststellungen - Lösungszeiten
1 2 3 Previous Next  

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill