Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / TCEC-S16/Premier Division
1 2 Previous Next  
- - By Michael Scheidl Date 2019-08-31 23:46
Sonntag den 1.9.2019 startet DivP.
Zitat:
1. LCZero v0.22.0-nT40B.4-160* 2. Stockfish 190826* 3. Komodo 2381.00* 4. AllieStein v=-n10* 5. Houdini= 6. Komodo MCTS 2381.00* 7. Stoofvlees II= 8. ScorpioNN v3.0.1*-n= *:update, =:same

Gespielt wird auf 90m+5s mit 8-zügigen Eröffnungsvarianten, 6-runding. Bei diesen 168 Partien rechne ich mit einer Dauer von rund 22 Tagen. - In diesem Teilnehmerfeld von 8 Engines sind nur noch 3 klassische A/B-Engines vertreten.
Parent - - By Benno Hartwig Date 2019-08-31 23:56 Edited 2019-08-31 23:59
So gut und schön und ggf. auch spannend das Finale dann sein wird:
Diese PremierDivision ist aus meiner Sicht der interessanteste Durchgang eines ganzen TCEC-Events.
Hier tritt dann wirklich die Oberschicht der Schach-Engines gegeneinander an.
Hier hat man wirklich die Sicht auf allerbeste Computerschach- Geschehen dieser Jahre.

Benno

PS:
Vor einigen Jahren erlebten wir, wie das Schach der Menschen seinen Behauptungskampf gegen das Computerschach führte, schließlich unterlag, und dann auch deklassiert wurde.
Werden wir jetzt etwas ähnliches sehen, wenn schließlich die NNs die ABs deklassieren???
Parent - - By Stefan Pohl Date 2019-09-01 12:37
Benno Hartwig schrieb:


Vor einigen Jahren erlebten wir, wie das Schach der Menschen seinen Behauptungskampf gegen das Computerschach führte, schließlich unterlag, und dann auch deklassiert wurde.
Werden wir jetzt etwas ähnliches sehen, wenn schließlich die NNs die ABs deklassieren???


Möglich, muß aber nicht so kommen. Der Testrun des Mini-Netzes LD2 läuft bei mir überraschend gut - weniger gutes Netz mit höherer dafür Geschwindikeit bringt auch viel Elo... Das heißt für mich im Umkehrschluß, daß größere Netze (als 20x256 wie momentan), die an sich besser sind, vermutlich durch die geringere Geschwindigkeit, mit der sie abgearbeitet werden können, letztlich vielleicht auch nicht mehr Elo aufs Brett bringen, als jetzt die besten 20x256 Netze. Immer vorausgesetzt, man nutzt Systeme, in denen die GPU nicht viel mehr Leistung bingt, als die CPU. Die Leela-Ratio muß halt stimmen. Und man muß sie mit einem nicht-SE 20x256 Netz messen, also mit einem 10xxx oder 30xxx Netz. Die 40xxx Netze sind schon deutlich langsamer in der Verarbeitung, und daher für die Leela-Ratio Bestimmung einer Hardware nicht geeignet (oder man müßte die Berechnung der LR entsprechend anpassen). Aber noch ist ja der Plan wohl auch, die 60xxx Netze nach einer gewissen Lerndauer wieder zu verkleinern. Genau aus den obig genannten Gründen. Mal abwarten. Meine NN-Testruns werden es dann ja zeigen. Bei 3000 Partien sind die Ergebnisse schon halbwegs verläßich.
Parent - - By Benno Hartwig Date 2019-09-01 13:13

> Immer vorausgesetzt, man nutzt Systeme, in denen die GPU nicht viel mehr Leistung bingt, als die CPU.


Ich vermute, hier wird dann noch eifrig Diskussionsbedarf sein.

Was will man als "faire" Hardware-Verteilung ansehen?
Meiner Meinung nach muss dies im Zusammenhang gesehen werden mit der Kostenentwicklung für CPU-Leistung und Grafikkartenleistung.
Ist die Leela Ratio hier nicht eigentlich mehr eine aktuelle Wertung, die ein wenig die Fairnis mit Hilfe des Bauchgefühls wiederspiegelt? Damit man überhaupt ein Vergleichskriterium hat, besonders wenn man mit vielen Systemen umgehen will?
Oder habe ich da tatsächliche (fundierte) Belastbarkeit dieser Angabe nur noch nicht verstanden?
Wann ist ein konkreter CPU-versus-Grafikkarte-Vergleich fair, ist zumindest mir nicht wirklich klar.
Ich finde aber trotzdem total richtig, dass man versucht, hier eine Sicht abzustimmen!

Benno
Parent - By Stefan Pohl Date 2019-09-01 13:24 Edited 2019-09-01 13:28
Benno Hartwig schrieb:

Ich vermute, hier wird dann noch eifrig Diskussionsbedarf sein.

Was will man als "faire" Hardware-Verteilung ansehen?
Meiner Meinung nach muss dies im Zusammenhang gesehen werden mit der Kostenentwicklung für CPU-Leistung und Grafikkartenleistung.
Ist die Leela Ratio hier nicht eigentlich mehr eine aktuelle Wertung, die ein wenig die Fairnis mit Hilfe des Bauchgefühls wiederspiegelt? Damit man überhaupt ein Vergleichskriterium hat, besonders wenn man mit vielen Systemen umgehen will?
Oder habe ich da tatsächliche (fundierte) Belastbarkeit dieser Angabe nur noch nicht verstanden?
Wann ist ein konkreter CPU-versus-Grafikkarte-Vergleich fair, ist zumindest mir nicht wirklich klar.
Ich finde aber trotzdem total richtig, dass man versucht, hier eine Sicht abzustimmen!

Benno


Ja, was ist fair? Letzlich kann man das wohl nicht beantworten, dafür sind die AB-Engines und NN-Engines einfach zu unterschiedlich. Bisher ist es halt so, daß die Tests mit Leela-Ratios im Bereich von 0.7 bis ca. 1.3 (z.B. bei mir und der CEGT sind es jeweils 1.3, das ist also eine ganz gute Übereinstimmung) stattfinden und sich diese Ergebnisse einer allgemeinen Akzeptanz erfreuen. Daher ist es m.E. vernünftig mit diesem Bereich auch weiter zu testen. Im TCEC waren die Leela-Ratios bisher deutlich unter 1, aber auch noch in einem vertretbaren Bereich. Aber wer weiß, inwieweit da in Zukunft aufgerüstet wird, jetzt, wo mehr und mehr NN-Ansätze dort spielen?!? Aber das TCEC ist auch nur ein Turnier. Zwar ein tolles, aber statistisch natürlich eine reine Spaß-Veranstaltung. Obwohl das letzte Superfinal sogar so deutlich zugunsten von Lc0 ausfiel, daß das Ergebnis tatsächlich knapp außerhalb der Errorbar lag. Aber das ist natürlich die Ausnahme. Daher werde ich auch dieses Mal die Lc0/Netz-Konfigurationen der TCEC-Premier Division und des Superfinals, falls Lc0 dahin kommt, bei mir durchtesten, um das Ganze statistisch valide zu unterfüttern...
Parent - - By Guenter Stertenbrink Date 2019-09-01 14:33
Watt.
Parent - By Benno Hartwig Date 2019-09-01 20:46
Anschaffungspreis
Parent - - By Stefan Pohl Date 2019-09-01 12:29 Edited 2019-09-01 13:29
OK, dann wird das Netz T40B.4-160 mein nächster NN-Testrun, wenn der Testrun vom LD2 Mini-Netz durch ist (Dienstag/Mittwoch), sodaß dann das Ergebnis von Lc0 0.22.0 T40B.4-160 so am 9.9. oder 10.9. vorliegen könnte, falls alles glattgeht. Dann ist die Premier Division ja noch in vollem Gange.
Parent - - By Dieter Kraft Date 2019-09-01 14:39
Wo finde ich das Netz nT40B.4-160?
Dieter
Parent - - By Eduard Nemeth Date 2019-09-01 14:49
Ja? Und die Netze von Scorpio und Allie? Als Zuschauer möchte ich das gerne wissen, fühle mich aber überfordert, alles selbst finden zu müssen! 
Parent - By Stefan Pohl Date 2019-09-01 15:41
Eduard Nemeth schrieb:

Ja? Und die Netze von Scorpio und Allie? Als Zuschauer möchte ich das gerne wissen, fühle mich aber überfordert, alles selbst finden zu müssen! 


Allie nutzt Leelenstein Netze. Die gibt es hier, wie ich auch vor kurzem hier schon gepostet hatte...(“Leelenstein 10.2“- Posting)
https://www.patreon.com/jjosh

Die meisten nur für zahlende Abonnenten. Aber 10.2 gibt es gratis. Hab ich auch schon getestet.
Parent - By Stefan Pohl Date 2019-09-01 15:36
Dieter Kraft schrieb:

Wo finde ich das Netz nT40B.4-160?
Dieter


Hier:
https://github.com/jhorthos/lczero-training/wiki/Leela-Training
Parent - - By Michael Scheidl Date 2019-09-02 09:29
Aus mir schleierhaften Gründen verzögert sich der Start Ich konnte keine genaue Beginnzeit eruieren.

Die Haupt-Liveseite hat eine neue URL: https://tcec-chess.com/
Parent - - By Klaus S. Date 2019-09-02 11:54 Edited 2019-09-02 11:57
Es läuft doch noch der Bonus S16 - Testing LCZero 30pct vs DivP

Gesamt 160 Partien! Bis jetzt 73 Partien absolviert.

Zitat:
http://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=124224#pid124224
Parent - - By Eduard Nemeth Date 2019-09-02 17:45
Premier Division ist endlich gestartet, es spielt Lc0 gegen ScorpioNN.
Parent - - By Guenter Stertenbrink Date 2019-09-02 17:56 Edited 2019-09-02 18:01
ganz schoen hohe Elos dort

3907,LCZero v0.22.0-nT40B.4-160  
3895,Stockfish 19082
3833,Houdini 6.03
3827,Komodo 2381.00
3812,AllieStein v0.5-dev_1359f44-n10
3796,KomodoMCTS 2381.00
3787,Stoofvlees II a12
3710,ScorpioNN v3.0.1-n_maddex_INT
Parent - By Eduard Nemeth Date 2019-09-02 19:28
Es sieht nach dem ersten Sieg für Lco aus.
Parent - By Klaus S. Date 2019-09-02 20:19
Also Bonus mit vorgesehenen 160 games abgebrochen,
dann hätten sie es auch garnicht starten sollen - wär eh besser gewesen.
Parent - - By Ingo Althöfer Date 2019-09-12 12:48
Irgendwas läuft in der Premier-Division ganz falsch.
Stockfish hat jetzt schon ein zweites Mal wegen eines
Crashes verloren.

Weiß jemand die technischen Hintergründe?

Ingo Althöfer.
Parent - By Stefan Pohl Date 2019-09-12 15:50 Upvotes 1
Ingo Althöfer schrieb:

Irgendwas läuft in der Premier-Division ganz falsch.
Stockfish hat jetzt schon ein zweites Mal wegen eines
Crashes verloren.

Weiß jemand die technischen Hintergründe?

Ingo Althöfer.


Es scheint ein Problem mit einem .dll-File zu geben (libwinpthread-1.dll). Dieses ist aber Teil der Compilerumgebung (http://www.mingw.org/), nicht von Stockfish selbst. Eine ältere Version dieses Files funktioniert, die neue Version wohl nicht, zumindest nicht 100%ig.

"After compiling the open source engine stockfish, I have problems to run the builtin benchmark of it ("bench"). So compiling is still fine, but I have hangs. It seems to be related with threading, but unfortunately I am not able to debug this issue.
official-stockfish/Stockfish#222
My SYS2 is fully updated, to compile stockfish I basically need only make and mingw-w64-x86_64-gcc. It has defintely something to do with the build tool-chain, because replacing the mingw64 folder with a mingw from Sourceforge (latest is only gcc 8.1.0 there) made the problem go away.
I manually downgraded libwinpthread-1.dll by downloading
http://repo.msys2.org/mingw/x86_64/mingw-w64-x86_64-libwinpthread-git-7.0.0.5447.a2d94c81-1-any.pkg.tar.xz
and putting (overwriting the existing) to C:\msys64\mingw64\bin
I am still testing, but the problem seems to be gone now.
Can you check if something is wrong with the latest libwinpthread?"
Parent - - By Michael Scheidl Date 2019-09-14 04:56
Nach 22 von 42 Runden mischt Stockfish trotz zweier Crashes immer noch in der Spitze mit:

N Engine                          Rtng  Pts Gm     SB X  Elo Perf Al   Lc   St   Ko   Ho   So   Km   Sc 

1 AllieStein v0.5-dev_1359f44-n10 3812 14.0 22 144.25 0 +107 63.6 ···· ===  =01  =1=  ===1 ==1  1=1  ==1
2 LCZero v0.22.0-nT40B.4-160      3907 13.0 22 133.50 0  -35 59.1 ===  ···· ==1  ===  ===  ===  11=  1===
3 Stockfish 190826                3895 13.0 22 132.50 2  -19 59.1 =10  ==0  ···· ===  10=  1=1= =1=  1=1
4 Komodo 2381.00                  3827 12.0 22 121.50 0  +24 54.5 =0=  ===  ===  ···· ===  ===  1=== 1=1
5 Houdini 6.03                    3833 11.0 22 119.25 0  -14 50.0 ===0 ===  01=  ===  ···· ===  ==1  ===
6 Stoofvlees II a12               3787 10.5 22 110.00 0  +25 47.7 ==0  ===  0=0= ===  ===  ···· 1==  =1=
7 KomodoMCTS 2381.00              3796  7.5 22  80.00 0  -84 34.1 0=0  00=  =0=  0=== ==0  0==  ···· =1=
8 ScorpioNN v3.0.1-n_maddex_INT8  3710  7.0 22  80.50 0   -4 31.8 ==0  0=== 0=0  0=0  ===  =0=  =0=  ····


Beim dritten Crash wäre SF. draußen und würde nächste Saison die 1. Liga aufmischen, auch lustig!
Parent - By Benno Hartwig Date 2019-09-14 08:06

> Beim dritten Crash wäre SF. draußen und würde nächste Saison die 1. Liga aufmischen, auch lustig!


Ich finde auch gerade so schön bei diesem TCEC-System, dass auch eine Engine aus der 1. Liga (oder auch von noch tiefer) durchstarten kann, also bereits in dieser Season der Champion werden kann.
Kein mühsames, langwieriges Ligen-Aufsteigen von Jahr zu Jahr. (Ligen-Abstieg wäre langwierig, ist aber sicher auch ok so)
Parent - By Stefan Pohl Date 2019-09-16 07:50 Upvotes 2
So, der Scorpio-Testrun ist nun durch. Damit habe ich von den Premier Division NN-Engines jetzt LCZero v0.22.0-nT40B.4-160 und ScorpioNN v3.0.1-n_maddex_INT8 (ich hab bei mr nur Scorpio 3 statt 3.0.1 geschrieben, weil diese lange Versionsnummer meine ORDO-Tabellen zu sehr aufbläht (Maddex und NN mußten ja auch noch in den Enginenamen mit rein)) durchgetestet.
Der Testrun von AllieStein v0.5-dev_1359f44-n10 läuft. Wobei hier anzumerken ist, daß ich nicht genau weiß, welches Leelenstein-Netz hier im TCEC genutzt wird. n10 deutet aber auf eine 10er Version hin. Daher habe ich das Leelenstein 10.2 Netz genommen, welches frei dwonloadbar ist. Zudem habe ich dieses Netz schon mit lc0 getestet, insofern ergibt sich hier die Gelegenheit, zu messen, ob Alli oder lc0 mehr Elo aus diesem Netz herausholt... Der Testrun ist aber gerade erst losgegangen und wird noch 6 Tage brauchen.

Stoofvlees II a12 kann und werde ich nicht testen, da diese Engine nicht öffentlich ist. Und ich teste prinzipiell nur Engines, die jedermann frei (oder gegen Bezahlung) zugänglich sind.
- - By Benno Hartwig Date 2019-09-04 20:45
Auch wenn es keine wirklich interessante Rundenzahl ist, soll hier doch auch mal eine Tabelle stehen:

N Engine                          Rtng Pts Gm   SB X Elo Perf St Lc Ko Al Ho So Km Sc

1 Stockfish 190826                3895 3.0  4 5.00 0 +17 75.0 ·· =  =        1     1
2 LCZero v0.22.0-nT40B.4-160      3907 2.5  4 5.00 0  -1 62.5 =  ·· =  =           1
3 Komodo 2381.00                  3827 2.5  4 4.50 0 +19 62.5 =  =  ··       =  1   
4 AllieStein v0.5-dev_1359f44-n10 3812 2.5  4 4.00 0 +19 62.5    =     ·· =  =  1   
5 Houdini 6.03                    3833 2.0  4 3.00 0 -10 50.0          =  ·· =  =  =
6 Stoofvlees II a12               3787 1.5  4 3.50 0  -6 37.5 0     =  =  =  ··     
7 KomodoMCTS 2381.00              3796 1.0  4 1.50 0 -32 25.0       0  0  =     ·· =
8 ScorpioNN v3.0.1-n_maddex_INT8  3710 1.0  4 1.50 0  -7 25.0 0  0        =     =  ··


Und es zeichnet sich bereits nach nur 4 Runden eine Reihenfolge ab, wie sie wirklich auch ungefähr plausibel sein mag.
Auch wenn ich Stoofvlees und Scorpio mehr zutraute.
Mal abwarten...
Parent - By Eduard Nemeth Date 2019-09-06 09:56
Komodo MCTS scheint überfordert.
Parent - - By Guenter Stertenbrink Date 2019-09-09 17:20 Edited 2019-09-09 17:30
stockfish waer gecrashed les ich da, aber nix im "crash-info"

gonzochess75: i'd bet it is a hardware problem, but sounds like SF going to be charged with the crash

:28Moderator8-Monats-Abonnent (6 Monate-Abzeichen)Aloril42: @FishcookingEnte No. cutechess-cli killed it when there was no response by time tcecSF ran out of time.

nach 13 Runden :


  
8.0,LCZero v0.22.0-nT40B.4-160
8.0,Stockfish
7.0,AllieStein
7.0,Komodo 2381.00
7.0,Stoofvlees II a12
6.5,Houdini 6.03
4.5,KomodoMCTS 2381.00
4.0,ScorpioNN v3.0.1-n_maddex_INT8

Parent - By Stefan Pohl Date 2019-09-10 12:57
Guenter Stertenbrink schrieb:

stockfish waer gecrashed les ich da, aber nix im "crash-info"



Es gibt einen "Issue"-Thread auf GitHub, auch mit Info-Log vom TCEC:

https://github.com/official-stockfish/Stockfish/issues/2291
- - By Benno Hartwig Date 2019-09-10 06:06
14 Partien jetzt jeweils, also jeder gegen jeden einmal mit schwarz und einmal mit weiß

1 Stockfish 190826                   14   9.0
2 LCZero v0.22.0-nT40B.4-160         14   8.5
3 AllieStein v0.5-dev_1359f44-n10    14   7.5
4 Komodo 2381.00                     14   7.5
5 Stoofvlees II a12                  14   7.5
6 Houdini 6.03                       14   7.0
7 KomodoMCTS 2381.00                 14   4.5
8 ScorpioNN v3.0.1-n_maddex_INT8     14   4.5


SF und Lc0 sind erneut an der Spitze (SF dabei im Moment ganz vorn)
und KomodoMCTS und Scorpio knnen nicht wirklich mithalten.
Parent - - By dkappe Date 2019-09-10 08:05
Genau das hatte ich befürchtet. Maddex (http://www.chessgames.com/perl/chessgame?gid=1140966) ist ungefähr 70 elo schwächer als 32930. Ich dachte das geht bis div1 und nicht weiter. Jetzt tritt Scorpio+Maddex gegen richtig schwere Jungs an.
Parent - - By Guenter Stertenbrink Date 2019-09-10 10:41
also, wieviel Elo bringen 1Million Trainingspartien ? So, sagen wir, ab Elo 3000

Und wie schaetzt du das Potential ein, dieses noch zu verbessern ?
Parent - By dkappe Date 2019-09-10 17:26
I hatte vast.ai benutzt um etliche Trainingspartien zu spielen. Das hätte noch 10,000,000-20,000,000 benötigt um an 32930 ranzukommen. So viel war ich nicht bereit auszugeben. Noch dazu kann Scorpio mit tensorrt keine SE Netze verwenden.

Bestimmt ist aus kleineren Netzen mehr rauszuholen. Bad Gyal 7 ist schon stärker als Gull und Pedone 4CPU bei einem Leela Ratio (t30) von 0.75. Ich experimentiere gerade und hoffe LD2 und selbst T40 mit Bad Gyal 8 zu überholen.
Parent - - By Eduard Nemeth Date 2019-09-10 14:16
Stefan Pohl hat das kleine LD2 Netz neulich getestet und es scheint stärker zu sein als das 32930! Und die T40 Netze sind ja noch stärker.
Parent - - By Tom Paul Date 2019-09-12 19:38
N Engine                          Rtng  Pts Gm     SB X Elo Perf Al  Lc  St  Ko  Ho  So  Km  Sc

1 AllieStein v0.5-dev_1359f44-n10 3812 11.5 19 104.25 0 +78 60.5 ··· === =01 =1  === ==1 1=1 ==
2 LCZero v0.22.0-nT40B.4-160      3907 11.5 19 104.00 0 -17 60.5 === ··· ==1 === === ==  11  1==

3 Stockfish 190826                3895 11.5 19 101.00 2  -7 60.5 =10 ==0 ··· === 10  1=1 =1  1=1

4 Komodo 2381.00                  3827 10.5 19  90.75 0 +26 55.3 =0  === === ··· ==  === 1== 1=1
5 Houdini 6.03                    3833 10.0 19  91.00 0  +1 52.6 === === 01  ==  ··· === ==1 ===
6 Stoofvlees II a12               3787  9.0 19  80.50 0 +19 47.4 ==0 ==  0=0 === === ··· 1== =1
7 KomodoMCTS 2381.00              3796  6.0 19  53.00 0 -95 31.6 0=0 00  =0  0== ==0 0== ··· =1=
8 ScorpioNN v3.0.1-n_maddex_INT8  3710  6.0 19  59.50 0  -4 31.6 ==  0== 0=0 0=0 === =0  =0= ···
Parent - - By Benno Hartwig Date 2019-09-12 21:48
Mal schauen, on die SF-Crashes am Ende SF angelastet werden oder nicht.
Parent - - By Michael Scheidl Date 2019-09-13 01:40
Das Reglement ist klar, es gibt keine "Lex Stockfish"! Trotzdem ist das natürlich ein Riesenskandal...
Parent - - By Benno Hartwig Date 2019-09-13 06:41
Es gab aber immer auch Partien, die wiederholt wurden aus Gründen, die ich nicht recht nachvollziehen konnte.
Ob sowas auch bei SF passieren wird, ist mir unklar.
Siehst du hier klarer?
Parent - - By Michael Scheidl Date 2019-09-13 11:34
Wiederholt wird meines Wissens nichts. Was gelegentlich passiert ist, daß Partien ab dem Abbruchzeitpunkt bzw. -Stellung wieder aufgenommen werden, weil der Crash keine Schuld einer Engine war sondern irgendwo in der Softwareumgebung. Also zum Beispiel eine Verbindungsunterbrechung zu einem Server wird dann keiner Engine angelastet. Das ist rechts unten unter "Crash info" gut dokumentiert (nach einiger Zeit zum Untersuchen).

Somit steigt die Spannung, ob Stockfish ins Finale kommt oder nicht
Parent - - By Peter Martan Date 2019-09-13 12:23 Edited 2019-09-13 12:25
Michael Scheidl schrieb:

Somit steigt die Spannung, ob Stockfish ins Finale kommt oder nicht

Naja, dass nicht, kann sogar ziemlich leicht passieren, bei einem weiteren Crash wird SF disqualifiziert und das schadhafte File scheint nicht ersetzt werden zu dürfen während der laufenden Runde.

http://talkchess.com/forum3/viewtopic.php?p=811876#p811876
Parent - - By Stefan Pohl Date 2019-09-13 12:37
Was es so ärgerlich macht, ist, daß dieser Compile eingereicht wurde, weil er ein paar Prozent schneller als der normale Compile auf abrok.eu ist, was sich bei der langen Bedenkzeit und der schnellen Hardware im TCEC sowieso nicht auswirkt. Völlig unnötig und dumm!
Parent - - By Michael Scheidl Date 2019-09-13 12:47
Ganz meine Meinung, ich sag's ja immer: Maximum ist nicht Optimum.

Natürlich lernen die Typen daraus absolut gar nichts derselbe Fehler wird immer wieder gemacht...
Parent - By Stefan Pohl Date 2019-09-13 13:08
Michael Scheidl schrieb:

Ganz meine Meinung, ich sag's ja immer: Maximum ist nicht Optimum.

Natürlich lernen die Typen daraus absolut gar nichts derselbe Fehler wird immer wieder gemacht...


Na, ich hoffe beim Stockfish-Team schon darauf, daß das ein heilsamer Schock war.
Parent - - By Jörg Oster Date 2019-09-13 22:40
Irgendwie glaube ich nicht so recht dran, dass es am Compile bzw. der .dll liegt ... 
Parent - - By Benno Hartwig Date 2019-09-13 23:07
Und welche andere Erklärung erscheint dir plausibler?
Parent - By Jörg Oster Date 2019-09-13 23:16
Es ist mehr so eine Ahnung, und muss nicht stimmen.
Mehr sage ich dazu auch nicht mehr. 
Parent - By Benno Hartwig Date 2019-09-13 20:53
Wenn irgendwo Wettrunden laufen, welche beiden Engines das Finale spielen, dann werden jetzt Allie-vs.-Lc0-Tipper vielleicht eine sehr, sehr gute Quote machen!
- By Benno Hartwig Date 2019-09-13 20:46
3 mal hat jetzt jeder gegen jeden gespielt:

N Engine                          Rtng  Pts Gm     SB X Elo Perf Al  Lc  St  Ko  Ho  So  Km  Sc

1 AllieStein v0.5-dev_1359f44-n10 3812 13.0 21 127.50 0 +90 61.9 ··· === =01 =1= === ==1 1=1 ==1
2 LCZero v0.22.0-nT40B.4-160      3907 12.5 21 123.75 0 -27 59.5 === ··· ==1 === === === 11= 1==
3 Stockfish 190826                3895 12.5 21 121.00 2 -15 59.5 =10 ==0 ··· === 10= 1=1 =1= 1=1
4 Komodo 2381.00                  3827 11.5 21 112.25 0 +26 54.8 =0= === === ··· === === 1== 1=1
5 Houdini 6.03                    3833 11.0 21 113.00 0  +3 52.4 === === 01= === ··· === ==1 ===
6 Stoofvlees II a12               3787 10.0 21  98.75 0 +20 47.6 ==0 === 0=0 === === ··· 1== =1=
7 KomodoMCTS 2381.00              3796  7.0 21  70.75 0 -85 33.3 0=0 00= =0= 0== ==0 0== ··· =1=
8 ScorpioNN v3.0.1-n_maddex_INT8  3710  6.5 21  71.00 0 -12 31.0 ==0 0== 0=0 0=0 === =0= =0= ···


Mit 2 Crashes auf dem Buckel tut sich SF natürlich schwer.
Und die Engine ist schon in großer Gefahr, ganz aus der Wertung zu fliegen.
Na, und Allie macht es schon auch richtig gut!
Komodo und Scorpio wirken überfordert.
- - By Benno Hartwig Date 2019-09-15 11:01
Unabhängig von der aktuellen TCEC-SF-Problematik:
AllieStein spielt ja erstaunlich stark!!!
Gibt es eigentlich Testergebnisse abseits von TCEC, die solch ein besonderes Erstarken von Allie bestätigen?
Parent - - By Stefan Pohl Date 2019-09-15 12:23 Edited 2019-09-15 12:46
Benno Hartwig schrieb:

Unabhängig von der aktuellen TCEC-SF-Problematik:
AllieStein spielt ja erstaunlich stark!!!
Gibt es eigentlich Testergebnisse abseits von TCEC, die solch ein besonderes Erstarken von Allie bestätigen?


Nein. Ich hab eine ältere 0.5dev versucht zu testen, diese verlor aber immer wieder, weil sie in simplen Endspielen illegale Züge machte. Die letzte offizielle Allie ist 0.4, die ist von Ende Mai. Die letzten Commits auf GitHub sind allerings auch schon alt: Letztes Update war am 16. Juni...
Allie spielt zudem mit Leelenstein-Netzen, von denen die meisten nur für zahlende Abonnenten auf patreon zur Verfügung stehen. Netz 10.2 war erstaunlicher frei downloadbar. Das wollte ich mit Allie testen, was wegen der eben genannten Problematik nicht ging. Dann hab ich nur das 10.2 Leelenstein-Netz mit Lc0 getestet. Kannst du auf meiner Website einsehen
https://www.sp-cc.de/lc0-testing.htm
Dann aufrufen: See the ORDO-rating of the archive-gamebase with all NN-testruns

Da siehst du, daß das 10.2 Netz nicht gerade doll ist (dabei ist es aber recht neu).

Bei Allie (und übrigens auch bei Scorpio) muß man bedenken, daß es Hybridengines sind, die sowohl NeuralNetze als auch AB-Suchalgorithmen nutzen. Das bedeutet aber auch, daß diese Engines eben sowohl die GPU als auch die CPU auslasten. Somit haben sie natürlich einen beträchtlichen Hardwarevorteil sowohl vor Lc0 (welche ja fast nur die GPU nutzt) als auch vor Stockfish (welcher nur die CPU nutzt). Also ein nicht unbedingt fairer Vergleich.
Der Scorpio-Testrun zeigt bei mir eine 100% Auslastung der CPU und über 75% GPU... (sehr stark wird das Ergebnis aber dennoch nicht werden, sollte morgen vorliegen).

Ich kann ja Allie dann nochmal probieren. Ich nutze jetzt ja cutechess-cli als GUI und will jetzt sowieso mal die 5er Syzygy der GUI (nicht den Engines!) zur Verfügung stellen, die dann bei Erreichen eines 5 Steiner Endspiels die Partie abbricht. Dann könnte sich das Problem mit den illegalen Zügen von Allie 0.5dev erledigt haben, weil es zu ganz einfachen Endspielen ja nicht mehr kommen kann. Mal schauen. Ich probiere das morgen mal aus.

Wer selber probieren will:
Allie 0.5dev: https://drive.google.com/file/d/1KTv7chC4mL7LMEfUrYjve1NpkfhIDFZC/view
Leelenstein 10.2 Net: https://www.patreon.com/file?h=28891632&i=4256072
Leelenstein 9.1 Net: https://www.patreon.com/file?h=28132633&i=4088911

Dazu angemerkt: Allie ist CUDA-only, läuft also nur als CUDA-Engine auf NVIDIA-GPUs
Parent - - By Peter Martan Date 2019-09-15 12:38 Edited 2019-09-15 12:40
Stefan Pohl schrieb:

Bei Allie (und übrigens auch bei Scorpio) muß man bedenken, daß es Hybridengines sind, die sowohl NeuralNetze als auch AB-Suchalgorithmen nutzen. Das bedeutet aber auch, daß diese Engines eben sowohl die GPU als auch die CPU auslasten. Somit haben sie natürlich einen beträchtlichen Hardwarevorteil sowohl vor Lc0 (welche ja fast nur die GPU nutzt) als auch vor Stockfish (welcher nur die CPU nutzt). Also ein nicht unbedingt fairer Vergleich.

Wie man's nimmt, Stefan, man könnte auch sagen, die anderen Engines, die nicht die ganze zur Verfügung stehende Hardware, sowohl CPU- als auch GPU, nutzen können, sind selbst schuld. Dürfen dürften sie ja auch.

Wäre übrigens meine nächste Empfehlung an chessbase, was Cloud- Angebote wie "Fat Fritz" angeht und ans komodo- Team, MCTS- komodo soll ja eh auch mal NN- Nutzung bekommen.
Parent - - By Stefan Pohl Date 2019-09-15 12:40
Peter Martan schrieb:

Stefan Pohl schrieb:

Bei Allie (und übrigens auch bei Scorpio) muß man bedenken, daß es Hybridengines sind, die sowohl NeuralNetze als auch AB-Suchalgorithmen nutzen. Das bedeutet aber auch, daß diese Engines eben sowohl die GPU als auch die CPU auslasten. Somit haben sie natürlich einen beträchtlichen Hardwarevorteil sowohl vor Lc0 (welche ja fast nur die GPU nutzt) als auch vor Stockfish (welcher nur die CPU nutzt). Also ein nicht unbedingt fairer Vergleich.

Wie man's nimmt, Stefan, man könnte auch sagen, die anderen Engines, die nicht die ganze zur Verfügung stehende Hardware, sowohl CPU- als auch GPU, nutzen können, sind selbst schuld. Dürfen dürften sie ja auch.



Sicher, so kann man das auch sehen. Ich hab da eigentlich auch nichts dagegen, ich teste Scorpio ja schließlich auch gerade. Wollte nur zum Ausdruck bringen, daß diese Engines mehr Hardware nutzen, als lc0 oder Stockfish.
Up Topic Hauptforen / CSS-Forum / TCEC-S16/Premier Division
1 2 Previous Next  

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill