STS Test ohne Suche

By Stefan Pohl Date 2019-06-24 18:30 Edited 2019-06-24 18:35 Upvotes 1

Auf talkchess gefunden:

Aren't the 1500 positions from the Strategic Test Suite look promising to compare several lc0 networks without any search involved? Lets find out.

[STS rating v13.1 for Lc0 0.21.2 with nodes = 1 or search depth = 1|4 for ab-engines

Code:

STS(elo)   net (nodes=1) | eng (depth=1|4)
-----------------------------------------------
1405    Hakkapeliitta TCEC v2 (d=1)
1449    K2 v.0.95 (d=1)
1473    Arasan 21.3 (d=1)
1519    Arasan 21.3 (d=4)
1540    11258-16x2-se
1555    Texel 1.07 (d=1)
1602    Vajolet 2.6.2 (d=1)
1690    11258-24x3-se  
1705    Stockfish 10 (d=1)
1754    Komodo 10 (d=1)
1767    Stockfish 10 (d=4)
1780    11258-32x4-se
1954    Hakkapeliitta TCEC v2 (d=4)
1993    11258-48x5-se 
1999    net54023
2052    K2 v.0.95 (d=4)
2077  new  net54057
2094    Texel 1.07 (d=4)
2105    Komodo 10 (d=4)  
2116    11258-64x6-se  
2233    11258-80x7-se  
2239    32930-112x9-se 
2287    11258-96x8-se  
2292    11258-104x9-se
2333    11258-112x9-se
2334    net52340  
2353    11258-128x10-se
2367    net53316
2475    net40x256_130
2516    net33000
2517  new  net40x256_150
2529    11258-256x12-se
2536    net42610
2544  new  net42647
2567    11258-200x20-se
2571    netT40.T8.610
2625    net11258

It's obvious, that networks without search are in quiet positions superior to ab-engines with minimal search. Imo STS delivers this and ranks the different networks quite nice :idea:

Ich bin generell kein Freund von Stellungstests zur Spielstärkeermittlung. Aber diese Ergebnisse in diesem extrem umfangreichen Strategietest sind so krass, daß ich sie mal hier posten wollte: lc0 mit dem Net aus dem TCEC Superfinal kommt hier ohne Suche auf eine Performance von 2571. Stockfish 10 mit Tiefe 1 auf 1705 und mit Tiefe 4 auf 1767. Das sind 800 Elo weniger !!!
Das erklärt so manches... z.B. warum lc0 trotz etwa Faktor 1000 langsamerer Suche als Stockfish im praktischen Spiel auf Augenhöhe mit Stockfish kommt.
Interessant auch (und erwartbar!), daß die destillierten, kleineren Netze deutlich schlechtere Ergebnisse in diesem Test ohne jede Suche erbringen (dafür sind diese Netze ja in der Suche dann deutlich schneller).

By Tom Paul Date 2019-06-24 19:28

Stefan Pohl schrieb:

Code:

STS(elo)   net (nodes=1) | eng (depth=1|4)
-----------------------------------------------
1405    Hakkapeliitta TCEC v2 (d=1)
1449    K2 v.0.95 (d=1)
1473    Arasan 21.3 (d=1)
1519    Arasan 21.3 (d=4)
1540    11258-16x2-se
1555    Texel 1.07 (d=1)
1602    Vajolet 2.6.2 (d=1)
1690    11258-24x3-se  
1705    Stockfish 10 (d=1)
1754    Komodo 10 (d=1)
1767    Stockfish 10 (d=4)
1780    11258-32x4-se
1954    Hakkapeliitta TCEC v2 (d=4)
1993    11258-48x5-se 
1999    net54023
2052    K2 v.0.95 (d=4)
2077  new  net54057
2094    Texel 1.07 (d=4)
2105    Komodo 10 (d=4)  
2116    11258-64x6-se  
2233    11258-80x7-se  
2239    32930-112x9-se 
2287    11258-96x8-se  
2292    11258-104x9-se
2333    11258-112x9-se
2334    net52340  
2353    11258-128x10-se
2367    net53316
2475    net40x256_130
2516    net33000
2517  new  net40x256_150
2529    11258-256x12-se
2536    net42610
2544  new  net42647
2567    11258-200x20-se
2571    netT40.T8.610
2625    net11258

Größer ist eben doch besser -> 40x256 -> 40x512

By Thomas Plaschke Date 2019-06-25 15:12

Die Reihung der A/B-Engines finde ich auch bemerkenswert: Komodo vor Stockfish und beide mit reichlich Abstand vor den anderen.

Viele Grüße
Th. Plaschke