Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / FCT1: SmarThink 1.70 SSE3 x64 läuft seit Mitternacht ...
- - By Frank Quisinsky Date 2014-08-21 11:42 Edited 2014-08-21 11:49
Hallo zusammen,

pünktlich zur Geisterstunde habe ich den Spießroutenlauf von SmarThink 1.70 SSE3 x64 gestartet.
Wer verfolgen möchte kann sich hin- und wieder gerne die LIVE Tabelle ansehen, von Zeit zu Zeit aktualisiere ich auch die 100ter Partie-Stats.

Weitere 30 Elo scheinen möglich, schaue ich auf CEGT.
So langsam bin ich dann auch mal bei nach dem Aufbau der Liste.

SmarThink steigerte sich nachdem Sergei wieder aktiv ist zunächst um ca. 100 Elo, dann um ca. 40 Elo und nun geht es weiter mit der 1.7.
Die 1.8 hat er auch schon angekündigt ... die Engine huscht also schnell von der Tabelle ganz unten ins sichere Mittelfeld.

Ungewohnt für mich das jetzt wieder alles so schnell geht.
4 Tage für ein Round-Robin bedeutet mehr Arbeit für mich aber es macht ja Spaß.
Vielleicht ist der zweite Rechner auch nur ein Fluch aber die Ergebnisse sind zumindest doppelt so schnell da.

Viele Grüße
Frank

Von den ersten 115 Partien muss ich direkt 5 wiederholen.
2x schnelles Remis unter 20 Zügen und gar 3x ne schlechte Stellung aus dem Buch mit über -1.0 (so ein Mist, sind immer noch einige drin ... egal die verschwinden hierdurch ja).
Ein Buchupdate werde ich nach dem Vajolet2 Round-Robin machen, also in ca. 8-10 Tagen.

Auffällig nach 100 Partie der für SmarThink untypische hohe Zügedurchschnitt. Das schon jetzt, nicht das sich der Stil komplett verändert hat.
Muss beobachtet werden.
Parent - - By Frank Quisinsky Date 2014-08-24 16:27
Hallo,

28 der bislang gespielten 920 Partien haben falsche Resultate aufgrund von einem Endspiel Fehler von SmarThink 1.70 SSE3 x64.
Dieser Fehler hat offensichtlich zu tun mit den Endspieldatenbanken.

So dann in klarer Remis Stellung 19 Partien gibt SmarThink dann einen halben Punkt.
Eine klar gewonnen Stellung führte zum Verlust und in 7 gewonnen Stellungen gab es ein Remis.

Die Ergebnisse wurden korrigiert (muss noch die Stats auf meiner Seite korrigieren).
Fehler reported in TalkChess mit Partie Download.

Hoffe Sergei findet den Fehler, macht ca. 15 Elo aus und erklärt die Unterschiede beim laufenden Test zur CEGT.
CEGT spielt ohne Aufgabefaktor, da werden die Partien abgebrochen.
Insofern schwieriger zu sehen bei dieser Einstellung.

Wie ich das hasse ...
Wollte keine BugReports mehr schreiben, hält nur auf und ist echt Arbeit bei der Erstellung einer Ratingliste oder noch mehr jetzt bei einem fortlaufenden Turnier.

Daher spielen auch keine Engines bei mir, welche von Bugs gezeichnet sind.
Das ist nur unnötige Arbeit für mich.

Nun ist der Round-Robin aber fast durch und mir ist der Fehler beim Zusehen einer Partie gegen Vajolet2 in Runde 45/50 aufgefallen.
So habe ich die Datenbank kontrolliert und 28 Partien der gespielten 920 Partien rausgefischt.



Gruß
Frank
Parent - By Frank Quisinsky Date 2014-08-24 17:54 Edited 2014-08-24 17:57
Code:
Stats after   100,   200 ... games!   Elo   Games  Score  Draws   White Black Points  w/ d/ l
    SmarThink 1.60 x64                2756  1.000  38.4%  36.8%   (predecessor)
--. SmarThink 1.70 SSE3 x64           ----  1.000  --.-%  --.-%   --,-  --,-  --,-   --/--/--
14. SmarThink 1.70 SSE3 x64           2778    900  41.2%  36.2%   24,0  22,0  46,0   29/34/37  +4,8% Elo go down
14. SmarThink 1.70 SSE3 x64           2774    800  40.6%  36.5%   20,0  21,5  41,5   22/39/39
14. SmarThink 1.70 SSE3 x64           2773    700  40.5%  36.1%   20,5  19,0  39,5   23/33/44
14. SmarThink 1.70 SSE3 x64           2772    600  40.7%  36.7%   25,0  21,0  46,0   31/30/39  +5,3% Elo go down
16. SmarThink 1.70 SSE3 x64           2765    500  39.6%  38.0%   21,5  16,0  37,5   16/43/41
15. SmarThink 1.70 SSE3 x64           2770    400  40.1%  36.8%   22,0  13,5  35,5   21/29/50  -4,6% Elo go high
14. SmarThink 1.70 SSE3 x64           2782    300  41.7%  39.3%   20,0  17,5  37,5   21/33/46  -4,2% Elo go high
12. SmarThink 1.70 SSE3 x64           2797    200  43.8%  42.5%   22,5  22,0  44,5   25/39/36
12. SmarThink 1.70 SSE3 x64           2790    100  43.0%  46.0%   25,5  17,5  43,0   20/46/34
 

                                         Points  Score  EloS  Ordo  +   -  Draws
01. Stockfish 03.08.14 BMI2 x64       812.0/995  81.6%  3083  3116  19 19  32.4%    
02. Komodo 7a x64                     788.0/995  79.2%  3058  3088  19 19  32.6%
03. GullChess 3.0 BMI2 x64            756.0/995  76.0%  3027  3055  18 18  36.0%
04. Fire 3.0 AVX x64                  657.5/995  66.1%  2947  2966  17 17  40.3%
05. Protector 1.6.0 x64               581.5/995  58.4%  2893  2905  16 16  46.1%
06. Chiron 2.0 x64                    577.0/995  58.0%  2890  2902  17 17  41.2%
07. Hannibal 1.4b x64                 544.0/995  54.7%  2868  2876  16 16  43.6%
08. Texel 1.04 x64                    524.5/995  52.7%  2855  2861  17 17  40.9%
09. Senpai 1.0 SSE42 x64              489.5/995  49.2%  2831  2835  16 16  43.3%
10. Hiarcs 14 WCSC w32                483.5/995  48.6%  2827  2835  16 16  44.9%
11. Shredder 12 x64                   442.0/995  44.4%  2800  2800  16 16  42.2%
12. Spike 1.4 Leiden w32              423.5/995  42.6%  2787  2785  17 17  41.3%
13. Junior 13.8.04 Yokohama x64       423.0/995  42.5%  2787  2785  16 16  43.4%
14. SmarThink 1.70 SSE3 x64           371.0/900  41.2%  2778  2775  18 18  36.2%
15. Quazar 0.4 x64                    401.0/995  40.3%  2772  2768  17 17  42.0%
16. Zappa Mexico II x64               390.0/995  39.2%  2764  2760  16 16  42.8%
17. Spark 1.0 x64                     382.5/995  38.4%  2759  2754  17 17  38.3%
18. Gaviota 1.0 AVX x64               351.5/995  35.3%  2737  2730  17 17  37.9%
19. Vajolet2 1.28 POP x64             350.0/995  35.2%  2736  2728  17 17  40.4%
20. Deuterium 14.2.33.276 x64         346.5/995  34.8%  2733  2726  17 17  40.1%
21. Nirvanachess 1.7 x64              305.5/995  30.7%  2702  2692  17 17  38.1%


Kurz vor Ende, also nach 900 von 1.000 Partien, und der Korrektur aller Stats, schaut es wie folgt aus ...

Smarthink hatte also 2 1/2 schlechte Serien und 2 gute Serien. Es ist davon auszugehen, dass das Rating eher leicht steigen als fallen wird. Vielleicht der krasseste Round Robin den ich von den Ergebnissen her in 100ter Schritten bislang gesehen habe. Letztendlich bildet aber der Durchschnitt wieder das plausible Ergebnis Ergebnis in Elo. Zur Zeit sind es +22 Elo. Wie gesagt, mit der leichten Tendenz nach oben wenn nicht wieder eine schlechte oder gute Serie kommt.

Auffällig ist ...

1. Die Engine hat einen Fehler bei Verwendung der Endspieldatenbanken, das steht fest. Hoffe Sergei korrigiert das in der ankündigten neuen Version 1.8.
2. Deutlich mehr kurze Gewinnpartien als Verlustpartien und auch hier ... gefühlsmäßig ist das Endspiel stärker geworden. Werde das heute am späten Abend auswerten wenn alle 1.000 Partien durch sind.

Ansonsten wurde ja schon viel im Thread von Michael Scheidl zu seinem Wohnzimmerturnier geschrieben.

Viele Grüße
Frank
Parent - - By Michael Scheidl Date 2014-08-24 18:23
Ich habe mir einige dieser Partien bzw. Problemstellen zunächst in Arena angesehen und kann das hier meist nicht reproduzieren, vereinzelt jedoch schon! Manchmal brachte in solchen Fällen ein Engine-Neustart von SmartThink Abhilfe. Dann konnte ich noch in Shredder Classic zwei der ersten zwölf Probleme reproduzieren aber zehn nicht.

Vielleicht hat es irgendwie mit Hashinhalten zu tun, denn bei mir waren die HT. natürlich fast oder ganz leer und wiesen somit nicht den Inhalt auf, der in der praktischen Testpartie vorhanden war. Es kommt mir so vor als ob der Bug bei neu gestartetem SmarThink bzw. leerem Hash nicht wirksam wird.

Möglicherweise haben auch diverse Konfigurationsdetails einen Einfluß darauf, ob und wann der Bug zuschlägt und wann nicht.
Parent - - By Frank Quisinsky Date 2014-08-24 18:42
Hi Michael,

also alle 28 Stellungen sind für mich klar. Sind gar noch 2 hinzu gekommen.
Habe die dann ohne TBs auch überprüft und da spielte die Engine in allen Fällen OK.

Beim Prüfen ist mir auch aufgefallen das Deuterium nicht mit KD-KT gewinnen kann.
Wirklich irre die produzierten Daten ... fällt einfach alles auf wenn ohne Aufgabefaktor gespielt wird.

Nur ich schaue in letzter Zeit eher auf die Eröffnungszüge wegen der Buchoptimierung und so sehe ich andere Dinge weniger.
Mehr Zeit müsste man haben.

Also, Konfiguration ist eigentlich klar (ist ja auch im Download File der SWCR Partien).
Sehe hier keinen Fehler.
Für mich eigentlich ein klarer Fehler der nur mit den Endspieldatenbanken zusammen hängen kann.
Bin mir hier eigentlich zu 99,9% sicher.

Hash-Table Fehler ist auszuschließen.
Wie soll das gehen wenn die Fehler am Ende der Partie kommen. Hash-Fehler kannst Du früher ausmachen, meist kommen Zeitüberschreitungen zu Stande oder in einfachen Stellungen die ausgeglichen sind plötzlich der dicke nicht reproduzierbare Fehler. Ist hier alles nicht der Fall.

Gruß
Frank
Parent - - By Werner Schüle Date 2014-08-25 10:13
Hallo Frank,
da wird er lange suchen müssen. Ich hatte so was ja schon mal gepostet auf talkchess.com. Damals habe ich festgestellt, dass auch ältere Versionen von Smarthink betroffen sind.
Ich habe auch mal einige deiner Beispiele hier wiederholen lassen in der Shredder GUI und konnte das Problem in einem Fall auch gleich nachvollziehen. Später beim Untersuchen der Stellung war dann das Problem plötzlich wieder weg und die Anzeige korrekt.

Viele Grüße
Werner
Parent - - By Frank Quisinsky Date 2014-08-25 10:57
Hallo Werner,

hm, muss dann mal in die älteren Versionen schauen.
Aber bei denen ist mir das nicht aufgefallen, schaue mir auch nicht so gerne Endspiele an ... wechsle dann beim Zusehen meist das Match.

Im Grunde kann das Problem ja einfach jeder selbst lösen, einfach ohne Tablebases konfigurieren ... kann nur damit zu tun haben.

Gruß
Frank
Parent - - By Werner Schüle Date 2014-08-25 11:08 Edited 2014-08-25 11:14
Hallo Frank,
ich glaube, im Multivariantenmodus sieht man den Fehler am besten:


-----
  1   0:00    +M20   1.Kf3 (0)
  1   0:00    +M16350  1.g3 (0)
  1   0:00    +M16350  1.g4 (0)
  1   0:00    +M16350  1.Kd1 (0)
  1   0:00    +M16350  1.Ke1 (0)
  1   0:00    +M16350  1.Kf1 (0)
Bester Zug: Ke2-f3 Zeit: 0:00.000 min

oder später:


199/199   0:00    0.00   2...Kb3 3.Kd2 (0)
Bester Zug: Kc4-b3 Zeit: 0:00.000 min

nach einem Neustart der Engine:
Engine: SmarThink 1.70 x64 (256 MB)
von Sergei S. Markoff
100/100   0:00    0.00   2...Kd4 (995)  TB:8
Bester Zug: Kc4-d4 Zeit: 0:00.000 minKnoten: 995 TB: 8

man sieht: oben wird gar nicht auf die tbs zugegriffen.

Werner
Parent - By Frank Quisinsky Date 2014-08-25 11:41
Hi Werner,

super!

Ist Dir der Fehler auch in SmarThink 1.6, 1.5 aufgefallen?
Die habe ich gar nicht untersucht danach.

Müsste mal getestet werden ob sich diese Version gleich verhält?
Rein von den Ergebnissen her (Vergleich mit Eurer Liste) ist der Fehler nicht drin denn die stimmen.
Muss immer einkalkulieren dass mit Aufgabefaktor deutlich weniger von diesen Partien produziert werden.

Ich habe in meiner SmarThink.ini jetzt mal die TBs ausgeschaltet für die kommenden Partien.
In den ersten 6 von 50 Partien lief auch alles normal im Vajolet2 Round-Robin.

Sergei ist offensichtlich nicht oft Online, hoffe er sieht die Fehlermeldung.

Gruß
Frank
Up Topic Hauptforen / CSS-Forum / FCT1: SmarThink 1.70 SSE3 x64 läuft seit Mitternacht ...

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill