SWCR-64: Test Umko 1.1 x64 (1.000 Partien) läuft ...

By Ingo Bauer Date 2010-11-29 15:23

Hallo Frank

[quote="Frank Quisinsky"]

PS: Leider testet Ingo (IPON) offenbar Umko 1.1 x64 nicht. Da mich interessiert, wie stark diese Engine nun mit Ponder = On ist (die Vorversion konnte noch nicht pondern, auch werden jetzt die GaviotaBases unterstützt) ist das Grund genug den Test vorzuschieben.
[/quote]

Auch mich würde interessieren wie stark Umko 1.1 mit Ponder ON ist, auch wäre ich mit dem Test schon seit gut einer Woche durch, wenn die Engine denn Pondern würde ... leider kann sie das immer noch nicht!

Gruß
Ingo

By Frank Quisinsky Date 2010-11-29 15:28 Edited 2010-11-29 15:33

Hallo Ingo,

pondert aber bei mir!

Läuft ja gerade, oder habe ich Tomaten auf den Augen ...
Eindeutig, pondert ... gibt Ponder-Treffer auch lt. TaskManager bzw. nutze Process Explorer 14.01.
Schaue noch mal nach!

Vielleicht meinst Du auch Umko 1.0a und Du hast das Update auf Version 1.1 verpasst.

Ohne Ponder habe ich Umko 1.0 x64 ja schon in meiner Liste integriert.

Code:

Ergebnis:
Umko 1.0 x64                 2608   18   18  1120   35%  2715   37% (ponder not possible)

Code:

Lt. dem Crafty 23.3 x64 Test macht pondern aus:
Crafty 23.3 JA x64           2602   18   18  1120   35%  2715   35% 
Crafty 23.3 JA x64 NP        2555   20   21   880   27%  2724   32% (test without ponder)

Also ca. 47 ELO!
Insofern sollte Umko 1.1 x64 ca. bei 2.655-2.665 landen (vielleicht 10 ELO wegen den GaviotaBases bzw. lt. CEGT +2 von Version 1.0 zu 1.1).

Gruß
Frank

By Ingo Bauer Date 2010-11-29 15:36

Hmm,

Ich hatte sogar nach einem schnelleren Compile gefragt, und dann mitbekommen das das Ding nicht ponderte. Ponderzüge wurden angezeigt, daran kann ich mich erinnern, die CPU-Last war aber auf Null, so als ob die Engine intern nichts macht ... ich teste heute Abend nochmal, vielleicht war ich zu voreilig ... mal sehen.

Gruß
Ingo

By Frank Quisinsky Date 2010-11-29 15:42

Hi Ingo,

teste das nochmal.
Pondert hier, eindeutig !!
Wäre schön wenn Du auch testen könntest, hätten wir eine Vergleichs Engine mehr.

Gruß
Frank

By Klaus S. Date 2010-11-29 15:56

Hi Frank,

auf deiner page Aktuell 89 steht: Heute Nachmittag startet ein Spießroutenlauf mit Umko 1.0 x64 für die SWCR-64.

sollte wohl dann Umko 1.1 x64 heißen

Gruß
Wilfried

By Frank Quisinsky Date 2010-11-29 16:00

Hallo Wilfried,

oh ja, muss ich ändern.
Bin wirklich mal gespannt.
26 Engines im Spießroutenlauf, also Platz 1-26 gegen Umko.
Umko 1.1 x64 sollte Platz 20 hinter Onno 1.2.70 (derzeit auf Platz 19) belegen.

Gab ja direkt bei den ersten Partien gegen die super starken die ersten Packungen.
Kämpft aber derzeit in der ersten Partie gegen IvanHoe T0.5.4.1 x64 um ein Remis ... wird Remis!

Nochmals DANKE!

Gruß
Frank

By Frank Quisinsky Date 2010-11-29 16:47

Hallo zusammen,

kleine Korrektur:
Natürlich hat Umko 1.1 x64 25 und nicht 26 Gegner (werden immer 40 Partien gespielt, 40x25 = 1.000 Partien).

Sorry!

Gruß
Frank

By Ingo Bauer Date 2010-11-29 17:20

Hallo Frank,

Danke für den Tip, sie 'scheint' zu Pondern. Leider habe ich das File von vor ein paar Tagen nicht mehr, aber ich bin ziemlich sicher das da keine SSE42 Version drin war ...

Ansonsten ist die Engine wohl noch ein bischen Buggy. Wenn man versucht die komplette CPU zu nutzen, also 2,4 oder 6 Kerne, benutzt Umko 1.1 nie 100% CPU. Bei einem Kern scheint es aber mit der korrekten Prozentzahl zu laufen. Ich teste unter verschärfter Beobachtung ...

(und gehe später live!)

Gruß
Ingo

By Frank Quisinsky Date 2010-11-29 17:28

Hallo Ingo,

OK, habe selbst nicht mit mehr als einem Core getestet.
Also derzeit sind 26 / 1.000 Partien gespielt, Ponder läuft problemlos.
Es gab keine Zeitüberschreitung auch sonst keine auffälligen Probleme, gerade mal die 26 Partien überprüft!

Gruß
Frank

By Frank Quisinsky Date 2010-12-02 21:50 Edited 2010-12-02 21:52

Hallo zusammen,

morgen früh endet der laufende Umko 1.1 x64 Test.
1.000 40 Minuten Partien wurden in 4 Tagen gespielt.

Umko 1.1 x64 2639 20 20 895 37% 2734 36% NEW + 32
Umko 1.0 x64 2607 18 18 1120 35% 2714 37% (ponder not possible)

Zu sehen ist, dass Umko 1.0 x64 eine von zwei Engines ist, die ich testweise ohne Ponder in der SWCR spielen ließ (zweite Engine ist Chronos 1.99 x64). Dies weil der Ponder Mode bei beiden noch nicht implementiert war / ist und ich nur darauf wartete das genau dies erfolgt, um einen weiteren schönen Vergleich ... wie jetzt bei Umko ... zu haben.

Lt. CEGT spielt Umko 1.1 x64 1Core 2 ELO besser als Umko 1.0 x64 ... ohne Ponder!
Hinzugekommen bei Umko ist der Ponder Mode und die GaviotaBases.

Ponder macht lt. dem SWCR Crafty 23.3 x64 Test 47 ELO aus.
Crafty hat meines Erachtens eine optimale Ponder-Umsetzung, daher sehr gut für die kommende Vergleiche zu diesem Thema heranzuziehen!
GaviotaBases 4-Steiner machen vielleicht 10 ELO aus.

60 ELO wurden erwartet, tatsächlich werden es allerdings "nur" runde 30 ELO.
Also 20 ELO mehr durch Ponder = On!
Grundsätzlich läuft der Ponder korrekt aber ...

Alles hat eine Ursache!
Vergleichbar zu vielen anderen Engines kommen die Ponder Züge bei Umko 1.1 x64 zu schnell. Das passiert z. B. auch bei der Ipp Familie, Spark und vielen anderen Engines. Dadurch verbleibt Zeit auf der Uhr. Auch das ist ein Beeinflussungsfaktor der bis zu 15 ELO ausmachen könnte. Und auch das macht es schwierig Ponder = on Ratinglisten mit Ponder = off Ratinglisten zu vergleichen.

An dem Ergebnis nach fast 900 Partien wird sich bis morgen früh kaum etwas verändern. Die Engine steht schon seit Partiennummer 380 bei 2.634 - 2.640 schwankend!
Wer es beobachtet hat wird freundlich NICKEN ... bitte nicht dabei verrenken!

Es folgt nun Critter 0.90 x64.
Der Test startet morgen früh und wird bis Montag Nachmittag laufen.
Also volle SWCR Power für Critter 0.90 x64 übers Wochenende!

Die LIVE Tabelle kann wie immer direkt über meine Webseite verfolgt werden.

Gruß
Frank

By Frank Quisinsky Date 2010-12-03 07:36

Hallo zusammen,

Zwecks Vervollständigung hier noch die Ergebnisse von Umko 1.1 x64.

- Permanent Brain erstmalig seit dieser Version möglich
- GaviotaBases werden seit dieser Version erstmalig unterstützt

Damit ist Umko 1.1 x64 derzeit auf Platz 20 in der SWCR-64!
Begrüßen wir also freundschaftlich voller Herzensfreude ein neues TOP-20 Programm!

Code:

Umko 1.1 x64
Die Partien wurden vom 29.11.- 03.12.2010 gespielt

Umko 1.1 x64 - Rybka 4 x64 Exp. 42 (2965)          2.5 - 37.5   6.25%  Perf=2495
Umko 1.1 x64 - IvanHoe T0.5.4.1 x64 (2948)         6.0 - 34.0  15.00%  Perf=2647
Umko 1.1 x64 - Stockfish 1.9.1 JA x64 (2899)       7.0 - 33.0  17.50%  Perf=2630
Umko 1.1 x64 - Critter 0.80 x64 (2841)             8.5 - 31.5  21.25%  Perf=2614
Umko 1.1 x64 - Naum 4.2 x64 (2837)                11.5 - 28.5  28.75%  Perf=2680
Umko 1.1 x64 - Komodo 1.2 JA x64 (2804)           10.5 - 29.5  26.25%  Perf=2625
Umko 1.1 x64 - Shredder 12 (2800)                 10.5 - 29.5  26.25%  Perf=2621
Umko 1.1 x64 - Sjeng c't 2010 (2796)               8.5 - 31.5  21.25%  Perf=2569
Umko 1.1 x64 - GullChess 1.0a x64 (2773)          11.5 - 28.5  28.75%  Perf=2616
Umko 1.1 x64 - Spark 0.5 x64 (2742)               11.5 - 28.5  28.75%  Perf=2585
Umko 1.1 x64 - Thinker 5.4d Inert x64 (2740)      16.0 - 24.0  40.00%  Perf=2670
Umko 1.1 x64 - Hiarcs 13.1 (2738)                 12.0 - 28.0  30.00%  Perf=2591
Umko 1.1 x64 - Zappa Mexico II x64 (2725)         16.0 - 24.0  40.00%  Perf=2655
Umko 1.1 x64 - Junior 12.0 x64 (2720)             15.5 - 24.5  38.75%  Perf=2641
Umko 1.1 x64 - Fruit 09_07_05 x64 (2719)          15.5 - 24.5  38.75%  Perf=2640
Umko 1.1 x64 - Protector 1.3.6-370 JA x64 (2707)  15.5 - 24.5  38.75%  Perf=2628
Umko 1.1 x64 - Hannibal 1.0a x64 (2685)           25.0 - 15.0  62.50%  Perf=2773
Umko 1.1 x64 - Onno 1.2.70 x64 (2680)             16.5 - 23.5  41.25%  Perf=2619
Umko 1.1 x64 - Loop 2007 x64 (2633)               24.5 - 15.5  61.25%  Perf=2712
Umko 1.1 x64 - Crafty 23.4 JA x64 (2628)          18.0 - 22.0  45.00%  Perf=2594
Umko 1.1 x64 - Jonny 4.00 (2615)                  18.5 - 21.5  46.25%  Perf=2589
Umko 1.1 x64 - Equinox 0.87t x64 (2612)           18.0 - 22.0  45.00%  Perf=2578
Umko 1.1 x64 - SmarThink 1.20 x64 (2605)          19.5 - 20.5  48.75%  Perf=2597
Umko 1.1 x64 - Tornado 4.25 x64 (2570)            28.0 - 12.0  70.00%  Perf=2717
Umko 1.1 x64 - BugChess2 1.7 x64 (2561)           18.0 - 22.0  45.00%  Perf=2527

364.5 - 635.5  36.45%  Perf=2637
1000 of 1000 games played
Next SWCR game database update around December 23th, 2010

Conditions:
Windows XP Prof. x64 Edition
SClassic 4, Fritz 11 GUI
S12: Random-Book 4.1
F12: Perfect 2010

40 moves in 10 minutes
ponder = on
each engine = 1 core
resign / learning = off
hashtables = 256Mb
4TB Nalimov, GaviotaB., egbb,
ShredderB., TotalB. & TripleB.

Intel® Core(TM)2 Quad
4x Q9550, 2,83GHz

Code:

67.879 SWCR games
Last update: December 02nd, 2010 (06:30)

At the moment 15 updates ...
112. x64 GullChess 1.1             Update   Scheduled: 06.12.2010
111. x64 Critter 0.90              Update   Started: 03.12.2010
110. x64 Umko 1.1 x64              Update   Started: 29.11.2010
109. x64 Rybka 4 Exp. 42           Update   Started: 11.11.2010 setting
108. w32 Zarkov 6.44               NEW      Started: 11.11.2010 private, for SWCR-64
107. x64 Tornado 4.25              Update   Started: 11.11.2010
106. x64 Crafty 23.4 JA            Update   Started: 10.11.2010
105. w32 Sjeng c't 2010            Update   Started: 10.11.2010 for SWCR-64
104. x64 Stockfish 1.9.1 JA        Update   Started: 08.11.2010
103. x64 IvanHoe T0.5.4.1          Update   Started: 07.11.2010
102. x64 Equinox 0.87t             Update   Started: 07.11.2010 private
101. x64 Junior 12.0 31.10.10      Update   Started: 07.11.2010
100. x64 Gaviota 0.80              NEW      Started: 07.11.2010
098. w32 Jonny 4.00                Again    Started: 07.11.2010 for SWCR-64
099. x64 Protector 1.3.6 Rev. 370  Update   Started: 07.11.2010

are still running for SWCR-64!

Rank Name                          Elo    +    - games score oppo. draws 
   1 Rybka 4 x64 Exp. 42          2968   28   27   647   82%  2701   23% NEW +  21
   2 Rybka 4 x64                  2947   18   18  1440   82%  2690   28% 
   3 IvanHoe T0.5.4.1 x64         2944   26   25   665   81%  2703   29% NEW +   2
   4 IvanHoe T0.4 x64             2942   22   21   920   79%  2723   32% 
   5 Rybka 3 x64                  2908   23   22   840   78%  2690   28% 
   6 Stockfish 1.8.0 JA x64       2905   19   19  1120   76%  2703   31% 
   7 Stockfish 1.7.1 JA x64       2899   19   19  1120   76%  2709   34% 
   8 Stockfish 1.9.1 JA x64       2898   25   25   647   75%  2704   31% NEW -   7
   9 Stockfish 1.9.1 JA           2894   21   20   960   78%  2690   31% 
  10 Rybka 4                      2892   18   18  1200   76%  2696   32% 
  11 Stockfish 1.7.1 JA           2874   18   18  1200   75%  2689   31% 
  12 Stockfish 1.8.0 JA           2862   20   20   920   74%  2696   37% 
  13 Rybka 3                      2859   16   16  1520   74%  2688   31% 
  14 Critter 0.80 x64             2840   16   16  1454   69%  2701   32% 
  15 Naum 4.2 x64                 2834   14   13  2014   68%  2698   35% 
  16 Stockfish 1.6.3 JA           2826   18   18  1080   71%  2679   36% 
  17 Naum 4.2                     2823   15   15  1680   68%  2696   35% 
  18 Critter 0.80                 2815   18   18  1040   67%  2695   37% 
  19 Naum 4.1                     2810   20   19   920   68%  2685   35% 
  20 Critter 0.70 x64             2810   20   20   880   65%  2704   38% 
  21 Komodo 1.2 JA x64            2802   14   14  1773   65%  2693   38% 
  22 Stockfish 1.6.0 JA           2801   19   19   960   68%  2686   39% 
  23 Shredder 12                  2800   10    9  4214   64%  2697   36% 
  24 Sjeng c't 2010               2798   23   23   647   62%  2707   34% NEW + 107
  25 Komodo 1.0 JA x64            2794   20   20   840   64%  2696   40% 
  26 Shredder 12 x64              2790   15   15  1600   63%  2693   34% 
  27 Naum 4.0                     2784   19   18   960   65%  2681   38% 
  28 Deep Fritz 12                2780   14   14  1760   62%  2699   41% 
  29 Critter 0.70                 2776   19   19   920   61%  2702   39% 
  30 GullChess 1.0a x64           2773   16   16  1297   57%  2720   38% 
  31 Komodo 1.2 JA                2759   17   17  1200   58%  2700   41% 
  32 GullChess 1.0a               2746   19   18   960   58%  2696   39% 
  33 Fritz 12                     2745   17   16  1160   59%  2687   44% 
  34 Spark 0.5 x64                2742   14   14  1774   57%  2694   37% 
  35 Thinker 5.4d Inert x64       2739   13   13  2014   55%  2700   38% 
  36 Hiarcs 13.1                  2738   12   12  2500   54%  2712   39% 
  37 Stockfish 1.5.1 JA           2730   19   19   840   59%  2671   43% 
  38 Zappa Mexico II x64          2724   13   13  2014   53%  2700   39% 
  39 Spark 0.4 x64                2720   20   20   840   53%  2699   40% 
  40 Junior 12.0 x64              2718   23   23   648   51%  2710   33% NEW +  32
  41 Fruit 09_07_05 x64           2718   13   13  2014   52%  2700   35% 
  42 Komodo 1.0 JA                2715   16   16  1200   53%  2694   40% 
  43 Protector 1.3.4 JA x64       2715   14   15  1640   52%  2704   37% 
  44 Thinker 5.4d Inert           2711   12   12  2240   52%  2699   42% 
  45 Spark 0.5                    2708   16   16  1200   51%  2702   41% 
  46 Protector 1.3.6-370 JA x64   2706   23   23   647   49%  2711   34% NEW -   9
  47 Critter 0.60 x64             2703   20   20   840   50%  2700   38% 
  48 Sjeng WC-2008 x64            2691   14   14  1680   48%  2704   36% 
  49 Doch 1.3.4 JA                2689   19   19   840   51%  2685   44% 
  50 Protector 1.3.5 x64          2688   20   20   840   47%  2710   39% 
  51 Critter 0.60                 2687   19   19   920   50%  2687   39% 
  52 Junior 11.2 x64              2686   16   16  1440   49%  2698   31% 
  53 Junior 11.2                  2686   17   17  1200   48%  2703   33% 
  54 Spark 0.4                    2685   19   19   880   49%  2691   42% 
  55 Hannibal 1.0a x64            2681   15   15  1454   47%  2705   35% 
  56 Onno 1.2.70 x64              2679   14   14  1774   48%  2695   37% 
  57 Protector 1.3.4 JA           2679   14   14  1600   47%  2700   39% 
  58 Cyclone xTreme Wrath         2675   17   17  1080   47%  2697   41% 
  59 Onno 1.1.1 x64               2674   20   20   840   46%  2701   40% 
  60 Protector 1.3.2              2673   17   17  1160   47%  2694   41% 
  61 Protector 1.3.5 JA           2669   19   19   840   44%  2711   42% 
  62 Junior 2010                  2668   16   16  1240   47%  2690   36% 
  63 Hiarcs 12.1                  2666   19   19   880   47%  2688   41% 
  64 Protector 1.3.1b             2666   19   19   840   47%  2689   42% 
  65 Sjeng WC-2008                2665   12   12  2240   45%  2700   37% 
  66 Doch 1.2 JA                  2665   19   19   840   48%  2678   40% 
  67 Hiarcs 12.1 Sharpen PV       2664   16   16  1280   45%  2698   39% 
  68 Zappa Mexico II              2661   12   12  2240   44%  2700   42% 
  69 Spark 0.3a                   2655   17   17  1120   44%  2697   41% 
  70 Doch 09.980 JA               2651   19   19   840   46%  2675   42% 
  71 Junior 11.1a x64             2651   20   20   840   43%  2703   32% 
  72 Junior 11.1a                 2644   18   19   960   44%  2691   36% 
  73 Spark 0.3                    2642   19   19   880   43%  2690   42% 
  74 Umko 1.1 x64                 2638   19   19  1000   36%  2733   36% NEW +  31
  75 Hannibal 1.0a                2636   18   18  1080   40%  2704   36% 
  76 Bright 0.5c                  2635   19   19   960   41%  2700   35% 
  77 Onno 1.2.70                  2635   17   17  1200   40%  2705   40% 
  78 Loop 2007 x64                2631   14   14  1894   39%  2709   35% 
  79 Loop M1-T x64                2631   20   20   880   38%  2720   37% 
  80 Crafty 23.4 JA x64           2630   23   24   648   38%  2714   33% NEW +  29
  81 Onno 1.1.1                   2630   15   15  1520   40%  2694   41% 
  82 Jonny 4.00                   2615   15   15  1625   37%  2707   31% NEW
  83 Fruit 05/11/03               2615   12   12  2240   38%  2700   41% 
  84 Equinox 0.87t x64            2615   23   23   665   36%  2715   33% NEW +  13
  85 Twisted Logic 20100131x x64  2614   18   18  1120   35%  2719   32% 
  86 Loop 13.6                    2614   15   15  1520   38%  2695   39% 
  87 Critter 0.52b                2613   18   18  1040   38%  2698   37% 
  88 Glaurung 2.2 JA              2609   18   18  1080   37%  2699   36% 
  89 Loop 2007                    2609   17   17  1200   36%  2705   35% 
  90 Ktulu 9.03                   2608   14   14  1760   37%  2702   31% 
  91 Umko 1.0 x64                 2607   18   18  1120   35%  2714   37% (ponder not possible)
  92 SmarThink 1.20 x64           2605   13   13  2014   37%  2702   34% 
  93 Equinox 0.83 x64             2602   18   19  1080   34%  2723   33% 
  94 Crafty 23.3 JA x64           2601   18   18  1120   35%  2714   35% 
  95 SmarThink 1.20               2594   13   13  2240   35%  2701   37% 
  96 Equinox 0.83                 2579   19   19   960   33%  2703   34% 
  97 Twisted Logic 20100131x      2573   15   15  1600   32%  2706   30% 
  98 Spike 1.2 Turin              2572   15   16  1480   31%  2707   34% 
  99 Cipollino 3.25 x64           2572   20   21   880   30%  2722   32% 
 100 BugChess2 1.7 x64            2565   19   19  1040   28%  2727   30% 
 101 Tornado 4.25 x64             2564   24   25   665   30%  2717   26% NEW +  81
 102 Crafty 23.3 JA               2564   19   20   960   31%  2703   32% 
 103 Scorpio 2.6 JA x64           2558   18   19  1120   28%  2721   32% 
 104 Crafty 23.2 JA x64           2558   18   19  1120   28%  2721   30% 
 105 Chronos 1.99 x64             2555   18   19  1120   27%  2722   33% (ponder not possible)
 106 Crafty 23.3 JA x64 NP        2554   20   21   880   27%  2723   32% (test without ponder)
 107 Daydreamer 1.75 JA x64       2524   19   19  1120   24%  2723   30% 
 108 Tornado 3.6.7 x64            2483   23   24   840   19%  2729   24% 
 109 Zarkov 6.44                  2481   27   28   625   20%  2726   24% NEW
 110 Gaviota 0.80 x64             2378   31   33   625   12%  2730   15% NEW

Frank's Chess Page, SWCR
http://www.amateurschach.de

Best
Frank