TCEC - nettes Turnier bei langer Bedenkzeit + schneller HW

By Michael Scheidl Date 2011-02-04 15:21

Dabei hat Rybka 4 sogar bereits aufgeholt. Nach 12 Partien stand es nach Siegen 5:1 für Houdini (bei 6 Remis), also 8,0:4,0.

Die dort jeweils erreichten Rechentiefen sind phänomenal. Vor einigen Jahren wäre ich noch überzeugt gewesen, daß bei solchen Rechentiefen eigentlich alles Remis ausgehen muß. Wie man sieht, ein Irrtum.

Dieses TCEC ist wirklich sehr gut gemacht, und hat schon "weltweit" Aufmerksamkeit bekommen, sogar bis in die New York Times. Dadurch werden die diversen neuen, starken Engines in allgemeinen Schachkreisen bekannter. Siehe auch

http://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=35950

By Thomas Müller Date 2011-02-04 16:03

Hi,

die seite von martin gibt es schon länger, allerdings hat er jetzt mit dem tollen design es zur perfektion gebracht!
Ich finde das absolut TOP wie das präsentiert wird!

gruß thomas

By Martin Thoresen Date 2011-02-04 16:50

Thank you for your nice words everyone. I am truly honored.

Best,
Martin
www.tcec-chess.org

By Benno Hartwig Date 2011-02-04 17:11

[quote="Michael Scheidl"]Vor einigen Jahren wäre ich noch überzeugt gewesen, daß bei solchen Rechentiefen eigentlich alles Remis ausgehen muß. Wie man sieht, ein Irrtum.[/quote]CEGT erklärt ja

Code:

40/20    all Versions    36,5 % remis
40/4     all Versions    31,4 % remis

CCRL sagt

Code:

40/40      37,6 % remis
40/4       29,6 % remis

Eine Tendenz hin zu remis lässt sich bei längeren Zeiten wohl wie du schon vermutetest belegen.
Ich vermute aber, auch bei noch deutlich größeren Suchtiefen wird die Anzahl der Remisen nicht übertrieben groß.
Auch am jeweiligen Horizont der noch deutlich größeren Tiefen werden sich Dramen abspielen, die sich per minimax zum aktuellen Zug fortpflanzen.
Auch über jeweils diese Horizonte hinaus werden die Engines nicht blicken können.

Und es ist darüber hinaus ja eben noch offen, ob es dann in Richtung remis geht, oder doch erzwungener Sieg für weiß (oder ggf. ja doch schwarz

).

Benno

By Joe Nettelbeck Date 2011-02-04 22:35

Im Fernschach erreichen die Remisquoten bei Spitzenturnieren (etwa dem Finale der DFM) locker 70%. Natürlich ist Fernschach was anderes als ein Engineturnier, aber über die prominente Rolle von Engines brauchen wir ja nicht zu reden.

By Frank Quisinsky Date 2011-02-06 11:05

Hi Joe,

wird auch schön aus der SWCR Champions-League ersichtlich, siehe Hinweise unter den Tabellen.
Bei der Runde 3 waren es schon 55%, allerdings auch weil sich der ELO-Durchschnitt steigert.

Ist nicht einfach solche Aussagen zu treffen weil 2 Komponenten zusammen einfließen:

- höhere Bedenkzeit
- höhere Spielstärke

Wenn ich jetzt aber hingehe und mir die Durschnittswerte der SWCR bei 40 in 10 hole und dann vergleiche mit den 55% Remisquote der Runde 3 bzw. hochrechne ...

Wie hoch wäre denn die Remisquote bei 4x 40 Züge in 150 Minuten komme ich anstatt auf 55% auf 67% !!
In Anbetracht das die gleichen Engines bei der SWCR und 40 Züge in 10 Minuten auf 41% gekommen sind.
Zuwachs verdoppelt sich natürlich nicht mit mehr Zeit.

Also, Remisquote bei 4x 40 Züge in 150 Minuten läßt sich leicht hochrechnen und wäre bei den gleichen Engines die in Runde 3 der SWCR Champions-League 2011 55% erreichten dann 67%. Mehr Zeit als 4x 40 Züge in 150 Minuten wird durchschnittlich sicher auch kaum im Fernschach eingesetzt.

Insofern werden die von Dir angesprochenen 70% ganz sicher absolut realistisch sein und mit den TOP-Engines gar vergleichbar!

Gruß
Frank

By Frank Quisinsky Date 2011-02-06 11:15

Gespannt bin ich auf die Remisquote im Finale.
Das startet ca. am Dienstag.

Denke die Remisquote wird sich im Finale (höhere Durchschnittspielstärke als in Runde 3) nochmals erhöhen.
Wahrscheinlich auf um die 60% !!

Und je höher die Remisquote, desto geringer wird auch der Vorsprung von Houdini auf die Konkurrenz.
Das ist ganz interessant zu beobachten !!!

Gruß
Frank

By Frank Quisinsky Date 2011-02-06 10:53

Hallo Benno,

schade ist nur das bei TEC ohne Ponder gespielt wird. Die Bedenkzeit von Zug 40-80 ist bei der SWCR Champions-League auch ca. 3x höher.

Spiele ja mit
01-40 40 Züge in 150 Minuten
41-80 40 Züge in 150 Minuten
und ponder = on.

Dafür ist bei TEC die Hardware ca. 30% schneller.
Mehr Hash macht nicht wirklich etwas aus.
Bei TEC dann mit Endspieldatenbanken und meheren Cores.

Wo kann ich eigentlich die Partien von TEC herunterladen.
Werde oft gefragt weil ich auf der SWCR Champions-League 2011 Seite selbst Werbung für TEC mache und von meiner Seite schon mehr als 8.000x auf TEC geklickt wurde?

Mit mehreren Cores zu spielen finde ich auch nicht so gut, Thema reproduzieren von Zügen.
Was aber auch egal ist wenn die Partien nicht zur Verfügung gestellt werden.

Und zu den Suchtiefen, die sind z. B. in der wichtigen Partiephase (Zug 40 - 80 ca. gleich hoch im Vergleich zu TEC).
Klar mit Ponder und ca. 3x mehr Zeit ... gleicht die Hardware, no ponder und mehrere Cores wieder aus.

Da meine Partien zum Download angeboten werden ist reproduzierbarkeit wichtig.

Ich mag die TEC Seite, trotzdessen mir meine Bedingungen deutlich besser gefallen weil die Aufmachung wirklich TOP ist, daher linke ich auch direkt von der SWCR Champions-League 2011 Seite dort hin.

Schön wäre es wenn er mit Ponder spielen lassen würde, Partien ohne Ponder sind irgendwie nur halbe Partien, da das Zeitmanagement, gerade bei den hohen Bedenkzeiten beeinflusst wird. Fällt auch sehr schön auf wenn mal eine komplette TEC Partie beobachtet wird !!

Gruß
Frank

By Klaus S. Date 2011-02-06 13:40

[quote="Frank Quisinsky"]...
Wo kann ich eigentlich die Partien von TEC herunterladen.
Werde oft gefragt weil ich auf der SWCR Champions-League 2011 Seite selbst Werbung für TEC mache und von meiner Seite schon mehr als 8.000x auf TEC geklickt wurde?
...[/quote]Hi Frank,

im "Fenster" Engine Output > Download: Current game PGN | All games PGN | Schedule

oder auch klick auf Feld d8.

Gruß
Wilfried

By Martin Thoresen Date 2011-02-06 18:46

Frank,

Actually if you use Ponder = ON on the same machine, you have no guarantee that the processor will give each engine the exact same amount of priority.

In a processor with multitple cores, the cache sub-system is divided between the cores. If I were to use Ponder = ON then the cache
and memory subsystem would be shared between the engines and this could affect the CPU resources each engine has available.

So the best is to run 2 separate computers in that case, connected via RS232 or similar.

PS: Keep up the great work you do with SWCR!

Best,
Martin

By Ingo Bauer Date 2011-02-06 22:08

Hi Martin,

[quote="Martin Thoresen"]
...
Actually if you use Ponder = ON on the same machine, you have no guarantee that the processor will give each engine the exact same amount of priority.

In a processor with multitple cores, the cache sub-system is divided between the cores. If I were to use Ponder = ON then the cache
and memory subsystem would be shared between the engines and this could affect the CPU resources each engine has available.
[/quote]

Actually IF there is an effect it is so little that it is impossible to measure, in fact i doubt any difference! I am doing ponder ON games on ONE Computer since I had my first Dual CPU comp (Pentium Pro, many years ago!).
First of all, engines do not run in the CPU cache (at least I do not know one (I tried with very small hash, but it did not get significantly faster), would be an interesting aproach for a programmer especially with modern big caches - maybe) then, the memory acess of engines is that slow, that memory controllers are waiting most of the time for the engine to read or write something (thats why the memory access rate rate actually doesnt matter for chess, I checked that in the past and just recently with a DDR3 memory with the CPU at 234x14=3275GHZ and memory at 234*5.33=1247, 234*6.66=1558 and 234*8.00=1872 - difference in nodes per second is within a very low 1 digit percentage max!) and at last, modern CPUs have even more than 1 memory controller.
I think your reasoning comes because in former days the Chessbase GUI was a bit greedy and took more CPU time for Chessbase native engines than it gives to non native ones. The problem back than was the GUI and not the CPU/Enigne/OS system. But, those times are over. The latest CB-Engine GUIs (11/12 and for sure before that but I cant remember exactly when!) are perfectly fine with this. The other GUIs I know (mostly all) do not had or have a problem there.

Here is an example:

One core, 2GB Hash, Start position, running to depth 19, running "solo":


rnbqkbnr/pppppppp/8/8/8/8/PPPPPPPP/RNBQKBNR w KQkq -

Engine: Deep Shredder 12 x64 (2048 MB)
by Stefan Meyer-Kahlen

13/41  0:01   +0.37    1.e4 e5 2.Nf3 Nc6 3.Bb5 a6 4.Bxc6 dxc6 
                       5.d3 Nf6 6.O-O Bd6 7.d4 Bg4 8.dxe5 Bxf3 
                       9.Qxf3 Bxe5 (1.249.241) 852 

14/33  0:02   +0.38    1.e4 e5 2.Nf3 Nc6 3.Bb5 Nf6 4.O-O Bc5 
                       5.d3 O-O 6.Bxc6 dxc6 7.Nxe5 Qd6 (2.013.036) 854 

15/35  0:03   +0.42    1.e4 e5 2.Nf3 Nc6 3.Bb5 Nf6 4.O-O Bc5 
                       5.d3 O-O 6.Bxc6 dxc6 7.Nxe5 Qd6 
                       8.Nc4 Qe7 9.Bg5 h6 10.Bxf6 Qxf6 
                       11.Nbd2 (3.413.571) 858 

16/40  0:12   +0.44    1.e4 e5 2.Nf3 Nc6 3.Bb5 a6 4.Bxc6 dxc6 
                       5.O-O Bg4 6.d3 Bc5 7.Be3 Bxe3 8.fxe3 Ne7 
                       9.Nbd2 O-O 10.h3 Bxf3 11.Qxf3 f6 
                       12.Qh5 (10.599.535) 857 

17/50  0:29   +0.39    1.e4 c5 2.Nf3 Nc6 3.Bb5 Nf6 4.e5 Nd5 
                       5.Nc3 a6 6.Bxc6 dxc6 7.O-O Bg4 8.Ne4 e6 
                       9.d3 Be7 10.h3 Bxf3 11.Qxf3 O-O 
                       12.Bd2 Qc7 13.Qg3 (25.194.432) 866 

18/41  0:37   +0.45    1.e4 c5 2.Nf3 Nc6 3.Bb5 Nf6 4.e5 Nd5 
                       5.O-O a6 6.Be2 Nf4 7.d3 Nxe2+ 8.Qxe2 d5 
                       9.exd6 e6 10.Na3 Bxd6 11.Nc4 h6 
                       12.Nfe5 (32.834.198) 870 

19/45  0:52   +0.40    1.e4 c5 2.Nf3 Nc6 3.Bb5 Nf6 4.e5 Nd5 
                       5.Nc3 a6 6.Bxc6 dxc6 7.Ne4 Bg4 
                       8.Nxc5 e6 9.Nxb7 Qc7 10.Nd6+ Bxd6 
                       11.exd6 Qxd6 12.O-O O-O 13.d4 f6 (45.850.023) 875 

best move: e2-e4 time: 0:54.195 min  n/s: 876.408  CPU 99.9%   n/s(1CPU): 877.285  nodes: 47.469.810

And now the same after restart of the GUI with another single engine (Deep Sjeng CT) running parallel:

rnbqkbnr/pppppppp/8/8/8/8/PPPPPPPP/RNBQKBNR w KQkq -

Engine: Deep Shredder 12 x64 (2048 MB)
by Stefan Meyer-Kahlen

13/41  0:01   +0.37    1.e4 e5 2.Nf3 Nc6 3.Bb5 a6 4.Bxc6 dxc6 
                       5.d3 Nf6 6.O-O Bd6 7.d4 Bg4 8.dxe5 Bxf3 
                       9.Qxf3 Bxe5 (1.249.241) 834 

14/33  0:02   +0.38    1.e4 e5 2.Nf3 Nc6 3.Bb5 Nf6 4.O-O Bc5 
                       5.d3 O-O 6.Bxc6 dxc6 7.Nxe5 Qd6 (2.013.036) 838 

15/35  0:04   +0.42    1.e4 e5 2.Nf3 Nc6 3.Bb5 Nf6 4.O-O Bc5 
                       5.d3 O-O 6.Bxc6 dxc6 7.Nxe5 Qd6 
                       8.Nc4 Qe7 9.Bg5 h6 10.Bxf6 Qxf6 
                       11.Nbd2 (3.413.571) 844 

16/40  0:12   +0.44    1.e4 e5 2.Nf3 Nc6 3.Bb5 a6 4.Bxc6 dxc6 
                       5.O-O Bg4 6.d3 Bc5 7.Be3 Bxe3 8.fxe3 Ne7 
                       9.Nbd2 O-O 10.h3 Bxf3 11.Qxf3 f6 
                       12.Qh5 (10.599.535) 845 

17/50  0:29   +0.39    1.e4 c5 2.Nf3 Nc6 3.Bb5 Nf6 4.e5 Nd5 
                       5.Nc3 a6 6.Bxc6 dxc6 7.O-O Bg4 8.Ne4 e6 
                       9.d3 Be7 10.h3 Bxf3 11.Qxf3 O-O 
                       12.Bd2 Qc7 13.Qg3 (25.194.432) 853 

18/41  0:38   +0.45    1.e4 c5 2.Nf3 Nc6 3.Bb5 Nf6 4.e5 Nd5 
                       5.O-O a6 6.Be2 Nf4 7.d3 Nxe2+ 8.Qxe2 d5 
                       9.exd6 e6 10.Na3 Bxd6 11.Nc4 h6 
                       12.Nfe5 (32.834.198) 856 

19/45  0:53   +0.40    1.e4 c5 2.Nf3 Nc6 3.Bb5 Nf6 4.e5 Nd5 
                       5.Nc3 a6 6.Bxc6 dxc6 7.Ne4 Bg4 
                       8.Nxc5 e6 9.Nxb7 Qc7 10.Nd6+ Bxd6 
                       11.exd6 Qxd6 12.O-O O-O 13.d4 f6 (45.850.023) 861 

best move: e2-e4 time: 1:07.611 min  n/s: 861.434  CPU 100.0%   n/s(1CPU): 861.434  nodes: 58.228.690

(Please do not look at a single second, this is due to rounding ...)

This was on a QUAD, so one can argue that the CPU had some time left, so this is SINGLE Shredder and Stockfish 2.0.1 running on 3 threads in the background:


rnbqkbnr/pppppppp/8/8/8/8/PPPPPPPP/RNBQKBNR w KQkq -

Engine: Deep Shredder 12 x64 (2048 MB)
by Stefan Meyer-Kahlen

13/41  0:01   +0.37    1.e4 e5 2.Nf3 Nc6 3.Bb5 a6 4.Bxc6 dxc6 
                       5.d3 Nf6 6.O-O Bd6 7.d4 Bg4 8.dxe5 Bxf3 
                       9.Qxf3 Bxe5 (1.249.241) 817 

14/33  0:02   +0.38    1.e4 e5 2.Nf3 Nc6 3.Bb5 Nf6 4.O-O Bc5 
                       5.d3 O-O 6.Bxc6 dxc6 7.Nxe5 Qd6 (2.013.036) 827 

15/35  0:04   +0.42    1.e4 e5 2.Nf3 Nc6 3.Bb5 Nf6 4.O-O Bc5 
                       5.d3 O-O 6.Bxc6 dxc6 7.Nxe5 Qd6 
                       8.Nc4 Qe7 9.Bg5 h6 10.Bxf6 Qxf6 
                       11.Nbd2 (3.413.571) 832 

16/40  0:12   +0.44    1.e4 e5 2.Nf3 Nc6 3.Bb5 a6 4.Bxc6 dxc6 
                       5.O-O Bg4 6.d3 Bc5 7.Be3 Bxe3 8.fxe3 Ne7 
                       9.Nbd2 O-O 10.h3 Bxf3 11.Qxf3 f6 
                       12.Qh5 (10.599.535) 832 

17/50  0:29   +0.39    1.e4 c5 2.Nf3 Nc6 3.Bb5 Nf6 4.e5 Nd5 
                       5.Nc3 a6 6.Bxc6 dxc6 7.O-O Bg4 8.Ne4 e6 
                       9.d3 Be7 10.h3 Bxf3 11.Qxf3 O-O 
                       12.Bd2 Qc7 13.Qg3 (25.194.432) 841 

18/41  0:38   +0.45    1.e4 c5 2.Nf3 Nc6 3.Bb5 Nf6 4.e5 Nd5 
                       5.O-O a6 6.Be2 Nf4 7.d3 Nxe2+ 8.Qxe2 d5 
                       9.exd6 e6 10.Na3 Bxd6 11.Nc4 h6 
                       12.Nfe5 (32.834.198) 844 

19/45  0:53   +0.40    1.e4 c5 2.Nf3 Nc6 3.Bb5 Nf6 4.e5 Nd5 
                       5.Nc3 a6 6.Bxc6 dxc6 7.Ne4 Bg4 
                       8.Nxc5 e6 9.Nxb7 Qc7 10.Nd6+ Bxd6 
                       11.exd6 Qxd6 12.O-O O-O 13.d4 f6 (45.850.023) 849 

best move: e2-e4 time: 0:54.865 min  n/s: 850.102  CPU 99.9%   n/s(1CPU): 850.952  nodes: 46.627.248

I think the numbers are talking for themself. The best is to try it by yourself, run a single enigne on one computer, note the nodes per second, add a second single engine and run everything again (clear hash, no learning of course - best to restart everything). You will see that you cant see any difference worth mentioning. The problem you mentioned is nothing to worry about nowadays!

[quote="Martin Thoresen"]
So the best is to run 2 separate computers in that case, connected via RS232 or similar.
...
[/quote]

Because of the experience I could gather in the last years in computer chess and my job I want to disagree here. RS232 is by far not the best anymore! I can think of some problems with more and more computers not equiped with a serial connection and the whole technology is quite outdated, drivers have to be installed, USB to RS232 Hardware, GUI not supporting it correctly, Interupts waiting for the serial chip or some signals, length of cables, noise coming in from power cords running over the serial cable ... (For historical reasons I have to use serial connection in my job from time to time. Wherever possible we try to avoid this due to connectivity problems even if all "standards" are maintained) ... When I am using two computers I am using either an SSH or a NetChess. This runs perfect!

Bye
Ingo

By Frank Quisinsky Date 2011-02-07 10:02 Edited 2011-02-07 10:08

Hi Martin,

in all the years I never test an engine with more as one core. Max. for analyzes I am using more as 1 core. I read with interest what Ingo has written, for sure Ingo will be have more experience as I in testing with more as 1 core.

Never I would play an eng-eng game without ponder. Since more as 10 years I test engines with ponder = on. My first machines with 2 processors was a Pentium III 733 MHz (Tyan board I can set 2 processors).

Have a look in SWCR-64 Crafty 23.3 x64 result. I test this engine with and without ponder against the others with ponder = on. You an see, that ponder is around 40-45 ELO. I am sure it could be 50 ELO with your time control. Furthermore, you will have a lot of more fun if you test your high quality games on your very fast hardware with ponder = on.

Many readers of SWCR asked me for information about your download files. I can't find the games too. Wilfried wrote, where I can find the games. Your pages are perfect but could you make the download files a bit clearer?

After SWCR Champions-League 2011 I will restart with 15 updates the SWCR-32 rating list around February 14th, 2010. This tourney with more as 10.000 new games need around 40 days. That's my plan after my still running SWCR Champions-League 2011. Hope you have interest on 32bit results too. After my statistics (have an own 32bit and 64bit ratinglist) more of my visitors have interest for 32bit. Perhaps 2011 will be the last year I test 32bit and 64bit.

Keep up your good work!!
I am one of your visitors, not daily but around 2-3 times per week

We all like your work!

Best
Frank

By Michael Scheidl Date 2011-02-06 08:48

Mittlerweile sicherte sich Houdini mit einem Remis in der 36. Partie den Gesamtsieg (Zwischenstand: 20,5:15,5).

In der bevorstehenden Saison 2 ist die Division A wie folgt besetzt:

TCEC A
Houdini
Rybka
Stockfish
Ivanhoe
Critter
Shredder

Somit würde es nicht verwundern, dieselben zwei im nächsten Finalmatch wiederzusehen.

Ist Ivanhoe stärker als Fire (abgesehen von den Robbo- etc. Bases)?