Entwicklungsfortschritt

By Eduard Nemeth Date 2011-12-20 10:13

Hallo Michael,
das ist hochinteressant was du hier bringst!

Solche (und ähnliche) Stellungen sollte man in Eng-Eng Matches ausspielen. Für mich wäre das jedenfalls viel interessanter als die Ranglisten-Matches.

By Eduard Nemeth Date 2011-12-20 11:06

In einer ersten Testpartie in folgender Ausgangsstellung:

konnte Houdini das Spiel noch drehen.

Fritz 13 sah sich in der Startstellung +2.50 im Vorteil (pro Halbzug etwa 0.5 Bauern), Houdini war sparsamer bei nur +1.30.

GUI=Fritz 13
PB=OFF
Hash=64MB, 64MB

PGN:

[Event "Intel Atom 1.5 GHz, Blitz 4m+2s"]
[Site "Atom N550 Dual Core 1.5 GHz"]
[Date "2011.12.20"]
[Round "1"]
[White "Fritz 13"]
[Black "Houdini 1.5 w32"]
[Result "0-1"]
[Annotator "2.67;1.24"]
[SetUp "1"]
[FEN "rnbqkbnr/pppppppp/8/8/2B1P3/5N2/PPPP1PPP/RNBQ1RK1 w kq - 0 5"]
[PlyCount "240"]
[TimeControl "240+2"]

{Intel(R) Atom(TM) CPU N550 @ 1.50GHz 1496 MHz W=13.9 plies; 473kN/s; 9.015
TBAs B=13.7 plies; 290kN/s} 5. Nc3 {2.67/17 15 Beide letzter Buchzug} e6 {1.
24/15 11} 6. d4 {2.32/15 24} d6 {1.25/14 7 (Lb4)} 7. Qe2 {2.81/13 22} h6 {1.15/
13 18 (Sd7)} 8. Bd2 {3.16/12 8 (a4)} Nd7 {0.99/13 9 (Se7)} 9. a4 {2.90/12 9
(Tfe1)} Ne7 {0.85/12 7 (Sgf6)} 10. d5 {2.62/12 15 (Tad1)} e5 {0.56/14 9} 11. a5
{2.25/13 11 (Sh4)} a6 {0.46/13 6} 12. h3 {2.12/12 7 (Sh4)} Ng6 {0.32/11 0 (Sf6)
} 13. Be3 {1.24/13 7 (De3)} Be7 {0.33/16 5} 14. Qd2 {1.11/14 9} O-O {0.31/16 9}
15. Be2 {1.11/15 13 (Tfe1)} Nf6 {0.27/16 17} 16. Rfd1 {0.93/14 9 (Ld3)} Bd7 {
0.15/14 5 (Sh7)} 17. Ra3 {1.05/15 5} c5 {0.21/14 13} 18. Rb1 {1.29/15 9} Rc8 {
0.28/15 24 (Tb8)} 19. b4 {1.33/16 9 (Lc4)} c4 {0.26/15 4 (cxb4)} 20. Qd1 {1.30/
16 5 (Sh2)} Bb5 {0.33/14 4 (De8)} 21. Qf1 {1.67/15 14} Nd7 {0.51/15 12 (Dc7)}
22. g3 {1.92/15 5} Qc7 {0.52/16 5} 23. h4 {1.90/17 8 (Tba1)} Nf6 {0.44/15 4}
24. Nd2 {1.84/16 7} Bd8 {0.44/15 5} 25. Qh3 {1.76/14 3} Ne7 {0.49/15 16} 26.
Rd1 {1.78/15 11 (h5)} Bd7 {0.47/15 3 (Ta8)} 27. Qg2 {1.75/15 4 (Df1)} Bb5 {0.
49/15 4} 28. Qf1 {1.81/15 4} Ng6 {0.48/15 5} 29. h5 {1.77/15 4} Ne7 {0.72/15 17
} 30. Qh3 {1.77/15 5} Ra8 {0.56/15 14} 31. Kg2 {1.78/15 8 (Tb1)} Nc8 {0.48/14 4
} 32. Qh1 {1.71/14 5} Ne7 {0.43/14 7} 33. Rb1 {1.71/13 4 (Dh4)} Qc8 {0.43/14 4}
34. f3 {1.52/14 5 (Dd1)} Qc7 {0.48/12 4 (Te8)} 35. Rf1 {1.54/14 3 (Sd1)} Nc8 {
0.35/13 7 (Dc8)} 36. Rfa1 {1.54/14 4} Rb8 {0.43/13 4 (Se7)} 37. Nxb5 {2.11/15 3
} axb5 {0.41/11 0} 38. Nb1 {1.99/15 2 (Dh3)} Nh7 {0.33/16 11 (Dd7)} 39. Nc3 {
1.74/14 6} Qd7 {0.39/16 10} 40. Qh3 {1.72/13 5} Qe8 {0.39/16 9 (f5)} 41. a6 {
1.72/14 5} bxa6 {0.33/13 0} 42. Rxa6 {1.65/14 2} Bg5 {0.49/15 6} 43. Nd1 {1.53/
15 3 (Lxg5)} Bxe3 {0.27/15 4} 44. Nxe3 {1.45/15 1} Ng5 {0.38/16 3 (Dd8)} 45.
Qg4 {1.69/15 2 (Dh1)} Qe7 {0.39/15 3 (Dd8)} 46. Rc6 {1.99/14 2} Re8 {0.50/16 5
(Df6)} 47. Nf5 {2.41/16 2} Qf8 {0.60/14 2 (Df6)} 48. Raa6 {2.38/15 3} Rd8 {0.
71/14 2 (Se7)} 49. Rc7 {2.66/15 2 (Sxh6+)} Kh8 {0.86/14 4 (Te8)} 50. Ra5 {2.67/
14 3 (f4)} Nh7 {0.57/14 2 (Te8)} 51. Qh4 {2.67/15 2} Ng5 {0.83/14 3} 52. c3 {
1.88/16 6} Qe8 {0.71/14 2} 53. Qg4 {2.48/15 3 (Ta6)} Qf8 {0.80/15 3 (Sb6)} 54.
Kg1 {2.67/13 2 (Ld1)} Nh7 {0.65/14 3 (Dg8)} 55. Qh4 {2.67/15 2} Ng5 {0.71/16 2}
56. Kf1 {2.57/16 3 (Ld1)} Qe8 {0.68/14 2} 57. Qg4 {2.62/16 4} Qg8 {0.76/15 2
(Sb6)} 58. Bd1 {2.74/15 2 (Kg1)} Nh7 {0.84/13 2 (Df8)} 59. Qh4 {2.67/13 1 (Kg2)
} Ng5 {1.07/14 2} 60. Kg2 {2.74/15 2} Qf8 {1.20/14 2} 61. Bc2 {2.65/14 2} Re8 {
1.20/15 2} 62. Rd7 {3.03/14 1 (Ta6)} Nh7 {1.12/13 2 (Kh7)} 63. Ra6 {2.97/14 2}
Nf6 {1.12/15 2} 64. Rc7 {2.79/15 2} Ng8 {0.85/13 2 (Sh7)} 65. Kf2 {2.61/13 3
(Lb1)} Nge7 {0.83/14 2} 66. Ne3 {1.94/14 5 (Sxe7)} Ng8 {0.55/15 2} 67. Qh3 {1.
79/13 1 (Kf1)} Re7 {0.38/15 2} 68. Rcc6 {1.62/14 2} Nf6 {0.38/15 2 (Teb7)} 69.
Nf5 {1.72/14 2 (Kg2)} Rd7 {0.48/14 2} 70. f4 {1.77/14 2} exf4 {0.54/14 2 (De8)}
71. gxf4 {1.73/13 1} Rd8 {0.54/13 2} 72. Kf1 {1.64/13 3 (Sd4)} Kg8 {0.73/12 2
(Te8)} 73. Kg2 {1.87/13 3 (e5)} Kh8 {0.61/12 2 (Se7)} 74. Kg1 {1.62/13 2 (Sd4)}
Re8 {0.67/13 2} 75. Qf3 {1.35/13 3 (Dg2)} Ne7 {0.51/12 2} 76. Nxd6 {1.25/15 2}
Nxc6 {0.50/12 2} 77. Rxc6 {1.39/15 4 (Sxe8)} Ra8 {0.20/10 0} 78. e5 {1.29/13 2
(Sxe8)} Ra1+ {0.19/14 3} 79. Kh2 {0.76/14 1} Ra2 {0.18/15 3} 80. exf6 {0.00/15
4 (Kh3)} Rxc2+ {0.11/14 1} 81. Kh3 {0.00/15 1} gxf6 {0.06/15 2} 82. Nxe8 {0.00/
15 1} Qxe8 {0.05/14 0} 83. Rxf6 {0.00/16 2} Kh7 {0.00/15 3 (Td2)} 84. Kg4 {0.
00/13 2} Rd2 {-0.59/14 2 (Dc8+)} 85. Kf5 {0.00/15 1} Re2 {-0.59/12 0 (Dd7+)}
86. Rd6 {-0.67/15 1 (Tc6)} Re3 {-2.36/15 4} 87. Qg2 {-0.68/17 2} Qe7 {-3.93/13
0} 88. Rc6 {-3.94/16 6} Qd8 {-4.12/12 0} 89. Qh1 {-5.20/16 3} Qd7+ {-4.29/11 0}
90. Kf6 {-5.54/16 1} Qg4 {-4.29/10 0} 91. Qh2 {-5.54/16 2} Re2 {-4.12/9 0} 92.
Qxe2 {-5.72/16 1} Qxe2 {-3.99/8 0} 93. Rc5 {-5.73/13 1} Qxh5 {-4.82/13 3} 94.
Ke7 {-6.38/14 2 (Txb5)} Qh4+ {-4.81/14 2} 95. Kd7 {-6.46/14 2 (Ke8)} Qh3+ {-4.
81/12 0} 96. Kc6 {-6.54/14 2} Qxc3 {-4.81/12 0} 97. d6 {-6.47/14 7} Qf3+ {-4.
22/15 8} 98. Kd7 {-6.55/14 1 (Kc7)} Qb7+ {-4.62/14 6 (Dxf4)} 99. Ke8 {-6.21/14
3} Qb8+ {-4.84/15 2} 100. Ke7 {-6.73/15 2} Kg7 {-4.08/15 5} 101. f5 {-6.36/15 3
} Qa8 {-4.72/12 0} 102. f6+ {-6.50/12 1} Kg8 {-3.64/15 5} 103. Kd7 {-6.47/15 4}
Qb7+ {-3.47/15 3 (Da3)} 104. Ke8 {-5.13/13 1} c3 {-3.52/15 2 (De4+)} 105. d7 {
-4.84/14 1 (Txc3)} Qe4+ {-2.79/14 3} 106. Kd8 {-4.99/13 1} Qxb4 {-4.56/12 0}
107. Rc6 {-4.61/13 1} Kh7 {-1.52/14 3 (c2)} 108. Kc7 {-1.87/12 0} Qf4+ {-1.22/
14 3} 109. Kb7 {-1.99/12 0 (Kc8)} Qd2 {-1.52/13 0} 110. Kc7 {-1.99/13 1} c2 {
-1.52/13 0} 111. d8=Q {-2.31/11 1} c1=Q {-1.92/15 2} 112. Rxc1 {-2.35/11 1}
Qxc1+ {-1.64/13 0} 113. Kb6 {-2.56/12 2 (Kb7)} Qf1 {-2.05/14 4 (Dc4)} 114. Qc8
{-3.17/11 6 (Dd4)} Qxf6+ {-2.50/12 4 (Kg6)} 115. Kxb5 {-2.59/9 3} h5 {-2.51/11
0} 116. Qc2+ {-3.27/9 1} Kh6 {-2.62/13 3} 117. Qh2 {-3.98/10 6} h4 {-2.62/11 0}
118. Kc5 {-4.47/10 4 (Kc4)} Qc3+ {-3.44/12 2 (Df5+)} 119. Kb5 {-4.49/10 3 (Kd5)
} Qg3 {-4.18/14 3 (Dd3+)} 120. Qh1 {-5.51/10 2 (Da2)} h3 {-4.58/10 1} 121. Qa8
{-6.29/9 2 (Df1)} Qb3+ {-5.38/14 2 (De5+)} 122. Kc5 {-7.56/10 2} Qc3+ {-5.38/
13 0} 123. Kb6 {-13.82/11 4 (Kb5)} h2 {-10.38/11 2} 124. Qh1 {-7.80/10 2} Qd4+
{-10.57/10 0} 0-1

By Benno Hartwig Date 2011-12-20 18:23

Zitat:

Fritz 13 sah sich in der Startstellung +2.50 im Vorteil (pro Halbzug etwa 0.5 Bauern), Houdini war sparsamer bei nur +1.30.

Inwieweit sollen eigentlich +1,00 von Houdini, Fritz, Rybka, Stockfish vergleichbar sein?
Und wie ändert sich das mit fortschreitenden Partiephasen (zu Stockfish schrieb ich ja schon ein paar mal).
Ich befürchte hier kommt man sehr schnell zu einem Tutti Frutti mit den lustigsten Vergleichen von Äpfeln und Birnen.
"1,00 ist ein Bauernwert" ist halt fix ma daher gesagt. Was der Entwickler sich wirklich bei 1,00 denkt ist eine ganz andere Sache.
In den Sourcen wird ja auch je nach Partiephase der einzelne Bauer ganz unterschiedlich bewertet. (und sein Wert in der aktuellen Stellung darüber hinaus noch mehr)

Benno

By Simon Gros Date 2011-12-20 19:47

Dazu kommt, daß dieses +1.00 auch viele weitere Faktoren enthält, wie z.B. Entwicklung, Mobilität etc. etc.
Simon_G

By Michael Scheidl Date 2011-12-21 03:33

Engine         RT.1    RT.10
----------------------------
Fritz 5.32    +0.75    +0.56
Fritz 13      +4.13    +2.47
----------------------------
Crafty 14.12  +1.09    +0.83
Crafty 23.02  +1.34*   +1.86

*) RT.3

Interessant wären solche Gegenüberstellungen mit anderen "langlebigen" Engines, z.B. Hiarcs 7.32 und -13, Shredder 5.32 und -12 usw., falls jemand zufällig noch die alten Versionen installiert hat.

By Michael Scheidl Date 2011-12-21 02:28 Edited 2011-12-21 02:31

Der Bewertungsvergleich von je zwei zeitlich und von der Versionsfolge her weit auseinander liegender Engines derselben Serie illustriert beispielhaft, daß sich auch bei den Bewertungsfunktionen viel getan hat, nicht nur bei den div. Suchideen und -tricks von denen vorwiegend die Rede ist. Ich nehme an, daß andere derartige Gegenüberstellungen Ähnliches ergeben. Interessant wäre noch die "rein statische" Bewertung der Brettstellung ganz ohne Suche. Bei Tiefe 1 (0 kann ich hier nirgends einstellen) sind wohl bereits ein paar Extensions dabei.

Damit habe ich eine alte Idee wieder aufgegriffen. Für CSS 4/2002 habe ich ein derartiges Experiment mit diversen damals sehr guten Engines und folgender Startstellung durchgeführt:

Es kam zu teils kuriosen Resultaten.

Tiger 14 verlor mit Weiß gegen Shredder 5.32, und Shredder 5.32 verlor seinerseits mit Weiß gegen Tiger 14. Die genauen Bedingungen weiß ich nicht mehr. Möglicherweise mittellanges Blitz auf P3/700 (vorwiegend, aber nicht immer zweistellige RT.), ponder off.

[Event "Experiment (A)"]
[Site "Wien"]
[Date "2002.06.14"]
[Round "1.1"]
[White "Chess Tiger 14.0"]
[Black "Shredder 5.32"]
[Result "0-1"]
[SetUp "1"]
[FEN "rnbqkbnr/pppppppp/8/8/3PP3/2NB1N2/PPPBQPPP/R3K2R b KQkq - 0 7"]
[PlyCount "159"]

7... d6 8. d5 Nf6 9. e5 dxe5 10. Nxe5 g6 11. Bb5+ Nbd7 12. Qc4 Bg7 13. d6 O-O
14. dxc7 Qe8 15. Qa4 a6 16. Nf3 e5 17. O-O Qe7 18. Be2 Qd6 19. Nb5 Qc6 20. Qa3
Nb6 21. Nc3 e4 22. Nd4 Qxc7 23. Qa5 Ng4 24. Bxg4 Bxg4 25. Be3 Qd8 26. h3 Bxd4
27. Bxd4 Qxd4 28. hxg4 e3 29. Rad1 exf2+ 30. Rxf2 Qe3 31. Rdf1 Rac8 32. Nd1 Qd4
33. c3 Qd8 34. Qb4 Rc6 35. Ne3 Re6 36. Nc2 Re7 37. Qf4 Rfe8 38. Nb4 a5 39. Nc2
Qc8 40. Qg5 Qc7 41. Qxa5 Re5 42. Qb4 Re4 43. Nd4 R8e7 44. Qb5 R4e5 45. Qd3 Nc4
46. Qg3 Qc5 47. a3 Nd6 48. Rf3 Ne4 49. Qf4 Qb6 50. Qc1 Qc7 51. Rh3 Qc4 52. Qf4
f6 53. Rh6 Qa6 54. Rh2 Qb6 55. g3 Re8 56. Kh1 Qd8 57. Kg2 Qd5 58. Kg1 Qc4 59.
Rh1 Kh8 60. Rh6 Qa6 61. Kg2 Qb6 62. Qc1 Ng5 63. Qc2 Kg7 64. Rhh1 h6 65. Qf2 Qd6
66. Qf4 Qd8 67. Rh4 Qb6 68. Qf2 Qa6 69. Kg1 Re3 70. Rd1 Qc4 71. Rd2 Re1+ 72.
Kh2 R8e4 73. Rc2 R4e3 74. b3 Qd5 75. Qg2 Ne4 76. Rh3 b6 77. Rd2 Qe5 78. Rc2 Qe7
79. Rb2 Ng5 80. Rh4 Rxc3 81. Rf2 Rcc1 82. Rf4 Qxa3 83. Qb7+ Nf7 84. Rf2 Qc5 85.
g5 hxg5 86. Rh3 g4 0-1

[Event "Experiment (A)"]
[Site "Wien"]
[Date "2002.06.15"]
[Round "2.1"]
[White "Shredder 5.32"]
[Black "Chess Tiger 14.0"]
[Result "0-1"]
[SetUp "1"]
[FEN "rnbqkbnr/pppppppp/8/8/3PP3/2NB1N2/PPPBQPPP/R3K2R b KQkq - 0 7"]
[PlyCount "177"]

7... h6 8. Bc4 e6 9. d5 c6 10. O-O-O Qc7 11. Be3 b5 12. Bb3 a5 13. dxc6 dxc6
14. a3 Nd7 15. g3 b4 16. Bf4 Qb6 17. Na4 Qb5 18. Bc4 Qxa4 19. b3 Qxa3+ 20. Kb1
a4 21. Bc1 axb3 22. Bxa3 bxc2+ 23. Qxc2 Rxa3 24. Rd3 Rxd3 25. Bxd3 Bc5 26. Rd1
Ngf6 27. Ne5 O-O 28. Nxd7 Nxd7 29. Bf1 b3 30. Qb2 Bb6 31. f4 e5 32. Qxb3 Bd4
33. fxe5 Bxe5 34. Kc2 Bf6 35. Be2 Ne5 36. Qa3 Bh3 37. Rd4 c5 38. Ra4 c4 39. Ra8
Rxa8 40. Qxa8+ Kh7 41. Kd2 Be6 42. h4 Nd7 43. Qa7 c3+ 44. Kc2 Be5 45. Qf2 Kg8
46. Bb5 Nf6 47. Qe3 Kh7 48. Qd3 Bg4 49. Ba4 Bh5 50. Qe3 Bg6 51. Bc6 Kh8 52. Bb7
Kg8 53. Qd3 Kh8 54. Qf3 Bh5 55. Qe3 Bg6 56. Bc6 Kg8 57. Qd3 Kh8 58. Qf3 h5 59.
Kd3 Kh7 60. Bb7 Kh8 61. Qg2 Kh7 62. Ba8 Ng4 63. Qg1 Kg8 64. Bc6 Bf6 65. Bd5 Be5
66. Qe1 Kf8 67. Bc6 Bf6 68. Bb7 Kg8 69. Qe2 Be5 70. Qf3 Nf6 71. Qe3 Ng4 72. Qg1
Nf6 73. Qe1 Kh7 74. Bc6 Kg8 75. Ba8 Kh7 76. Bb7 Ne8 77. Kc2 Nd6 78. Bd5 f6 79.
Bc6 Bf7 80. Qf2 Be6 81. Bd5 Bg4 82. Qg2 Nb5 83. Kd3 Nd6 84. Bb3 f5 85. Bd5 Bd1
86. Qa2 c2 87. Qa3 f4 88. Bb3 fxg3 89. Bxc2 g2 90. Qa7 Bxc2+ 91. Kxc2 Bh2 92.
e5 Nf5 93. Qd7 Ne3+ 94. Kd2 Nc4+ 95. Ke2 Nxe5 0-1