Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / No Books, no EG-Tablebases
- - By Walter Eigenmann Date 2017-09-05 10:29 Upvotes 3
Mal was anderes: Ein Engine-Turnier ohne Eröffnungsbücher und ohne Endspiel-Tabellen:

https://glarean-magazin.ch/2017/09/05/computerschach-die-besten-engines-der-welt-rangliste-schachprogramme/

Bonus: Ein paar Stichworte zur Spielweise des Triumvirats Stockfish, Komodo und Houdini inkl. ein Dutzend Teststellungen.

Gruss: Walter

.
Parent - By Michael Scheidl Date 2017-09-05 11:53
Sehr schön! - Zu "mit der Maschine spielen" möchte ich ergänzen: Mit der Maschine bei Onlineübertragungen kibitzen ist auch sehr angenehm. Das ist bei mir zu einer der (leider selten gewordenen) Hauptanwendungen von Schachengines geworden.
Parent - - By Roland Riener Date 2017-09-05 12:33
Danke Walter, exzellente Arbeit!

Obwohl du auch ein Verfechter von Stellungstests bist, hast du diesmal eine bestens dokumentierte Studie über die Spielstärke gegeneinander geliefert. Sie ist es wert, ausgedruckt und zur längerfristig gültigen Literatur gelegt zu werden.

Nettes Detail: Die mitgelieferte FEN zu den Beispielstellungen

Gruß, Roland
Parent - - By Kurt Utzinger Date 2017-09-05 16:29
Roland Riener schrieb:

Danke Walter, exzellente Arbeit!

Obwohl du auch ein Verfechter von Stellungstests bist, hast du diesmal eine bestens dokumentierte Studie über die Spielstärke gegeneinander geliefert. Sie ist es wert, ausgedruckt und zur längerfristig gültigen Literatur gelegt zu werden.

Nettes Detail: Die mitgelieferte FEN zu den Beispielstellungen

Gruß, Roland


Diesem Dank möchte ich mich anschliessen. Komisch bei mir einzig, dass
bei den mitgelieferten FEN unter HIARCS Chess Explorer und SCID die
Meldung kommt, es handle sich nicht um gültige FEN. Unter ChessBase
habe ich das noch nicht probiert.

Mfg
Kurt
Parent - By Roland Riener Date 2017-09-05 17:58
Auf der Fritz-GUI funktionieren die FEN. Von der einen oder anderen bereits angesehenen Stellung fand ich diese übrigens besonders instruktiv:

Houdini Top Shots (3) Solange ich die Analyse laufen ließ, sah Houdini 5 # in 22, Stockfish dev. und Komodo 10 verharrten bei 0.00.

Parent - By Peter Martan Date 2017-09-05 16:07
Danke, Walter!

Buchlos ist heutzutage eben auch überhaupt nicht mehr ruchlos.

Dass ich die Studien von Reti (Stockfish Failed) und von Troitzky (2.Houdini Topshot), lustiger Weise beide von 1928, noch nicht kannte, war direkt eine Bildungslücke.
Parent - - By Patrick Jansen Date 2017-09-05 17:58
Walter Eigenmann schrieb:
Mal was anderes: Ein Engine-Turnier ohne Eröffnungsbücher und ohne Endspiel-Tabellen:

Danke. Für mich die einzig echte und beste Testkonfiguration. Auf Partien mit Hilfsmitteln (Bücher, TB) kann ich gut verzichten.
Parent - By Frank Quisinsky Date 2017-09-05 19:15 Edited 2017-09-05 19:21
Hallo Patrick,

das Problem ist dabei nur das vieles in B06, B07 oder in den unregelmäßigen Systemen landet.

Hatte mich damit auch mal beschäftigt und die Frage gestellt: Bilden sich Systeme die heute unter den stärksten Spielern beliebt sind!?
Ja, aber nur sehr wenige, zumindest war es so vor ca. 15 Jahren als ich das mal getestet hatte.

Nun sind unsere Engines zwar deutlich stärker geworden aber wenn Sie aus bekannten System entlassen werden bilden sich deutlich mehr als weniger die bekannten Standard-Fortsetzungen. Das finde ich persönlich erschreckend bzw. auch ermutigend, denn es zeigt auch auf, dass die stärksten Spieler der Welt zumindest nach den Buchzügen den Engines wahrscheinlich immer noch überlegen sind. OK, die stärksten Spieler kennen auch nicht alle 500 ECO Codes aus dem FF. Damit wirklich Qualität in die Eröffnungsphase kommt, müssen unsere Eröffnungsbücher teilweise schon richtig tief gehen, weit tiefer als mit den FEOBOS Vorgaben mit denen ich teste.

Die Eröffnungsphase im Schach ist für mich das spannendste Thema hinter dem frühen Mittelspiel. Ich bin also auch der Meinung, dass ich auf Hilfsmittel wie tiefe Bücher verzichten kann. Bilde die Vorgaben nur 3 Züge nach ECO-Code Bildung um nicht laufend B06, B07 und so Scherze zu sehen (im Vergleich als wenn ich gar keine Vorgabe setze). Das ist wenn Du viele Partien beobachtest extrem langweilig wenn herausgefunden wurde, welche Engines dann durch absolut unregelmäßiges immer wieder negativ auffallen und natürlich auch positiv überraschen!

Interessant ist aber ...
Was sich teils für merkwürdige Stellungsgebilde formieren, wenn denn ohne Buch mal 10-15 Züge gespielt sind. Nur die wenigsten von solchen Stellungen findest Du im GM-Schach. Wahrscheinlich könnte es eine Herausforderung sein solche Stellungen in Masse zu produzieren und mit bekannten Vorgaben zu mixen. Aber wie gesagt, wir hätten ca. 30 ECO Codes extrem viel Material und zu 470 sehr wenig ... der Nachteil. Und sehr interessante / bekannte Theorie geht dabei verloren.

Gruß
Frank
Parent - - By Michael Scheidl Date 2017-09-06 04:29
Zitat:
Für mich die einzig echte und beste Testkonfiguration.

Nein, das ist experimentell und fern von einer typischen Anwendungs- bzw. Analysepraxis.

1. Man kann nicht mehr als doppelrundig sinnvoll spielen lassen, also zwei Partien pro Paarung mit Seitenwechsel. Sonst wäre schon die Eröffnung der dritten Partie konzeptionell nur eine Neuauflage der ersten, und jede Abweichung nichts anderes als eine "technische Seltsamkeit"(*).

2. Tablebases werden u.U. von einem Programmierer (insbesondere falls nonkommerziell) vorausgesetzt, und dann wird vielleicht darauf verzichtet manches Wissen einzubauen. Darüber habe ich zwar immer die Nase gerümpft aber man muß damit rechnen.

3. Es gibt ja mehr Optionen als Minimum oder Maximum. Ich verwende z.B. keine 6-Steiner die ich als technischen Overkill betrachte (aber gerne konkrete Stellungen online abfrage) und lasse Engineturniere mit höchstens "mitteltiefen" Büchern bzw. Varianten spielen.

*) Es sei denn permanentes Stellungslernen (z.B. Shredder, Critter) und/oder ein gewisser Zufallsfaktor beim Zeitverbrauch in den ersten berechneten Zügen (vermutlich Junior) wirken mit, aber das haben nur ganz wenige Engines. Und es muß auch nicht zwangsläufig zu Abweichungen führen.
Parent - - By Guenter Stertenbrink Date 2017-09-06 07:33
gibt es eigentlich eine Moeglichkeit nur die Eroeffnungen zu spielen, nur 20,30,40 Zuege ?
Hab' das nie gesehen, wuerde doch Sinn machen. Geht schneller. Das "Ergebnis" ergibt sich aus den evals.

Kann man bei mehreren etwa gleichgut eingeschaetzten Zuegen den Zufallsgenerator bestimmen lassen,
um nicht immer die gleichen Eroeffnungen zu bekommen ?
Parent - - By Frank Quisinsky Date 2017-09-06 08:57
Hallo Guenter,

genau diese Idee mit ein paar zusätzliche Optionen habe ich den CuteChess Programmierer vorgeschlagen.
Natürlich sollte die Zügezahl einstellbar sein. Er hat auch ein Interesse es umzusetzen (TalkChess).

Was wir hierzu in den GUIs haben reicht nicht um sich mit dem Thema mehr zu beschäftigen.

Zufallsgenerator benötigen wir eher beim Ausspielen von Zügen, wenn die Züge die in einem Buch einfließen überprüft sind.
Arena's PGN-Random Funktion.

Leider nicht eingeflossen in andere GUIs obwohl das schon vor 12 Jahren entwickelt wurde.
Klar, wird sich eher auf Eröffnungsbücher ausgeruht bzw. auf deren Formate bei den in den letzten 12 Jahren auch nichts mehr ergänzt oder verbessert wurde.

Bin mal gespannt wie der Cutechess Programmierer das Thema umsetzt.
Dann könnten Ratinglisten zu den wirklich spannenden Partiephasen erstellt werden um sich nicht immer wieder die Endspielklamotten anzusehen.

Klaus hat auch schon ein Interesse bekundet ein Rating-System für nach Zug x abgebrochene Züge zu erstellen.
Werden wir in Angriff nehmen wenn FEOBOS beendet ist.
Hoffe natürlich das die geschilderten Ideen dann auch in CuteChess einfließen.

Habe dahingehend tausend Dinge im Kopf um die Aktion sehr spannend zu gestalten.
Brauche dafür natürlich auch das FEOBOS Endergebnis.

Gruß
Frank
Parent - By Guenter Stertenbrink Date 2017-09-06 09:08 Edited 2017-09-06 09:17
man kann ja die alten Turniere analysieren, nach evals(Zugnummer) wenn die evals gegeben sind,
z.B. http://magictour.free.fr/FCP57-0.GIF  [hmm, bobcat,equinox,scorpio gut im Endspiel ?]
aber fuer neue Turniere wuerde es Zeit sparen

gut waere ein 3er-Turnier : 2 engines spielen die dritte gibt die evals,
evtl. auf hoeherer Stufe

ich koennte vorraussichtlich den asmfish-code so aendern, und neu kompilieren,
dass er nach x-Zuegen abbricht, cutechess wuerde dann die Partie als verloren abbrechen.
Aber das muss ich dann fuer jede Version und jedes x neu machen
Parent - By Guenter Stertenbrink Date 2017-09-15 17:04 Edited 2017-09-15 17:56

>> gibt es eigentlich eine Moeglichkeit nur die Eroeffnungen zu spielen, nur 20,30,40 Zuege ?
>> Hab' das nie gesehen, wuerde doch Sinn machen. Geht schneller. Das "Ergebnis" ergibt sich aus den evals.


>genau diese Idee mit ein paar zusätzliche Optionen habe ich den CuteChess Programmierer vorgeschlagen.
>Natürlich sollte die Zügezahl einstellbar sein. Er hat auch ein Interesse es umzusetzen (TalkChess).
>Was wir hierzu in den GUIs haben reicht nicht um sich mit dem Thema mehr zu beschäftigen.


ich installiere und beschaeftige mich just mit cutechess , sollte nicht

-draw movenumber=20 movecount=1 score=999999

funktionieren, um nach 21 Zuegen als Remis abzubrechen ?

Linux-skript cute5.sh laesst q-Aug25 (asmFish) 200 20-Zug-Partien mit Buch 7b5g4
gegen komot2 (Komodo 10.2) spielen , 20Zuege in 10s plus 1s pro Zug,
8 threads , und speichert die Partien in tourzy.pgn zur spaeteren Auswertung

#!/bin/sh
./cutechess-cli -engine cmd=q-Aug25 proto=uci option.Threads=8 option.Hash=128
   -engine cmd=komot2 proto=uci option.Threads=8 -each tc=40/10+1 -rounds 100
   -pgnout tourzy.pgn -openings file=7b5g4.pgn -repeat
   -draw movenumber=20 movecount=1 score=999999

[alles in einer Zeile , kein cr=ascii13 am Zeilenende unter Linux, das mag cutechess nicht]
[getestet : funktioniert !]

unter Windows analog .. das wirst du kennen
Parent - - By Michael Scheidl Date 2017-09-07 11:22
Die Turnierfunktion in Fritz hat die Option "Zuglimit" gemessen in Halbzügen nach Buch. D.h. die Begrenzung bezieht sich hier auf berechnete Züge. D.h. wenn man beispielsweise ein Vorgabeset mit fixer Länge 10 Eröffnungszüge benutzt, kann man dort 40 Einstellen und erhält dann Partienfragmente mit exakt 30 Zügen Länge. 10 + 40/2 = 30. In Arena gibt es als Turnieroption ein absolutes (Voll-)Zuglimit wo die Partien dann als Remis gespeichert werden. Da, bzw. falls die Evals mitgespeichert werden wie üblich (aber hoffentlich nicht die kompletten Hauptvarianten ) erfüllt das den selben Zweck.

Betreffs Zufallsgenerator, den gibt's ja im Mainstream schon lange nicht mehr. Im Normalmodus weiß eine Engine garnicht was der zweit-, drittbeste Zug usw. wäre, es sei denn sie läuft in MultiPV, aber das ist dann ein Analysemodus und keiner für Partien... Technisch machbar ist das sicher, nur wird es die Programmierer nicht interessieren da sie es als seltenes Nischeninteresse einschätzen werden.
Parent - - By Guenter Stertenbrink Date 2017-09-07 12:36
ist doch ganz einfach : sobald eine eval berechnet wird, wird ein normalverteilter
Zufallswert addiert. Der Sinn ist natuerlich, die gegnerische Buchvorbereitung zu umgehen.
Parent - - By Michael Scheidl Date 2017-09-07 20:06 Upvotes 1
Natürlich ist das einfach aber wer macht es denn noch? Bzw. welche Engine bietet diese Option an? Ich kenne keine. "Buchvorbereitung umgehen" kann man m.E. auch vergessen. Wenn überhaupt, war das eine Sache zwischen den Eröffnungsbüchern aber keine der Engines selber.

Aus Programmierersicht muß ein Zufallswert zur Eval, und sei er nur +/- 0,03 BE., wirken wie eine aufgezwungene Verblödung. In eine solche Unschärfe zurück zu fallen macht u.U. jahrelange Arbeit an der Bewertung zu nichte. Ich kann mir nur vorstellen daß Programmierer darauf bestehen, daß die Engine immer das nach Maßgabe der Möglichkeiten absolut beste spielt, und nicht irgendwelchen verwässerten Käse, nur um in seltsamen Situationen "nicht ausrechenbar" zu sein...
Parent - By Guenter Stertenbrink Date 2017-09-08 02:54 Edited 2017-09-08 03:21
die aufgezwungene Verbloedung kann sehr gering sein,
aber ausreichend um nicht immer denselben Zug zu machen.
Ich denke da mal an Brainfish oder Sedat's book-tournaments
https://sites.google.com/site/computerschess/scct-book-cs-17
oder Fernschach das juengste infinity ultimate challenge Turnier

Grundstellung Tiefe 50:
Komodo : 21,18,13,10,10,10,00,00,00,00,00,00
stockfish: 17.08.06,00,00,00,00,00,00,00,00,00,00

http://open-chess.org/viewtopic.php?f=7&t=3028

http://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?tid=9487
http://forum.computerschach.de/cgi-bin/mwf/topic_show.pl?pid=108565;hl=grundstellung

Code:


evaluation of the start position with multiv=20 at several depths
and fixed calculation time

st96 = stockfish 250916
sto6 = stockfish 14-10-16
sf8 = stockfish 8
ko8 = komodo 8
ko10 = komodo 10.2
an = andscacs 0.872
an8 = andscacs 0.88
ho5 = houdini 5
cr = critter 1.6a
na = naum 4.6
ic = ice 3.0 v658
fr = fruit reloaded 2.1
te = texel 1.06



depth 25  31  43  26  30  20  28  23  28  19  20  21  22  27  18  22  20
engi sto6sf8 sfs6ho5 ho5 ko8 ko10 an an8  cr  cr  na  ic  ic  fr  fr  te 
------------------------------------------------------------------------------
d2d4 +32 +26 +15 +26 +23 +23 +20 +19 +23 +18 +16 +20 +25 +24 +13 +13 +24 d2d4
e2e4 +21 +25 +16 +17 +22 +21 +18 +18 +17 +17 +22 +19 +38 +42 +31 +22 +27 e2e4
g1f3 +16 +19 +14 +23 +24 +16 +19 +12 +13 +12 +15 +18 +22 +18 +15 +13 +23 g1f3
e2e3  +9  +8  +8  +7 +11  +9  +9 +10 +16  +8 +11 +13 +15 +17 +13 +12 +20 e2e3
c2c4  +3  +9 +11 +13 +19  +6  +5  +1 +12  +0  +4  +0  +0 +23 -16  +7  +4 c2c4
a2a3  +1  +6  +0  +5  -2  -6  +4  +2  +9  -1  -1  +0  -1  +0  -8  -2  -7 a2a3
h2h3  +0  +0  +0  -5  -2 -14  +0 -10 -12  -5  -3  +0 -24 -20 -20 -13 -14 h2h3
c2c3  -3  +1  +0  +3  +2  -5  -1  +0  -3  -8  -6  +0 -26 -22 -19 -14 -11 c2c3
g2g3  -4  +3 +13 +19  +9  -5  +8  -4  -5 -11 -12  +0 -26 -14  -8 -19  -2 g2g3
d2d3  -4  -8 -12 -16 -12  -6  -3  -3 -10 -10  -9  +0  +0  -6  -7 -11 -13 d2d3
b1c3  -4  -4 -10  -9  +2  +8  +9 +10  +9 +12  +8 +14 +23 +18 +14  +0 +10 b1c3
b2b3 -14  +2  +5  +1  -2 -16  +0 -14  +0 -12 -16  +0 -26 -19 -23 -15  -8 b2b3
a2a4 -16 -18 -18  -8 -15 -16 -21 -20 -20 -15 -19  +0 -33 -21 -22 -17 -29 a2a4
f2f4 -18  -8  -7  -6 -12 -17 -17 -21 -19  -3  -8  +0 -35 -37  -2  +0 -22 f2f4
b1a3 -26 -24 -38 -46 -41 -40 -21 -32 -27 -45 -40  +0 -49 -48 -32 -37 -45 b1a3
b2b4 -32 -19 -13 -12  +0 -37 -22 -34 -23 -26 -32  +0 -56 -44 -46 -49 -24 b2b4
h2h4 -43 -35 -36 -24 -35 -34 -25 -26 -20 -19 -18  +0 -33 -56 -24 -21 -31 h2h4
g1h3 -61 -37 -36 -64 -51 -49 -34 -44 -42 -32 -35  +0 -54 -61 -30 -40 -43 g1h3
f2f3 -63 -54 -51 -47 -47 -40 -46 -51 -48 -39 -43  +0-105-108 -51 -63 -54 f2f3
g2g4 -76 -85 -86 -69 -73 -59 -63  +0  +0 -49 -47  +0 -98-103 -52 -54 -50 g2g4
------------------------------------------------------------------------------
engi sto6sf8 sfs6ho5 ho5 ko8 ko10 an an8  cr  cr  na  ic  ic  fr  fr  te 
depth 25  31  43  26  30  20  28  23  28  19  20  21  22  27  18  22  20

average of the evals at that depth, one above, and 1 below

Up Topic Hauptforen / CSS-Forum / No Books, no EG-Tablebases

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill