Kurzauftritt von Crafty v24.0

By Michael Scheidl Date 2014-06-22 12:08 Edited 2014-06-22 12:11

Mitunter werden Fragen gestellt wie: Welche Engine hat das meiste Schachwissen? Crafty könnte ein Kandidat sein: Vor mehreren Jahren antwortete mir Programmierer- und Urgestein - Bob Hyatt, daß er noch niemals Wissen aus seiner Engine herausgenommen habe. Ich weiß nicht ob er diese Philosophie beibehalten hat, aber ich denke schon, denn er gilt ja nicht als jemand der von strikten Prinzipien abweicht.

(Aber ich möchte nicht abschweifen

)

1m+0,5s, i5 3210M/2,5...2,9 GHz
je ein Thread, ponder off
je ~256 MB Hashtables
Eröffnungen: Balanced-14.abk
Arena 3.5, Windows 8 64 Bit
Nalimov- und Gaviota-Viersteiner

Crafty 24.0    2638 - Booot 5.2.0                 2759   1.5 - 4.5    +1/=1/-4    25.00%
Crafty 24.0    2638 - Cheng 4_0.36c               2650   2.5 - 3.5    +1/=3/-2    41.67%
Crafty 24.0    2638 - Gaviota 1.0                 2719   0.0 - 6.0    +0/=0/-6    0.00%
Crafty 24.0    2638 - Murka 3                     2718   2.0 - 4.0    +0/=4/-2    33.33%
Crafty 24.0    2638 - ProDeo 1.87                 2542   6.0 - 0.0    +6/=0/-0    100.00%
Crafty 24.0    2638 - Quazar 0.4                  2743   2.0 - 4.0    +0/=4/-2    33.33%
Crafty 24.0    2638 - Shredder Classic MP 2012    2660   4.0 - 2.0    +3/=2/-1    66.67%

(keine Verluste auf Zeit)

Ratings laut CEGT 40/4, Gegnerschnitt: 2684. 18,0/42 = 42,9% => Performance 2633

Das ist knapp unter dem Rating von Version 23.8, und bei der sehr geringen Partienzahl kann man sagen, im Rahmen.

Ich denke mir - möglicherweise irrig - in der Frühzeit des modernen Computerschachs war die "Krücke" menschliches Erfahrungswissen, sprich möglichst genaue positionelle Bewertung (der Endknoten) vermutlich wichtiger, denn die frühen Schachprogramme bzw. Engines waren ja im Vergleich zu heute sehr kurzsichtig. Nun kann man ja beobachten, wie z.B. bei Stockfish vereinfacht, gekürzt und zusammengestrichen wird soviel nur geht, solange es der Eloperformance nicht schadet. Einfachheit ist natürlich schneller und dient somit der Rechentiefe.

Jedoch: Dieser Überlegung zufolge müßte Crafty ja bei den ultrakurzen Bedenkzeiten wie sie nun oft zur Anwendung kommen, signifikant besser abschneiden als bei mittleren und langen. Davon habe ich aber noch nie gehört...

aus welchen Gründen auch immer. Vielleicht spielt auch dort schon ein Rückstand bei der RT. eine Rolle, und/oder Crafty wird mangels vielversprechender Gesamtspielstärke in viele solcher Tests gar nicht mehr einbezogen.

Des weiteren hat, soviel ich mitbekommen habe, nicht nur die Masse des Wissens an sich, sondern auch das aufwändige Feintuning der Bewertungsparameter die es repräsentieren, viel Bedeutung gewonnen. Vielleicht kann Crafty hier nicht mit der Qualität aufwarten, wie sie durch "Engineering" (c) Vas Rajlich, bzw. bei Rybka, Houdini und weiteren Folgeerscheinungen gegeben ist.

Trotzdem eine jedenfalls gute, solide Engine die sozusagen noch am Leben ist, während viele stärkere sozusagen wie Kometen aufgestiegen sind, aber auch schnell wie selbige verglühten.

By Frank Quisinsky Date 2014-06-22 12:50

Hallo Michael,

30 ELO in 3 1/2 Jahren ist nicht so viel, rein von der Leistung die diese Engine erspielt.
Die Verluste sind teilweise katastrophal, schön zu sehen schon beim Bewertungsprofil der FCT1 Partien (lade ich nach dem laufenden Round Robin heute Abend hoch). Da werden einfache taktische Kombinationen gar nicht gesehen und selbst 1-2 Züge später ... andere Engine teilweise schon bei +5 oder höher ... Crafty sieht es nicht. Im Endspiel ist Crafty nach wie vor gut aber taktisch so anfällig wie keine andere Engine die ich in letzter Zeit so getestet habe.

Und die Engine sieht das Unheil einfach nicht, auch nicht mit mehr Zeit. Das ist natürlich immer die erste Frage, vermeidet die Engine die taktischen Fehler mit mehr Zeit. Umkehrschluss ist logisch ... Crafty wird mit weniger Zeit höhere Leistungen bringen. CEGT 40 in 20 ist ca. 50% von meiner Zeitkontrolle. In CEGT spielt Crafty ca. 20-30 ELO stärker als in FCT1.

Das in Crafty viel Wissen vorhanden ist wage ich mal stark zu bezweifeln.
Die Engine ist sehr schnell ... viele NPS ... eher technisch einiges drin um auf hohe Zugtiefen zu kommen. Wissensbasierte Programme sind eher langsamer, wobei die NPS auch nur ein Anhaltspunkt ist. Crafty wird also derzeit richtig vorgeführt, ob von Nirvanachess von Vajolet oder sonst wen. Dennoch erreicht Crafty fast gleich gute Ergebnisse gegen deutlich stärke als Nirvanachess oder Vajolet. Heißt dann auch wieder einiges was gut ist muss ja drin sein.

Wie gesagt, reicht aber nicht.
Bislang 0 Partien gewinnen bis 50 Züge ... eine Partie gewonnen bis 60 Züge ... so ein schwaches Ergebnis hat wie gesagt noch keine andere Engine erreicht. So anfällig in der Eröffnung ... unglaublich.

Und Verluste auf Zeit ... nicht eine einzige Partien nach jetzt 950 45-Minuten Partien auf i7 4.3 GHz.

Gruß
Frank

By Michael Scheidl Date 2014-06-22 12:59

Schade; so schlecht waren meine Eindrücke bisher nicht, aber Deine sind sicherlich viel fundierter. Die Zeit bleibt halt nicht stehen, aber Crafty bleibt schon seit längerem fast stehen.

Zitat:

Bewertungsprofil

Das ist die Methode um rasch interessante Partien und Stellungen aufzufinden! Nutze ich gerne bei der Durchsicht meiner Computerpartien. Leider speichert Arena die Bewertungen aus Engineperspektive, sodaß die Profile in Fritz ausschauen wie ein Rorschachtest. - Vielleicht gar nicht schlecht, denn so bekommt man eine kleine psychiatrische Behandlung gratis dazu.

Kann mir nicht schaden.

By Frank Quisinsky Date 2014-06-22 13:12 Edited 2014-06-22 13:22

Hi Michael,

Bob sollte mal seinen eigenen Test überdenken. Crafty gegen Crafty 15.000 Partien um die ErrorBar zu drücken auf geringstem Level. Dabei kann nichts gescheites herauskommen. Auch Bob leidet ein wenig unter dem "ErrorBar Syndrom" anstatt mal den Test mit unterschiedlichen Engines aufzubauen. Er würde doch viel mehr sehen und hätte viel mehr Ansatzpunkte seine Engine zu verbessern. Wenn er aber von seinem Testprinzip nicht wegkommt bleibt die Engine in der Entwicklung stehen.

Aber ansonsten ...
Crafty muss ein Mensch erst mal schlagen!!
Technisch auf einem sehr hohem Level auch begeistert die Engine im Textmode mit den vielen sinnvollen Einstellungsmöglichkeiten.
Auch eine WB kann noch begeistern!

Und im Endspiel ist die Engine nicht schlecht aber das sind mittlerweile auch die anderen nicht schlecht. Nur wenige Engine spielen das Endspiel im direkten Vergleich noch _sichtbar_ "schlechter".

Ja, das Bewertungsprofil ...
Einer meiner drei großen Fehler bei der SWCR1 ... ich habe die Partien entkommentiert um bei den Downloads Platz zu sparen.
Dummerweise auch nie mit Bewertungen gesichert ... das hätte ich seinerzeit tun sollen / müssen. Mein Got 150.000 Partien waren das und ich Depp ...

Hoffe ja immer auf ein gutes statistisches Auswertungsprogramm und da dies irgend wann kommen wird, werden Computerschachdatenbanken wertvoll wenn die Bewertungen enthalten sind. Auch Aufgabefaktor = aus ... wichtig für Stats.

Arena konnte doch glaube ich mal die Bewertungen unterschiedlich speichern. Da gab es doch mal eine Funktion um das einzustellen. Nehme mir immer mal vor Arena auszupacken aber wenn ich mit Arena wieder anfange ist das nicht gut für mich, stecken zu viele von meinen Ideen drin und das tut mir nicht gut damit wieder anzufangen. So unlogisch sich das anhört aber das muss ich vermeiden. Arena würde mich sofort begeistern und ich würde sofort versuchen Martin zu nerven um das was ich zum Zeitpunkt der Aufgabe noch wollte rein zu bringen. Und Martin wäre sicherlich auch nicht glücklich darüber wenn ich ihm vollmaile. Der nimmt das ziemlich ernst und setzte ja immer noch einen drauf wenn ich schon dachte ... Martin es reicht

Ja, psychiatrische Behandlung gratis dazu ... vor allem wenn Du bei jeder oder dieser Einschätzung von Dir selbst merkst das diese nicht stimmen kann wenn Stats dann mal anders aufgebaut werden. Aber wir sind alle nicht allwissend und müssen uns immer mal wieder selbst updaten. Aber wäre es anders würde das Hobby nicht so viel Spaß machen.

Gruß
Frank