Protector 1.5.0 offizieller Release

By Frank Rahde Date 2013-02-28 15:23

Hi, die neue Engine ist auf 1 Core 60-70 Elo stärker. Wäre schön, wenn du sie berücksichtigt.

By Stefan Pohl Date 2013-03-01 03:45

[quote="Frank Rahde"]
Hi, die neue Engine ist auf 1 Core 60-70 Elo stärker. Wäre schön, wenn du sie berücksichtigt.
[/quote]

Das ist mir durchaus bewußt, ich hatte mir den VE-Compile der 1.5beta angeschaut. Um Verzerrungen im Top-Bereich der LS-Liste zu vermeiden, habe ich eine 30%-Regel in meinen Testbedingungen, die besagt, daß eine Engine mindestens 30% der möglichen Punkte scoren muß (gegen die 11 Gegner (alle Engines im top10tournament, gegen die alle Engines jeweils spielen, die getestet werden)). Davon war die Protector 1.5beta weit entfernt. Auch Hannibal 1.3 hat das nicht geschafft. Ich überlege z.Zt. diese relativ starken, nicht-kommerziellen und aktuell auch in der Weiterentwicklung begriffenen Engines "virtuell" in die LS-Liste zu integrieren. Dies würde folgendermaßen vonstatten gehen:
Diese Engines (in Frage kämen dafür z.Zt. eben Protector 1.5 und Hannibal 1.3, wenn man sich die IPON-Liste betrachtet) würden je 5500 Partien (es ist ja eben kein "echter" Testlauf, da reichen auch 5500 Partien, dauert mir sonst zu lange) nach LS-Bedingungen spielen (also je 500 Partien gegen die 11 Gegner im top10tournament) und dann würde ganz normal die Elozahl mit bayeselo ermittelt. Anschließend würden die Partien aber aus der LS-Datenbank wieder entfernt, sodaß die Ergebnisse der regulär gelisteten Engines von diesen Partien nicht beeinflußt/verzerrt werden. Das Ergebnis würde dann von mir manuell an die normale LS-Rangliste angehängt und mit veröffentlicht.

Höre mir dazu gerne eure Meinungen an - gute Ideen sind mir immer willkommen.

Stefan

By Rudolf Rohs Date 2013-03-01 07:15

Hört sich gut an.

Gruß

Rudolf

PS: EIn wenig Unterstützung für freie Engines sollte doch immer sein

By Michael Scheidl Date 2013-03-01 10:28

Gute Idee.. ich finde man kann es sogar einfacher halten: Wenn alle Top-Engines dieselbe Partienzahl gegen solche "aufstrebende" Engines spielen bzw. gespielt haben, kann man eigentlich nicht von Verzerrung reden. Das ist ja dann fair. Somit sehe ich auch keinen Grund sie aus der Datenbasis wieder zu entfernen. Ich würde sie nur farblich anders darstellen, und in einer Fußnote kurz erklären was es damit auf sich hat.

Mehrere solcher Engines (u.a. Texel, Discocheck, Minkochess) sind tatsächlich interessanter als Robbodings Nummer 27.3ab8, wo man den Eindruck bekommt, diese Dauerflut an Ippoderivaten beinhaltet hauptsächlich neue kreative Namensgebungen, und sonst nicht viel.

By Stefan Pohl Date 2013-03-01 11:50

[quote="Michael Scheidl"]
Gute Idee.. ich finde man kann es sogar einfacher halten: Wenn alle Top-Engines dieselbe Partienzahl gegen solche "aufstrebende" Engines spielen bzw. gespielt haben, kann man eigentlich nicht von Verzerrung reden.
[/quote]

Kann man doch - muß man sogar. Dann gibt es nämlich eine allgemeine Verzerrung im Top-Bereich und diese ist (noch schlimmer) nicht gleichmäßig: herausragende Engines wie Houdini 3 sind viel stärker betroffen als z.B. Panchess oder Rybka, die ja etwa 150 Elo schwächer als Houdini 3 spielen und daher auch kein sooo extremes Ergebnis gegen einen schwachen Gegner wie Protector erzielen würden.
Also fliegen die absolvierten Partien der Perspektiv-Engines auf jeden Fall aus der Datenbank raus. Das steht auf keinen Fall zur Debatte. Die Ergebnisqualität des Top-Bereichs darf unter solch schwachen Gegnern nicht leiden, denn der Top-Bereich ist schließlich der primär interessante.

Gruß - Stefan

By Michael Scheidl Date 2013-03-01 12:24

Eine mir nicht einleuchtende Überlegung, denn es ist nach derzeitigen Verhältnissen doch normal, daß Houdini gegen irgendwen besser als Rybka scort... Aber warum einfach, wenn es auch kompliziert geht?

Danke jedenfalls für Deine Tests. Es ist interessant, Daten über Engines zu sehen welche in anderen Listen nicht vorkommen.

By Stefan Pohl Date 2013-03-01 12:56

[quote="Michael Scheidl"]
Eine mir nicht einleuchtende Überlegung, denn es ist nach derzeitigen Verhältnissen doch normal, daß Houdini gegen irgendwen besser als Rybka scort... Aber warum einfach, wenn es auch kompliziert geht?

[/quote]

Es ist gar nicht kompliziert. Also hier nun noch ein allerletztes Mal ein Selbst-Zitat zu diesem Thema - eigentlich sollte das mittlerweile bekannt sein, auch wenn die meisten Tester das Problem geflissentlich ignorieren:

(Zitatanfang)
"Die in der Sedat-Liste stärkeren Houdini-Settings basieren im Endeffekt alle auf der T3-Setting-Idee, nämlich mit höheren Pawnstormwerten eine höhere Aggressivität der Engine zu erreichen. Testet man nun so ein Setting gegen viele deutlich schwächere Engines, wird man leicht eine gewisse Elosteigerung feststellen (wie das ja in der Sedat-Rangliste auch der Fall ist). Das passiert, weil ein aggressiveres Setting die Verzerrung ein wenig minimiert, die üblicherweise auftritt, wenn man starke Engines gegen zu schwache Gegner testet. Das hatte ich hier schon mehrmach ausgeführt: Alle Engines sind Autisten und wissen nicht, wie gut bzw. schlecht ihr Gegner ist. Daher wird ein Houdini, wenn er leicht schlechter steht, gerne in ein mögliches Remis durch Dauerschach oder Zugwiederholung einschwenken, auch wenn der Gegner so viel schwächer ist, das er eigentlich die Partien dennoch gewinnen würde. Houdini weiß eben nicht, daß der Gegner so viel schlechter ist. Hat man nun ein aggressiveres Setting, erzeugt man mehr taktische Verwicklungen im Mittelspiel und die Chance erhöht sich, daß eine starke Engine dann früh einen taktischen Schlag gegen eine schwachen Gegner ausführen kann, bevor ein Remis durch Zugwiederholung o.ä. auftritt. Daher scheint ein aggressives Setting in einem solchen Test-Milieu plötzlich besser zu sein als die Default-Engine. Das ist aber eine Täuschung, die darauf basiert, das gegen zu viele zu schwache Gegner getestet wird (s.o.).
Das ist ja der Grund, warum ich weder von der IPON noch von der Sedat-Liste viel halte, wenn es darum geht, die allerbesten Engines zu testen: Es wird gegen zu viele, zu schwache Gegner getestet, was die Ergebnisse verzerrt (sehr starke Engines schneiden eben etwas schlechter ab). Das aggressive Setting reduziert nun diese Verzerrung ein wenig und dadurch scheint es dann besser zu sein als der default-Houdini. Aber das ist leider nur eine Illusion basierend auf falschen Test-Rahmenbedingungen. In meiner alten LS-Liste hatte ich ja auch mal Houdini-Settings getestet (t3 und z glaube ich) und dort konnte keines (trotz großer Partienzahl gegen diverse Gegner) besser scoren (nie außerhalb der Errorbar). Eben weil in der LS-Liste keine so schwachen Gegner vorkommen...

P.S: Den gleichen Effekt gab es vor einiger Zeit mit dem Stockfish PHQ-Setting in der SWCR-Liste. Auch das schien besser zu scoren, weil es aggressiver spielte. Das PHQ-Setting ist toll, weil Stocki damit super spielt, aber ein Elo-Gewinn ist es gegen gute Gegner mit Sicherheit nicht..." (Zitatende)

Diesen (von mir so getauften) Autismus-Effekt meine ich mit dem Verzerrungsproblem. Daher ist es prinzipiell falsch und ergebnisverzerrend, Engines mit zu großem Spielstärkeunterschied gegeneinander zu testen. Wenn man es dennoch tut (so wie ich es jetzt mit Protector und Hannibal überlege), muß man die Partien aus den Ergebnissen der Top-Engines auf jeden Fall wieder rausrechnen, um damit eine statistische Beschädigung der Ergebnisse der Top-Engines zu vermeiden...

Grüße - Stefan

By Michael Scheidl Date 2013-03-01 14:35

Ist es denn ganz falsch zu sagen, eine Engine (oder auch -Settingsversion) ist tatsächlich stärker, wenn sie gegen deutlich schwächere viel besser scort, auch wenn sie gegen fast gleich starke etwas schwächer scort (und ingesamt ein höheres Rating herauskommt)? Wieso soll nur der Score gegen die allerbesten das einzig richtige Kriterium sein? Diese Auffassung teile ich nicht.

Ich könnte auch zur umgekehrten Meinung kommen, überspitzt gesagt: Eine Engine die zwar oben gut scort, aber gegen schwache Engines keinen Punch hat, halte ich nicht für stärker als umgekehrt. Eine starke Engine soll sich über eine größere Bandbreite beweisen als nur innerhalb eines engen Ratingbereiches.

Du hat Dich offenbar schon felsenfest festgelegt, ich wollte nur darstellen daß es mehrere plausible Auffassungen gibt. - Übrigens, wenn Du ohnehin schon unbeirrbar weist was das einzig richtige ist, dann ist es nicht mehr nötig um Meinungen anderer zu fragen.

By Stefan Pohl Date 2013-03-02 04:07

[quote="Michael Scheidl"]
Ist es denn ganz falsch zu sagen, eine Engine (oder auch -Settingsversion) ist tatsächlich stärker, wenn sie gegen deutlich schwächere viel besser scort, auch wenn sie gegen fast gleich starke etwas schwächer scort (und ingesamt ein höheres Rating herauskommt)? Wieso soll nur der Score gegen die allerbesten das einzig richtige Kriterium sein? Diese Auffassung teile ich nicht.

Ich könnte auch zur umgekehrten Meinung kommen, überspitzt gesagt: Eine Engine die zwar oben gut scort, aber gegen schwache Engines keinen Punch hat, halte ich nicht für stärker als umgekehrt. Eine starke Engine soll sich über eine größere Bandbreite beweisen als nur innerhalb eines engen Ratingbereiches.

Du hat Dich offenbar schon felsenfest festgelegt, ich wollte nur darstellen daß es mehrere plausible Auffassungen gibt. - Übrigens, wenn Du ohnehin schon unbeirrbar weist was das einzig richtige ist, dann ist es nicht mehr nötig um Meinungen anderer zu fragen.
[/quote]

Nun mal langsam. Dazu 3 Anmerkungen:
1) Von einem "engen Ratingbereich" kann überhaupt keine Rede sein. Ganz im Gegenteil. Meine 30%-Regel deckt einen knapp 150 Elo (147 Elo genau) Bereich unterhalb der durchschnittlichen Spielstärke aller gegnerischen Engines im top10tournament ab (dieser Durchschnitt beträgt z.Zt. 3041 Elo). Ca. 150 Elo Maximal-Differenz zum Gegnerdurchschnitt und 113 Elo Maximal-Differenz zum schwächsten Gegner (z.zT. PanChess (Robbolito 0.085g3 ist ja die außer-Konkurrenz-Eichmarke)) sind ein Klassenunterschied und kein "enger Ratingbereich". Es geht mir nur darum, absurd hohe Spielstärkenunterschiede und die damit einhergehenden Verzerrungen beim Testen zu vermeiden.

2) Die LS-Rangliste war immer dafür gedacht, sich auf den Spitzenbereich des Computerschachs zu konzentrieren und diesen dafür aber mit unerreichter Genauigkeit abzubilden (deshalb spielen ja alle Engines immer nur gegen die Gegner des top10tournaments). Deshalb soll und muß der Spitzenbereich vor möglichen Verzerrungen auf jeden Fall geschützt werden.

3) Die Meinung anderer ist mir dennoch wichtig, auch wenn ich aus genannten, sehr triftigen Gründen, nicht bereit bin, Verzerrungen im Top-Bereich zu akzeptieren. Das ist und bleibt in der LS-Rangliste ein absolutes "No-Go", ansonsten könnte ich mir nämlich den ganzen Testaufwand sparen und mich mit IPON und CEGT begnügen. Es hätte ja sein können, daß an den Perspektiv-freeware-Engines gar kein Interesse besteht (zumindest keins, daß nicht auch die "normalen" Ranglisten schon ausreichend abdecken), oder daß gewünscht würde, auch die schwächeren kommerziellen Engines mitzutesten. In letzterem Falle hätte ich auch die Perspektiv-freeware-Engines nicht getestet, denn ich bin nicht bereit für mittelmäßige Engines, die noch dazu viel schwächer als die besten Open-Source-Engines sind, Geld aus dem Fenster zu werfen. Zudem wäre ein Test der Fritz-Engine gar nicht möglich (läuft nicht unter LittleBlitzerGUI). Da ich nun aber weiß, daß zumindest ein gewisses Interesse an den Perspektiv-freeware-Engines besteht, werde ich bei nächster Gelegenheit dann wohl mal Hannibal 1.3 und Protector 1.5 testen, evt. sogar über die volle 11000 Partien-Distanz. Da bin ich noch unschlüssig. Aber die gespielten Partien dieser Engines werden aus den Ergebnissen der eigentlichen LS-Rangliste rausgehalten.

Gruß - Stefan

By Michael Hoeppenstein Date 2013-03-01 08:04

Kriege die Linux-Version leider nicht zum Laufen. Unter Scid gibt's die Fehlermeldung "no UCI-Engine" und im Terminal-Fenster nach uci go bricht die Berechnung nach kurzer Zeit ab.

Grüße,
Michael

By Kurt Utzinger Date 2013-03-01 10:22

[quote="Michael Hoeppenstein"]
Kriege die Linux-Version leider nicht zum Laufen. Unter Scid gibt's die Fehlermeldung "no UCI-Engine" und im Terminal-Fenster nach uci go bricht die Berechnung nach kurzer Zeit ab.

Grüße,
Michael
[/quote]

... und bei Verwendung der Windows-Version mit Wine oder Crossover?
Mfg
Kurt

By Michael Hoeppenstein Date 2013-03-01 13:33

Leider läuft auch die Windows-Version nicht mit wine. In der vorherigen Version gab es diese Probleme nicht.

Grüße,
Michael

By Kurt Utzinger Date 2013-03-01 16:24

[quote="Michael Hoeppenstein"]
Leider läuft auch die Windows-Version nicht mit wine. In der vorherigen Version gab es diese Probleme nicht.

Grüße,
Michael
[/quote]

Kommt mir bekannt vor, weshalb ich unter Linux noch mit einer "alten" Version von wine arbeite.
Muss abends mal schauen, wie es bei mir unter wine oder ohne wine aussieht.
Mfg
Kurt

By Kurt Utzinger Date 2013-03-02 08:20

[quote="Michael Hoeppenstein"]
Leider läuft auch die Windows-Version nicht mit wine. In der vorherigen Version gab es diese Probleme nicht.

Grüße,
Michael
[/quote]

Bei mir läuft Protector 1.5.0 win unter Linux Ubuntu 10.04 mit SCID 4.2.1 und wine 1.2.1
Gruss
Kurt

By Michael Hoeppenstein Date 2013-03-02 08:43

Bei mir läuft es nicht, allerdings verwende ich wine 1.4.1.

By U. Haug Date 2013-03-01 14:34

By Kurt Utzinger Date 2013-03-01 16:26

[quote="U. Haug"]
[quote="Michael Hoeppenstein"]
Kriege die Linux-Version leider nicht zum Laufen. Unter Scid gibt's die Fehlermeldung "no UCI-Engine" und im Terminal-Fenster nach uci go bricht die Berechnung nach kurzer Zeit ab.

Grüße,
Michael
[/quote]

Ich empfehle den Wechsel des Betriebssystems.
[/quote]

Wohl kaum wegen einer einzigen, nicht laufenden Schach-Engine, wenn man
ansonsten sehr zufrieden ist mit Linux und wenn ich es richtig im Kopf habe,
ist Michael schon lange ein sehr versierter Linux-User.
Mfg
Kurt

By Michael Hoeppenstein Date 2013-03-01 16:27

So ist es.

By Frank Rahde Date 2013-03-01 16:39

Hallo Michael,

ich stehe mit dem Autor im ständigen Kontakt.

Er kennt nun Deinen Foreneintrag. Könntest Du die Linux-Variante von Prot 1.4.0 bei Dir testen? Eigentlich hat sich am UCI-Part seit Protector 1.4.0 nichts geändert, meinte Raimund vorhin. Falls auch die Protector 1.4.0 bei Dir nicht funktioniert, liegt das Problem wahrscheinlich nicht an der Engine, sondern an der GUI usw. Haben denn auch andere Linux-User das gleiche Problem. Raimund ist bisher nix bekannt. Er wird vermutlich erst ehestens am Sonntag dazu kommen, sich die Sache anzuschauen. Für sei das nicht so einfach, weil er zur Zeit Linux nur in einer VMWare ohne Schach-GUI habe. Das Handling sei ziemlich mühsam. Da würden ihm Deine Erkenntnisse schon sehr helfen. Du kannst Dich notfalls auch direkt an ihn wenden.

Gruß, Frank

By Frank Rahde Date 2013-03-01 20:13

Raimund konnte das Problem bestätigen. Er bedauert, es in der nächsten Zeit nicht beheben zu können und hat die Linux-Version aus dem ZIP-File entfernt. Tja, die beruflichen und familialen Pflichten ... Gruß, Frank

By Peter Behringer Date 2013-03-02 20:19

Ich habe keinerlei Probleme mit einem selbstkompilierten Protector unter Scid.

By Stefan Pohl Date 2013-03-02 12:25

[quote="Stefan Pohl"]
Hallo zusammen,

Seit gestern kann man die offizielle neue Version von Protector (direkt vom Autor, kein Fremdcompile, keine Beta) runterladen, wie mir soeben im Immortal-Forum auffiel.
Für meine LS-Rangliste mit größter Wahrscheinlichkeit zu schwach (schaue es mir aber auch bei Gelegenheit mal an), aber für IPON und Co. sicher interessant!

http://sourceforge.net/projects/protector/

Grüße an alle - Stefan
[/quote]

Hallo nochmal,

inzwischen gibt es auch einen Jim Ablett Compile. Bzw. mehrere, nämlich auch mit popcount und optimiert für Intel oder AMD. Wäre schön, wenn mal jemand mit einer modernen Hardware (mit SSE42) prüfen könnte, ob da ein Compile vielleicht schneller ist, als der vom Programm-Autor.

http://jimablett.net63.net/

Grüße - Stefan