Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Brainfish von Thomas Zipproth
1 2 3 Previous Next  
Parent - By Patrick Jansen Date 2016-07-26 23:15
Endstand:

Stockfish 240716-modern (Abrok) - Brainfish 240716-modern  21 - 29  (+0, =42, -8)

Brainfish hat 8 Partien gewonnen, die übrigen waren remis.
- - By Patrick Jansen Date 2016-07-28 22:33
Diesmal mit ultimaiq-Build und 30 anstatt 25 Minuten.

Engines: Stockfish 240716-modern (ultimaiq), Brainfish 240716-modern
Partien, Bedenkzeit: 50 Partien á 30 Minuten pro Engine, kein Inkrement
Threads: 1
Ponder: ja
Hash: 512 MB pro Engine
Eröffnungsbuch: 25 Vorgabestellungen
Tablebases: nein

GUI: Deep Shredder 12
Aufgeben und Remis anbieten: ja
Zeitüberschreitung reklamieren: ja

Endstand: Stockfish 240716-modern (ultimaiq) - Brainfish 240716-modern  23 - 27  (+0, =46, -4)

Viele Partien enden remis, obwohl BF beim Verlassen des Buchs noch die doppelte Bedenkzeit auf der Uhr hat.
Parent - - By Thomas Zipproth Date 2016-07-29 02:07
Danke für den Test.

Für die vielen Remisen ist ein "Gegenmittel" vorgesehen (Book Move 2), für Züge die nur wenig schlechter als der Beste sind aber eine niedrigere Remisquote haben.
Ist aber noch in der Arbeit, bis es vollständig automatisiert ist.

Die hohe Remisquote scheint aber gerade auch eine allgemeine Tendenz der letzten Engine Versionen zu sein.
Das letzte Rapid Turnier auf Infinity hatte in der Hinsicht einen extremen Ausgang:

33 Teilnehmer, Platz 1-12 jeweils 5/9,  Platz 13-24 4.5/9.
Und das bei gemischt 44 Core bis 4 Core Maschinen.
http://www.infinitychess.com/Page/Public/TournamentUserView.aspx?TournamentID=2233&IsDialog=False&TournamentStatusID=3&IsTournamentView=true

Mal sehen wie das weitergeht.
Parent - By Patrick Jansen Date 2016-07-30 16:02
Thomas Zipproth schrieb:
Für die vielen Remisen ist ein "Gegenmittel" vorgesehen (Book Move 2), für Züge die nur wenig schlechter als der Beste sind aber eine niedrigere Remisquote haben.
Ist aber noch in der Arbeit, bis es vollständig automatisiert ist.

Ich werde den Test dann wiederholen.
Parent - - By Stefan Pohl Date 2016-07-29 03:27
Patrick Jansen schrieb:

Diesmal mit [url]ultimaiq[/url]-Build und 30 anstatt 25 Minuten.

Engines: Stockfish 240716-modern (ultimaiq), Brainfish 240716-modern
Partien, Bedenkzeit: 50 Partien á 30 Minuten pro Engine, kein Inkrement
Threads: 1
Ponder: ja
Hash: 512 MB pro Engine
Eröffnungsbuch: [url]25 Vorgabestellungen[/url]
Tablebases: nein

GUI: Deep Shredder 12
Aufgeben und Remis anbieten: ja
Zeitüberschreitung reklamieren: ja

Endstand: Stockfish 240716-modern (ultimaiq) - Brainfish 240716-modern  23 - 27  (+0, =46, -4)

Viele Partien enden remis, obwohl BF beim Verlassen des Buchs noch die doppelte Bedenkzeit auf der Uhr hat.


Altbekanntes Problem von Stockfish, damit auch von Brainfish. Besonders wenn Stockfishe gegeneinander spielen. Gerade in diesem Falle wirkt ein Contempt=10 oder 15 für beide schon recht gut und senkt die Remisquote merkbar ab.
Parent - - By Patrick Jansen Date 2016-07-29 06:38
In diesem Fall hätte ich aber nicht mit einer so hohen Remisquote gerechnet. Wie gesagt, BF kam mit 30 Minuten Restzeit aus dem Buch - SF hatte da teils nur noch 14-16 Minuten. BF hatte demnach für den Rest der Partie die doppelte Zeit für Zugberechnungen.
Parent - - By Stefan Pohl Date 2016-07-29 06:47
Patrick Jansen schrieb:

In diesem Fall hätte ich aber nicht mit einer so hohen Remisquote gerechnet. Wie gesagt, BF kam mit 30 Minuten Restzeit aus dem Buch - SF hatte da teils nur noch 14-16 Minuten. BF hatte demnach für den Rest der Partie die doppelte Zeit für Zugberechnungen.


Ich würds trotzdem mal probieren und den Wettkampf mal mit Contempt=10 oder 15 für beide wiederholen. Bei der Gelegenheit kannst du gleich die neue Brainfishhversion mit externer Library ausprobieren...
Parent - - By Heinz Hagenstein Date 2016-08-02 20:11
Meine Frage hat man schon in etwa einen Termin für ein kommerzielles Relaese,

ich bin begeistert was ihr da leistet.

Gruß Heinz
Parent - By Stefan Pohl Date 2016-08-03 06:40
Heinz Hagenstein schrieb:

Meine Frage hat man schon in etwa einen Termin für ein kommerzielles Relaese,

ich bin begeistert was ihr da leistet.

Gruß Heinz


Angepeilt ist das Jahresende. Aber, da Thomas Zipproth und sein Bruder alles alleine programmieren und - so ganz nebenher noch arbeiten gehen - ist jedwede Prognose mit äußerster Vorsicht zu genießen. Die Entwicklung ist schon recht weit fortgeschritten, aber an der Benutzerfreundlichkeit der Sirius GUI muß noch gearbeitet werden. Bei einem kommerziellen Produkt erwartet der zahlende Kunde - zu Recht - ein benutzerfreundliches Handling für sein sauer verdientes Geld.
Auch können immer unerwartete Probleme auftauchen. Brainfish hat z.B. in meinem Endless RoundRobin Turnier gelegentliche timelosses gehabt, trotz der langen Bedenkzeit von 25'+5''. In meine Bullettestruns mit viel weniger Bedenkzeit aber seltsamerweise nicht...Das Problem wird derzeit von Thomas untersucht. Bisher ist unklar, woran es liegt. Wer auf Nummer sicher gehen will, sollte bis auf weiteres den Parameter Move Overhead auf 150 setzen (default ist 30). Damit läuft Brainfish bei mir jetzt ohne timelosses.
Solche unverhergesehenen Probleme können immer wieder mal auftauchen. Das macht jedweden Zeitplan für Releases so schwierig.
Also, einfach abwarten...auch wenns schwerfällt.
- - By Patrick Jansen Date 2016-08-04 18:47
Es läuft wieder ein Match:

Engines: Brainfish 160802-modern + Cerebellum-Buch vom 4.8., Komodo 10.1
Partien, Bedenkzeit: 50 Partien á 25 Minuten pro Engine, kein Inkrement
Threads: 1
Ponder: ja
Hash: 512 MB pro Engine
Eröffnungsbuch: 25 Vorgabestellungen
Tablebases: nein

GUI: Deep Shredder 12
Aufgeben und Remis anbieten: ja
Zeitüberschreitung reklamieren: ja

Screens unter https://stockfishchess.de/match/
Parent - - By Stefan Pohl Date 2016-08-04 21:38
Ich will nun auch mal wissen, ob und wieviel besser Brainfish mit längeren Bedenkzeiten ist als der konventionelle Stockfish. Nur macht das Spielen von Stockfish direkt gegen Brainfish wenig Sinn, wegen der exorbitanten Remisneigung von Stockfish im Self-play.
Also habe ich mein Endless RoundRobin mal zum Gauntlet umfunktioniert und dort spielt nun Komodo 10.1 sowohl gegen Brainfish 160802 modern als auch gegen Stockfish 160802 modern (ultimaiq-compile, dieser ist praktisch genauso schnell wie Brainfish).
Wie gehabt 25'+5'', kein pondern, alle 4 cores für die rechnende Engine.Jede Engine hat eine eigene Kopie eines identischen, neutralen 7moves-books (erstellt aus GM/IM-Partien) sodaß jede Engine für sich Buchlernen kann. Damit sind Doubletten praktisch ausgeschlossen. Und das 7 Züge Buch ist zwar tief genug, um verschiedene Eröffnungssysteme aufs Brett zu bringen,,aber noch flach genug, daß die Cerebellum-Library im Anschluß noch genügend Potential entfalten können sollte.
Allerdings werden bei diesem Spieltempo nur ca. 20-22 Partien pro Tag absolviert, also nur 10-11 pro Einzelwettkampf. Es wird also mindestens 10 Tage dauern, bis halbwegs brauchbare Ergebnisse vorliegen...
Parent - - By Patrick Götz Date 2016-08-04 22:14
Bin gespannt.
Aber egal wie es ausgeht: die Cerebellum-Library kann noch unglaublich weit ausgebaut werden. Ich hoffe ja, dass es irgendwann zu einem "gemeinsamen Rechnen" am Buch kommt.
Parent - By Stefan Pohl Date 2016-08-08 18:56
Patrick Götz schrieb:

Bin gespannt.
Aber egal wie es ausgeht: die Cerebellum-Library kann noch unglaublich weit ausgebaut werden. Ich hoffe ja, dass es irgendwann zu einem "gemeinsamen Rechnen" am Buch kommt.


Das muß ich leider verschieben. Eins meiner beiden Notebooks hat eine Macke (Lüfter fuktioniert nicht richtig). Muß erst mal einen Kumpel anhauen, der mir das repariert. Sobald es wieder geht, gehts los. Sorry aber wenn die Technik muckt, kann man nix machen.
Parent - - By Michael Scheidl Date 2016-08-05 00:30
Zitat:
...sodaß jede Engine für sich Buchlernen kann.

Langsam mach ich mir Sorgen um Dich.

Zitat:
...zum Gauntlet umfunktioniert und dort spielt nun Komodo 10.1 sowohl gegen Brainfish 160802 modern als auch gegen Stockfish 160802 modern

"Gauntlet" zweier Testkandidaten gegen einen einzigen Gegner? Langsam mach ich mir Sorgen um Dich.

Zitat:
...bis halbwegs brauchbare Ergebnisse vorliegen...

Mach mal Pause
Parent - - By Stefan Pohl Date 2016-08-05 03:59 Edited 2016-08-05 04:42
Michael Scheidl schrieb:

Zitat:
...sodaß jede Engine für sich Buchlernen kann.

Langsam mach ich mir Sorgen um Dich.

Zitat:
...zum Gauntlet umfunktioniert und dort spielt nun Komodo 10.1 sowohl gegen Brainfish 160802 modern als auch gegen Stockfish 160802 modern

"Gauntlet" zweier Testkandidaten gegen einen einzigen Gegner? Langsam mach ich mir Sorgen um Dich.

Zitat:
...bis halbwegs brauchbare Ergebnisse vorliegen...

Mach mal Pause


Was soll das???
Wenn jede Engine eine eigene Buchkopie hat und Buchlernen aktiviert ist, dann macht jede Engine für sich Buchlernen, wird also Buchvarianten nicht wiederholen, die zum Partieverlust geführt haben, indem sie diese Varianten in ihrer jeweiligen Buchkopie sperrt. Diese Option heißt in der ShredderGUI Buchlernen. Was ja wohl auch durchaus treffend ist...
Und das Gauntlet spielt natürlich Komodo. Gegen Stockfish und Brainfish. Damit ich sehen kann, ob Komodo gegen Stockfish oder Brainfish besser scored. Und wieviel.
und bis halbwegs brauchbare Ergebnisse vorliegen braucht es bei diesem geringen Spieltempo nun mal gut 10 Tage, damit Komodo gegen jeden Gegner wenigstens 100 Partien gemacht hat. Brauchbar meint logischerweise statistisch brauchbar.
Ist das wirklich so schwer zu begreifen, oder soll das nur ein billiger Provokationsversuch sein?!? Von dir hatte ich so etwas eigentlich nicht erwartet.

Vielleicht machst du mal lieber Pause?!?
Parent - - By Frank Rahde (Mod.) Date 2016-08-05 06:25
Michaels Beitrag wirkte auf mich eher humorig-wohlwollend statt provokativ.
Parent - - By Stefan Pohl Date 2016-08-05 10:05
Frank Rahde (Mod.) schrieb:

Michaels Beitrag wirkte auf mich eher humorig-wohlwollend statt provokativ.


Vielleicht bin ich wegen anderer Postings anderer Personen in letzter Zeit etwas zu dunnhäutig geworden. Das mag sein. Aber meinen Sinn von Humor trifft es nunmal ganz und gar nicht, wenn man mich und meine Testarbeit hinstellt, als hätte ich keine Ahnung,,von dem was ich tue.
Falls das jemand komisch findet, bitte sehr. Ich aber finde sowas nicht komisch. Sondern herabwürdigend für meine Testarbeit und damit auch für mich.
Sollte aber hier im Forum die Meinung vorherrschen, daß so ein Posting wie das von Michael humorig und sogar "wohlwollend" ist, dann muß mir wohl überlegen, ob ich hier noch weiter posten sollte. Und posten will. Denn ich persönlich finde so ein Posting weder humorig noch wohlwollend. Sondern im Gegenteil. Aber die Geschmäcker sind ja verschieden.
Parent - - By Michael Scheidl Date 2016-08-05 14:31
Ich entschuldige mich für mein verunglücktes Posting von gestern. Niemand in geistigem Vollbesitz würde Deine Kompetenzen anzweifeln.

Bezüglich Buchlernen hatte ich mich gewundert, weil mir entgangen war daß es sich hierbei um die Funktion der Shredder-GUI handelt. Was das für einen Enginevergleich bedeutet, darüber habe ich heute vorsichtshalber keine Meinung
Parent - By Stefan Pohl Date 2016-08-05 15:09 Edited 2016-08-05 15:12
Michael Scheidl schrieb:

Ich entschuldige mich für mein verunglücktes Posting von gestern. Niemand in geistigem Vollbesitz würde Deine Kompetenzen anzweifeln.

Bezüglich Buchlernen hatte ich mich gewundert, weil mir entgangen war daß es sich hierbei um die Funktion der Shredder-GUI handelt. Was das für einen Enginevergleich bedeutet, darüber habe ich heute vorsichtshalber keine Meinung


Alles gut! Jeder hat mal einen schlechten Tag. Entschuldigung angenommen, danke dafür.
Normalerweise teste ich ja mit Vorgabestellungen. Wenn nun aber die Cerebellum Library auf diese Stellungen optimiert wird, so,wie das ja - bewußt - mit meinen 500 Vorgabestellungen für die Bulletestruns gemacht wurde, dann ist das Ergebnis von Brainfish natürlich sehr stark. Kennt die Library die Positionen gar nicht, hat ein Test von Brainfish keinen Sinn, weil man dann nur Stockfish testet.
Daher habe ich mich dafür entschieden ein flaches neutrales Buch zu benutzen. Wenn jede Engine eine Kopie davon bekommt, kann sie eben gemäß ihrer Ergebnisse Varianten sperren oder auch bevorzugen. Damit sind Doublette praktisch ausgeschlossen. Und die Cerebellum Library kann nicht speziell auf diese Testbedingungen vorbereitet werden. Dennoch sind die Stellungen aber auch nicht so exotisch, daß Library nicht zum Zuge kommt. Insofern schien mir das ein sinnvoller Ansatz, um Brainfish unter möglichst realitätsnahen Bedingungen zu testen. Ob mir das gelungen ist, muß jeder für sich selbst beurteilen.
Parent - By Benno Hartwig Date 2016-08-05 10:41
Mag sein.
Nur worüber sich Michael da so "humorig-wohlwollend" wunderte (Gauntlet), hat sich mir auch nicht erschlossen.
Parent - - By Stefan Pohl Date 2016-08-05 11:23
Es gibt seit gestern Abend übringens eine neue Version der Cerebellum Library zum Download. Ich nutze sie dann auch ab sofort in meinem Turnier.
Parent - By Stefan Pohl Date 2016-08-05 11:55
Stefan Pohl schrieb:

Es gibt seit gestern Abend übringens eine neue Version der Cerebellum Library zum Download. Ich nutze sie dann auch ab sofort in meinem Turnier.


Ich habe mir überlegt, das Turnier mit Komodo gegen Brainfish und Stockfish noch mal neu aufzusetzen, mit etwas kürzerer Zeit: 20'+5'' Das ergibt einfach etwas mehr Partien in gleicher Zeit und sollte im Quadcore-Rechenbetrieb auch noch schachlich hochwertig genug sein.
Das erhöht einfach die statistische Qualität der Ergebnisse, weil mehr Partien gespielt werden. Trotzdem wird es eine Weile dauern, bis da etwas halbwegs Aussagekräftiges herauskommt.
Parent - - By Patrick Jansen Date 2016-08-05 06:29 Edited 2016-08-05 06:40
Sagt mal, da ich Komodo erst seit gestern habe, wenn ich mir das bisherige Ergebnis anschaue, kann man K irgendwie falsch einrichten oder konfigurieren?

https://stockfishchess.de/match/
Parent - - By Stefan Pohl Date 2016-08-05 10:06
In der Shredder GUI eigentlich nicht. Und die Knotenzahlen sehen in deiner Übertragung auch normal aus.
Einen Kopierschutz wie bei Houdini, der nicht autorisierten Kopien die Spielstärke runterdreht, gibt es jedenfalls nicht.
Parent - - By Patrick Jansen Date 2016-08-05 10:15
Komodo hat nach 24 Partien nicht mal eine davon gewonnen?! Kann ich nicht glauben.

Das Einzige, was mir in der GUI auffällt, die Hash-Angabe bei Komodo steht dauerthaft bei 100%. Hier scheint sich K anders zu verhalten als SF/BF. Laut Taskmanager nutzen beide Engines jedenfalls um die 500MB.

> Einen Kopierschutz wie bei Houdini, der nicht autorisierten Kopien die Spielstärke runterdreht, gibt es jedenfalls nicht.


Habe ordnungsgemäß über deren Webseite bestellt
Parent - - By Benno Hartwig Date 2016-08-05 10:37

> Komodo hat nach 24 Partien nicht mal eine davon gewonnen?!


lässt du vielleicht sehr kurze Zeiten spielen? Das ist wohl nicht Komodos Spielwiese.
Parent - - By Stefan Pohl Date 2016-08-05 10:42
Benno Hartwig schrieb:

lässt du vielleicht sehr kurze Zeiten spielen? Das ist wohl nicht Komodos Spielwiese.


Pro Engine 25' die Partie finde ich nicht soooo kurz. Aber es gibt kein Inkrement. Vielleicht kommt Komodo damit nicht klar. Das fällt mir aber schwer zu glauben. Zumindest sollte es nicht so sein...
Parent - - By Benno Hartwig Date 2016-08-05 15:00

> Pro Engine 25' die Partie finde ich nicht soooo kurz


Stimmt. Nach meiner Erfahrung kommt Komodo traditionell gegen Stockfish untere die Räder, wenn er nur so 1 bis 3 Minuten pro Partie hat.
Parent - By Stefan Pohl Date 2016-08-05 15:11 Edited 2016-08-05 15:27
Benno Hartwig schrieb:

Stimmt. Nach meiner Erfahrung kommt Komodo traditionell gegen Stockfish untere die Räder, wenn er nur so 1 bis 3 Minuten pro Partie hat.


Inzwischen hat Komodo eine Partie gewonnen. Die aktuelle wird er aber wohl wieder verlieren...
Brainfish ist aber eben auch mehr als nur Stockfish...
Parent - By Stefan Pohl Date 2016-08-05 10:40
Patrick Jansen schrieb:

Komodo hat nach 24 Partien nicht mal eine davon gewonnen?! Kann ich nicht glauben.

Das Einzige, was mir in der GUI auffällt, die Hash-Angabe bei Komodo steht dauerthaft bei 100%. Hier scheint sich K anders zu verhalten als SF/BF. Laut Taskmanager nutzen beide Engines jedenfalls um die 500MB.

Habe ordnungsgemäß über deren Webseite bestellt


Ja, diese Hashanzeige ist bei Komodo normal
Parent - By Stefan Pohl Date 2016-08-05 11:26
Patrick Jansen schrieb:

Komodo hat nach 24 Partien nicht mal eine davon gewonnen?! Kann ich nicht glauben.

Das Einzige, was mir in der GUI auffällt, die Hash-Angabe bei Komodo steht dauerthaft bei 100%. Hier scheint sich K anders zu verhalten als SF/BF. Laut Taskmanager nutzen beide Engines jedenfalls um die 500MB.

Habe ordnungsgemäß über deren Webseite bestellt


Locker bleiben! 24 Partien sind gar nix. Wahrscheinlich ein statistischer Ausreißer.
Parent - - By Patrick Jansen Date 2016-08-06 10:54
Endstand:

Brainfish 160802-modern + Cerebellum-Buch vom 4.8. vs. Komodo 10.1    31.5 - 18.5  (+18, =27, -5)  63%
Parent - - By Stefan Pohl Date 2016-08-06 11:39
Patrick Jansen schrieb:

Endstand:

Brainfish 160802-modern + Cerebellum-Buch vom 4.8. vs. Komodo 10.1    31.5 - 18.5  (+18, =27, -5)  63%


Laut Elotabelle: 63% = +92 Elo
Aber natürlich sind nur 50 Partien sehr, sehr, sehr wenig. Trotzdem starkes Ergebnis von Brainfish.
Parent - By Patrick Jansen Date 2016-08-06 12:02
Sehe ich entspannt, da die Spielzeit nicht zu kurz war und die Engines vom 2. bis zum letzten Zug alles selbst spielen mussten.
Up Topic Hauptforen / CSS-Forum / Brainfish von Thomas Zipproth
1 2 3 Previous Next  

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill