Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Großer Erst-Test von Firebird auf Quadcore
- - By Stefan Pohl Date 2010-01-20 07:02
Hallo!

Ein Test von Firebird 1.0 beta x64 auf 2.83GHz Quad (64 bit Vista Home Premium) gegen Rybka 3 mp x64, Stockfish 1.6 x64, Naum 4.
Jeweils 100 Partien mit 2'+2'' (ohne Permanent Brain, rechnen immer abwechselnd) mit Noomen-Vorgabestellungen. Zusätzlich konnten Rybka und Naum auf die 3,4 und 5er TBs auf einem schnellen USB-Stick (inklusive 512 MB Cache) zugreifen. Folgendes Ergebnis konnte Firebird gegen die Top 3 erzielen:

Firebird 1.0 beta x64 - Rybka 3 mp x64: 59.5 - 40.5 (+33 -14 =53)
Firebird 1.0 beta x64 - Stockfish 1.6 x64: 63.5 - 36.5 (+41 -14 =45)
Firebird 1.0 beta x64 - Naum 4: 63.5 - 36.5 (+38 -11 =51)

Durchschnitt: 62.17% gegen eine durchschnittliche Elozahl von 3169 (CEGT-Liste 4/40). Also eine Leistung von ca. 3258, damit ca. 20 Elo vor dem Spitzenreiter Rybka 3.

Da ich die ganze Klondebatte nur sehr am Rande verfolge weiß ich nicht, von wem Firebird geklont sein soll. Von seinen drei obigen Gegnern jedenfalls nicht, dafür spielt Firebird nicht nur zu stark, sondern pflegt auch einen anderen Spielstil. Auffallend war, daß Firebird sich viel öfter kurz vor Ende (der ja sehr flotten) Bedenkzeit noch für einen anderen Zug entschieden hat, als seine drei Gegner, die in dieser Hinsicht wesentlich stabiler wirkten. Das läßt m.E. darauf schließen, daß Firebird durchaus von längeren Bedenkzeiten (bzw. zukünftiger Hardware) stärker als andere profitieren könnte. Weiterhin viel mir auf, daß im Endspiel noch Luft nach oben ist. Dort war gerade Rybka 3 deutlich überlegen und hat noch die eine oder andere Partie gedreht und das nicht dank der Tablebases, sondern in frühen Endspielphasen.
Auch nicht unwichtig: Im Gegensatz zu Robbolito/Ippolit auf denen Firebird ja laut Autor aufbaut, nutzt Firebird nicht nur alle 4 Cores, sondern lief auch (bei mir) stabil über die ganze Testdistanz. Für eine Beta nicht selbstverständlich und beides ist bei Robbolito/Ippolit bei mir nicht der Fall. Auch scheint die Multicorenutzung recht effizient zu sein: Schaltet man von 4 auf 3 Cores, so geht die Knotenzahl um ca. 20-25% zurück usw...

Gruß - Stefan
Parent - By Bram Mourik Date 2010-01-22 19:23
Firebird 1.0 - Rybka 3 ,
Firebird holds his superiority at longer timecontrols in serie of Nunn2 testmatches

The ELO difference between the different engines and Rybka, tested on CCRL and CEGT, at short (40/4) and longer (40/20 an 40/120) timecontrols, are pretty consistent. Which indicates that when there is a substantial difference - e.g. >  60 Elo - at a shorter timecontrol, than there will be also a sustained difference at longer timecontrol.
But most remarkably, almost all of the engines perform better against Rybka at longer timecontrols. So there is a tendency that the difference between a program and number one Rybka, becomes clearly less at longer timecontrols. This is most obviously the case for Naum and Zappa.

My point, there is no evidence to believe that this will not be the case with the difference between Firebird 1.0 beta and Rybka 3 at larger timecontrols.

CEGT - MP versions x64, 4CPU at 40/4; 40/20 and  40/120
  Rybka  Stockfish  Naum4  Deep Fritz11  Zappa Mexico II  Fruit 2.4 betaA
           
40/4  3236  3147  3123  3065  3023  2983
diff with rybka    89  113  171  213  253
           
40/20  3188  3127  3094  3020  3017  2952
diff with rybka    61  94  168  171  236
           
40/120  3166    ?  3105  3014  3003  2950
diff with rybka      ?  61  152  163  216
           

My testing over 2x 50 games Nunn2 testmatch, between Firebird 1.0 beta and Rybka 3 at 4m2 sec and 25m, gave an almost equal result, 31-19 and 30-20 and are nicely in line with the above statistic findings.
My games with the Nunn2 testmatch (50 games) on long timecontrol 40m/40/20m/40/20
(Centrino Dual Core T8300, 2100Mhz, 128 mb Hash) is yet running at game16, standings sofar, Firebird +6 - 2 =7 so pretty consistent result for Firebird. But we wil see for the complete results within two days whether my assumption - Firebird holds his superiority at longer timecontrols - stays put.

grusse Bram
Parent - - By Urs Maier Date 2010-01-23 11:16
hast du nicht den titel falsch gewählt?
es hätte heißen müssen:
rybka 4 beta - rybka 3!
Parent - - By Karl-Heinz Milaster Date 2010-01-23 13:43
[quote="Urs Maier"]hast du nicht den titel falsch gewählt? es hätte heißen müssen: rybka 4 beta - rybka 3![/quote]
Da könntest Du recht haben - allerdings in einem anderen Sinn, als Du meinst.
Parent - - By Urs Maier Date 2010-01-23 14:28
du bist ein bischen verbohrt, was?
kommt da noch eine voreingenommenheit gegen rybka dazu?
wenn sich alle über die herkunft von ippolit im großen und ganzen einig sind, bist du doch anderer meinung und bleibst dies auch?
dann erzähl uns doch mal deine version.
Parent - By Benno Hartwig Date 2010-01-23 15:11
[quote="Urs Maier"]wenn sich alle über die herkunft von ippolit im großen und ganzen einig sind[/quote]Sind sie das?
Diese Herkunft ist mir noch sehr unklar. Und es findet kein Bemühen statt, dies zu ändern.
R3 + Weiterentwicklung? R3 + Weglassen mancher Sourcenteile? R4beta? Zusammenbau diverser Sourcen diverser Engines (Welche?)? Anderes?
Diverse halbwegs plausible und auch einigermaßen skurile Ideen sind im Umlauf.
Was weißt du so Konkretes über die Herkunft, wenn hierüber dann Einigkeit herrschen sollte?
Benno
Parent - - By Werner Mueller Date 2010-01-23 18:42
[quote="Urs Maier"]
hast du nicht den titel falsch gewählt?
es hätte heißen müssen:
rybka 4 beta - rybka 3!
[/quote]
WENN man Dir für einen Moment mal folgen will, DANN wäre der alternative Titel 'Fruit 6 beta - Fruit 5' sicher auch einer Überlegung wert.
Parent - - By Urs Maier Date 2010-01-24 13:52
du solltest nich so viel auf gerüchte geben, sondern auf belegbare tatsachen.
Parent - - By Werner Mueller Date 2010-01-24 18:11
[quote="Urs Maier"]
du solltest nich so viel auf gerüchte geben, sondern auf belegbare tatsachen.
[/quote]
Natürlich ist Rybka kein Clone von Fruit, das liegt aber nicht an Rybka sondern am Begriff 'Clone', der nur für die ganz primitiven Fälle von Täuschungsversuchen taugt, ansonsten ist er (leider) nicht definierbar.

Dass Rybka kein eigenständiges Programm ist wurde mit Strelka belegt, dass in Rybka 1:1 Kopien von Fruit stecken wurde belegt, dass Hyatt offen von Verletzung der GPL spricht, dass...
Es macht keinen Sinn die seit Jahren andauernde Diskussion im CCC wiederzukäuen. Wer sie verfolgt hat und Sachverstand von Getrolle zu unterscheiden vermag, wird sich seine Meinung gebildet haben.

Hingegen sind Deine 'Belege' zu FireBird lediglich Räuberpistolen aus dem Rybka-Lager die Du noch nicht mal mit Quellenangabe anführen kannst. DAS nennt man Gerüchte (streuen).

Und weißt Du, warum ich IPPOLIT für völlig integer halte?

Selbst WENN - dass es dafür keine sachlichen (inbesondere auch keine schachlichen) Hinweise gibt, muss man ja nicht ständig wiederholen - also selbst WENN die Sache nach Fisch riechen würde (the worst case sozusagen), dann wäre IPPOLIT
a) nicht illegal (im Falle von reverse engineering) und
b) nicht unmoralisch - im Gegenteil: 'source is coming home', wie der Engländer sagt
Parent - - By Urs Maier Date 2010-01-24 22:44
1. sind die übereinstimmungen von strelka und fruit absolut minimal, wie du selbst überprüfen kannst
2. sind diese übereinstimmenden sequenzen keinesfalls zwangsläufig in rybka 1.0 beta enthalten. dem strelka"autor" mag hier sehr gut den eindruck erweckt haben wollen.
3. sind ippolit und alle ableger, wie firebird, etc.. derart offensichtlich durch reverse engeneering entstanden, daß du genug belege dazu findest.
die übereinstimmungen, daß heißt die techniken, die logiken, weitgehend bewertungsalgorithmen sind so umfassend, daß man das nicht anzweifeln kann.
4. solltest du in betracht ziehen, daß nicht rybka 3 sondern eine spätere version eines testers die grundlage dazu war.
5. ist reverseengeneering an sich natürlich nicht illegal, wohl aber die verbreitung von urheberrechtlich geschützem code, was hier der fall ist.
Parent - - By Werner Mueller Date 2010-01-25 07:52
[quote="Urs Maier"]
1. sind die übereinstimmungen von strelka und fruit absolut minimal, wie du selbst überprüfen kannst
[/quote]
Der Begriff 'Übereinstimmung' bietet einen breiten Interpretationsspielraum.

[quote="Urs Maier"]
2. sind diese übereinstimmenden sequenzen keinesfalls zwangsläufig in rybka 1.0 beta enthalten. dem strelka"autor" mag hier sehr gut den eindruck erweckt haben wollen.
[/quote]
Hier z.B. bedeutet 'Übereinstimmung': 1:1, Identität - der Nachweis hat mit Strelka nichts zu tun (direkter Vergleich Rybka - Fruit)

[quote="Urs Maier"]
3. sind ippolit und alle ableger, wie firebird, etc.. derart offensichtlich durch reverse engeneering entstanden, daß du genug belege dazu findest.
die übereinstimmungen, daß heißt die techniken, die logiken, weitgehend bewertungsalgorithmen sind so umfassend, daß man das nicht anzweifeln kann.
4. solltest du in betracht ziehen, daß nicht rybka 3 sondern eine spätere version eines testers die grundlage dazu war.
[/quote]
Während die Computerschächer, mittlerweile kann man fast schon sagen jahrelang, eifrig spekulieren, wann (oder ob?!) Rybka 4 erscheint, kannst Du also bereits deren 'techniken, logiken und bewertungsalgorithmen', was immer das im Einzelnen auch sein möge, zum Vergleich heranziehen - Respekt! (würde Gottschalk sagen).

[quote="Urs Maier"]
5. ist reverseengeneering an sich natürlich nicht illegal, wohl aber die verbreitung von urheberrechtlich geschützem code, was hier der fall ist.
[/quote]
Welche urheberlichen Rechte an unter Verletzung der GPL nicht veröffentlichtem Quellcode geltend gemacht werden können, dürfte noch einfach zu beantworten sein - wie eine unter diesen Umständen erfolgte Veröffentlichung durch Dritte juristisch zu bewerten wäre? - Vor Gericht und auf hoher See sind wir allein in Gottes Hand.
Parent - - By Urs Maier Date 2010-01-25 11:39
Zitat:
Hier z.B. bedeutet 'Übereinstimmung': 1:1, Identität - der Nachweis hat mit Strelka nichts zu tun (direkter Vergleich Rybka - Fruit)


zeigst du mir den code? den original rybkacode!
Zitat:


Während die Computerschächer, mittlerweile kann man fast schon sagen jahrelang, eifrig spekulieren, wann (oder ob?!) Rybka 4 erscheint, kannst Du also bereits deren 'techniken, logik und bewertungsalgorithmen', was immer das im Einzelnen auch sein möge, zum Vergleich heranziehen - Respekt! (würde Gottschalk sagen).


der vergleich kann natürlich nur mit dem was man über rybka 3 weiß stattfinden. aber rybka 4 beta wird kein komplett neues programm mit ganz anderer struktur sein.
kaufman bestätigt das z.B. für bewertungsalgorithmen, z.B. hier: "...I think people are just playing word games here. It is obvious that it is not a pure clone, but it is equally obvious that it is a near-clone. One of the tables in the eval is nearly identical to the one I submitted for R3, just some tiny variations (mostly 1/100 of a pawn); I didn't check other tables but it's probably the same story..."

andere programmierer, die sich recht intensiv damit befaßt haben wie Gian-Carlo Pasciutto sind der gleichen ansicht.
Parent - By Michael Scheidl Date 2010-01-25 11:50
Wie BB gezeigt hat sind diese Tables deutlich unterschiedlicher, als man aufgrund dieser L.K.-Bemerkung vermuten würde. "Darf" jemand der solche Tables erstellt, für (bis zu) 64 Werte auf ähnliche Zahlen kommen als irgend ein anderes Programm? Gibt es ein Copyright auf solche Werte? Ich glaube kaum.

Alles ohne Beweiskraft. Sinnloses, durch nichts konkretes zu beweisendes Gequatsche.
Parent - - By Benno Hartwig Date 2010-01-25 13:01
[quote="Urs Maier"]5. ist reverseengeneering an sich natürlich nicht illegal, wohl aber die verbreitung von urheberrechtlich geschützem code, was hier der fall ist.[/quote]Und dass das der Fall ist, lässt sich konkret jetzt wie belegen? Wenigstens so einigermaßen?
Seltsam ist das Auftauchen jener Engine und das Auftreten der 'Autoren' sicher. Für eine solche Behauptung bedarf es aber weit besserer und konkreterer Argumente, solche die von Seiten der Rybka-Entwicklung gebracht weden könnten, aber bislang noch nicht kamen.
Benno
Parent - - By Urs Maier Date 2010-01-25 13:08 Edited 2010-01-25 13:15
soll rajlich jedesmal teile seines codes offenlegen (und beweisen, daß dies auch code aus rybka 3 ist) wenn so etwas eintritt?
vermutlich will er sich mit dem ganzen sums möglichst wenig beschäftigen. wenn jemand allerdings als echte person und nicht als pseudonym auftritt und mit rajlichs arbeit geld verdient, wäre das vielleicht etwas anderes.
ich sehe keinen grund seine aussage anzuzweifeln, daß er von den hackern per mail über deren fortschritte informiert wurde.
noch weniger kann ich mir vorstellen, daß ein neuer programmierer, der eine wahnsinns engine aus dem nichts erstellt, unerkannt bleiben möchte .
Parent - - By Benno Hartwig Date 2010-01-25 13:35 Edited 2010-01-25 13:39
[quote="Urs Maier"]soll rajlich jedesmal teile seines codes offenlegen[/quote]Soll nicht. Wenn er aber etwas belegen möchte, könnte er es.
Irgendwelche besonders signifikanten Stellen wird er vermutlich erkannt haben. Er könnte dann manche zweifelnde Stimme verstummen lassen!

[quote="Urs Maier"]vermutlich will er sich mit dem ganzen sums möglichst wenig beschäftigen. wenn jemand allerdings als echte person und nicht als pseudonym auftritt und mit rajlichs arbeit geld verdient, wäre das vielleicht etwas anderes.[/quote]Mag sein. Und so entsteht die Situation eben so, wie ich sie skizzierte: die Faktenlage ist mau. Dass sie mau ist, sollte man dann aber auch anerkennen und nicht immer wieder ein "es ist ja so sonnenklar" (dir jetzt mal frech so in den Mund geschoben) behaupten.

[quote="Urs Maier"]ich sehe keinen grund seine aussage anzuzweifeln[/quote]Musst du ja auch nicht. Ich stellte nur fest, dass es nur äußerst wenige Informationen gibt, wenige sehr knappe und unbelegte Statements.
Wem das bereits reicht, Überzeugungen zu gewinnen, dem sei das gegönnt.
Andere erwarten für ein "Und so ist es"-Statement, welches andere der Lüge und womöglich des Betruges bezichtigt, eben doch deutlich konkretere Informationen.
Ich halte Vas ja auch nicht für einen Lügner. Andererseits finde ich sein "Es it ein Clone!" für deutlich zu uninformativ. Da würde ich gern mehr zum 'was', 'wieviel' und 'woran erkannt' erfahren.

Benno
Parent - - By peter struwel Date 2010-01-25 16:05
hi,

ich kann euch beide nicht verstehen!

wenn irgendeiner einem anderen einen betrugsvorwurf macht, das ist es nämlich, und dazu noch öffentlich,
dann muss er zwingend beweise vorlegen! alles andere ist rufmord! tut er es nicht, dann ist er ein lügner,
so einfach ist es!

soweit meine meinung dazu.

peter
Parent - By Benno Hartwig Date 2010-01-26 08:29
[quote="peter struwel"]wenn irgendeiner einem anderen einen betrugsvorwurf macht, das ist es nämlich, und dazu noch öffentlich,
dann muss er zwingend beweise vorlegen! alles andere ist rufmord! tut er es nicht, dann ist er ein lügner,
so einfach ist es! [/quote]

Wikipedia beschreibt Lüge und Lügner folgendermaßen:
"Eine Lüge ist eine Aussage, von der der Sender (Lügner) weiß oder vermutet, dass sie unwahr ist, und die mit der Absicht geäußert wird, dass der oder die Hörer sie trotzdem glauben"
oder der Duden: "bewusst falsche, auf Täuschung angelegte Aussage;..."
Jetzt ist es also an dir, zwingende Beweise für jene Unwahrheit und für jenes Vermuten oder Wissen anzuführen.
Anderenfalls werden wir uns vermutlich einig werden können, was du gemäß eben dieser Definitionen und deines eigenen Statements bist.
Benno
Parent - - By Franz Wiesenecker Date 2010-01-23 15:18
Hier ein paar Tests mit FireBord 1.0

[www.wck-computerschach.de/firebird.html]

Gruß Wiesenecker
Parent - By peter struwel Date 2010-01-23 15:55
hallo,

um die spielstärke der engines beurteilen zu können müssen sie unter gleichen bedingungen gegeneinander antreten!

- keine egtb`s für beide
- gleiche startstellungen, z.b. noomen, mit farbvertauschung

grüsse

peter

p.s.

link anklckbar gemacht: http://www.wck-computerschach.de/firebird.html
Parent - - By Bram Mourik Date 2010-01-23 18:30
Welches offnungsbuch haben Sie fur Firebird 1.0 benutzt ?

Grus Bram
Parent - - By Franz Wiesenecker Date 2010-01-23 19:46
Hallo !

Verwendete Bücher:
Firebird hatte "perfect v9.0.ctg, Naum hatte perfect v12.0.ctg, Alle anderen Ihre eigenen.

Mir geht es nicht um einen Vergleich mit hunderten Partien und Vorgabe-Eröffnungen, sondern wie verhält sich die engine in einem NORMALEN Turnier, wie es auch Menschen austragen. Ich behaupte auch nicht wer beser ist, denn ich weiß dass jede Partie mit verschiedenen Büchern zu anderen Ergebnissen führen wird.

Ich weiß, dass ich mit dieser Art von Turnieren meine eigenen Interessen huldige. Ich stelle jedenfalls die Partien in pgn zur Verfügung, und jeder kann sie downloaden. Aber so wie mein Herangehen an neuen Programmen nicht jeden gefällt, interessieren mich hunderte Partien z.B auf Level Blitz 2 Minuten auch wenig, schon alleine weil es mir zu viele sind diese auch anzusehen. Jeder soll seinen Spaß haben!

Freundliche Grüsse
Wiesenecker
Parent - By peter struwel Date 2010-01-24 13:42
hallo franz,

dann ist ja alles klar. ich habe dein posting einfach falsch interpretiert!

viele grüsse

peter
Up Topic Hauptforen / CSS-Forum / Großer Erst-Test von Firebird auf Quadcore

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill