FEOBOS v7 verfügbar ...

By Frank Quisinsky Date 2017-07-26 20:00 Edited 2017-07-26 20:03

Ah vergessen,

bei den Datenbanken finden sich natürlich auch die aussortierten "Bad Moves" und die aussortieren "Draw Moves" bzw. die aussortieren "Draw Moves vom Update-1. Mit diesen Datenbanken lässt sich in Eröffnungsbüchern wunderbar der Contempt justieren. Wie das bei Fritz geht weiß ich noch nicht, schaue ich mir bei mehr Zeit mal an.

Eine Variante wäre es, die Aussortierten 0,00er z. B. mit einer Prio "d" zu versehen. So sind diese nicht im Buch komplett deaktiviert, sondern werden mit sehr geringer Wahrscheinlichkeit (je nach Buchsetting) ausgespielt.

Im Grunde steht die komplette Struktur vom Projekt (die Analysen können also durchlaufen und FEOBOS wird immer besser).
Ob schlechte Züge, Varianten die dazu neigen dass Engines sehr schnell Remis wegen dreifacher spielen, zu allen 500 ECO Codes das beste was für mich vorhanden ist aus den vielfältigen Quellen (meist aber FCP Rating Liste) die mir vorliegen.

Dennoch ...
Es handelt sich um Test-Bücher, weil das Projekt noch nicht beendet ist.
Wahrscheinlich haben alle 10 Engines die kompletten 39.375 Stellungen zwischen den 28.12.2017 und 31.12.2017 analysiert.

Danach folgen dann noch ein paar Engines bis Mitte 2018.
Dann wird das Projekt abgeschlossen mit ca. 500.000 1-Minute Analysen auf i7 4.3Ghz und 10-Threads.
Sollte auf absehbarer Zeit für Ratinglisten, Turniere etc. bzw. für Vergleiche ausreichend sein ... ob nun mittels Bücher oder Test-Set der besten der 39.375 Varianten nach FEOBOS Ranking.

Gruß
Frank

By Timo Haupt Date 2017-07-26 21:44

Hallo Frank,

an dieser Stelle möchte ich mich einfach mal bei dir und Klaus Wlotzka für die unermütliche Arbeit an diesem tollen Projekt bedanken! Da wird wirklich Großes geleistet - FEOBOS ist für mich eines der interessantesten Projekte im Bereich Computerschach, die es in den letzten 10 Jahren gegeben hat! Noch ist gar nicht abzuschätzen, wo die gesammelten Daten überall von Nutzen sein können. Natürlich sind schon einige Bereiche genannt worden, aber es gibt vermutlich noch einige mehr. Fest steht für mich jedenfalls, dass vor allem auch menschliche Spieler ihren Nutzen daraus ziehen können, wenn sie sich erstmal eingängig mit den Daten (wunderbar aufbereitet in Klaus' gigantischer Excel-Tabelle) beschäftigt haben.

Ich hatte ja vor einigen Monaten mal meine Hilfe bei dem Projekt angeboten, dann aber erstens recht schnell gemerkt, dass ich nicht auf die Weise helfen konnte, die ich mir vorgestellt hatte (die Analysen wolltest du lieber selbst anfertigen - kann ich verstehen) und zweitens wurde bei mir zwischendurch auch mal die Zeit wieder knapper, so dass ich das Projekt dann auch mal für ein paar Wochen aus den Augen verloren hatte. Es ist ja schon erstaunlich, wie sich das Ganze so entwickelt hat!

Von meiner Seite bleibt zu sagen: Danke und weiter so! Bleibt am Ball, ihr habt schon sehr viel geleistet und es wäre schön, wenn das Projekt nach Plan fortgeführt werden würde!

Viele Grüße
Timo

By Frank Quisinsky Date 2017-07-27 15:45 Edited 2017-07-27 15:54

Hallo Timo,

im Moment scheint eher alles etwas undurchsichtiger zu sein.
FEOBOS macht viel mehr als Test-Stellungen zu generieren oder Bücher zu erstellen.

Es ist absolut richtig das die Daten eine Vielzahl von Informationen produzieren.
Mache mir da aber keinen Stress ...

Wird ganz sicher alles wie geplant zu Ende gebracht und im Anschluss werde ich eine schöne kleinere Dokumentation erstellen.
Zur Zeit ändert sich auch hier und da noch etwas. Bei den Excel Tabellen gibt es immer noch neue Ideen.
Derzeit arbeitet Klaus daran die zusätzlichen 12.229 Stellungen zu integrieren und versucht gleichzeitig die Tabellen schneller zu machen.

Im Grunde bin ich froh das alles etwas Zeit benötigt, welche auch für diverse Organisationen dringend notwendig ist.

Es ist absehbar, dass das finale Ergebnis "meines Erachtens" gigantisch sein wird.
Es reizt mich ungemein mit dem abschließenden Ergebnis eine neue Ratingliste zu erstellen.
Schon weil ich sicher sein kann, das der Beeinflussungsfaktor Buch fast zu 100% eliminiert wurde.

Klaus hat sehr viel Spaß an dem ganzen Projekt.
Selbst bin ich hier und da immer mal wieder im Stress die Daten von Hand aus den Datenbanken zu selektieren (0,00 Bewertungen, schlechte Züge oder die Positionen für den Test-Set).

Was nervt ist das Shredder immer wieder nach 5.181 Stellungen neu gestartet werden muss.
Auch probiere ich die Excel Daten von Klaus natürlich aus und muss dann die laufenden Analysen auf dem Rechner beenden und danach neu starten (immer aufwendig).

Also, sehr viel Arbeit im Hintergrund aber noch macht es Spaß weil wir wissen das mindestens ein sehr gutes Ergebnis dabei heraus kommen wird. Alles deutet darauf hin und die Ideen zum Projekt bestätigen sich.

Und zur Ratinglisten:
Nein, werde ich nicht mehr starten.
Maximal eine Ratingliste, die nach Zug 30 bei den Partien endet um das Buch weiter zu verbessern. Überlege ich ob ich mir hierfür vielleicht Anfang 2019 einen 20 Core i9 zulege. Warte hier erst mal das zweite i9 Modell ab. Der derzeit verfügbare wird mir zu warm. 5.0 Ghz x 20 Cores ist schon reizvoll ... gerade wenn ich mehrere Engines mit einem Core für Analysen nutzen kann (macht mehr Sinn als die vielen Cores für eine Engine zu verplempern).

Werde aber die Daten nutzen um Wasp gegen andere Engines zu testen oder für andere Benutzeroberflächen bei Zeitbedarf später auch das FEOBOS Buch zu erstellen.

Schön das es Dir gefällt.
Kein Problem wenn Du keine Zeit hast.
Sind wir ehrlich ... damit alles reproduzierbar bleibt müssen die Analysen auf einen Rechner oder zwei gleiche Rechner durchgezogen werden.

Wenn mehrere daran rumbasteln wird es noch komplizierter.
Ist eh schon kompliziert genug, mir hat gestern die Rübe gequalmt.

Sortiere mal 1976 0,00er per Hand über Chessbase aus?!
Niemals wirst Du im ersten Anlauf die Punktlandung schaffen ... es fehlen Partien oder es wurde zu viel ausselektiert. Geht verdammt auf die Augen, muss das immer so nach und nach machen ... sonst bin ich bald reif für die Klapse ... obwohl ... viel fehlt da ...

Gruß
Frank

By Frank Quisinsky Date 2017-07-31 06:27 Edited 2017-07-31 06:31

Hallo zusammen,

hatte einen Denkfehler beim Konstruieren der Datenbanken mit und ohne Zugumstellungen.
Enthalten war oft die Konstellation das es innerhalb der ECO Codes zu verschiedenen Variantenlängen gekommen ist obwohl ich korrekt auf 3-Züge nach ECO Bildung gekürzt hatte. Nach der Kürzung ergeben sich allerdings andere ECO codes und mithin entstehen doppelte Partien da ja nur alles geprüft werden kann auf doppelte Partien zum Ende einer Variante. Wie gesagt, ist die Länge aber unterschiedlich passiert folgendes:

Beispiel:
Ende von Axx ist Zug 6 ... es sind aber auch Axx bis Zug 7 drin.
Bis Zug 6 ist alles gleich und ein neuer Zug 7 (weil die Variante bis Zug 7 ehemals ohne Kürzung ein anderer ECO Code war).

Das geht natürlich gar nicht. Hatte diesem Umstand nie so wirklich Aufmerksamkeit geschenkt allerdings passiert nun bei den Excel Dateien von Klaus folgendes:
Thema ist die Test-Set Berechnung. Wir haben mehrere Stellungen im Test-Set die unter den TOP-500 liegen und bis Zug 6 gleich sind und dann nur ein anderer Zug 7 folgt (nur ein Beispiel): Insofern kann ich den Test-Set v7 derzeit gar nicht erstellen.

Also, es muss eine Korrektur her.
Klaus hat in Version 73 schon die Wege geebnet.
Hatte alles erklärt und Klaus hat es so umgesetzt wie nun alles von mir benötigt wird.

Positionen mit unterschiedlichen Längen innerhalb der ECO Codes werden aus der Datenbank mit 26.146 herausgeholt. Damit alles in der Excel stimmig bleit werden diese als schlechte Züge markiert. Die Updatedatenbank die ich in den letzten Wochen erarbeitet habe ist nicht betroffen (hier darauf geachtet). Allerdings sind Fehler in der Updatedatenbank von 12.229 zu den ECO Codes A63, A64 und B84. Muss ich überarbeiten bevor die Engines darauf losgelassen werden.

Letztendlich müssen die Datenbanken für die Bucherstellung komplett überarbeitet werden und das dauert ein wenig.

Wahrscheinlich muss ich ca. 800 Positionen aus der 26.146 Datenbank deaktivieren (unterschiedliche Länge der ECO Codes).

Was auch aufgefallen ist, dass die Settings nicht unbedingt immer optimal waren. Ich meine die Settings zum Aussortieren der Bad Moves.
Auch das wurde korrigiert (z. B. bei Houdini war das Setting viel zu krass und zu hoch eingestellt).

Da ich eh die Datenbanken überarbeiten muss eine gute Gelegenheit die Settings direkt mit zu optimieren.

Im Anschluss an diese Wartungsarbeiten überlege ich daher nach der laufenden Engine 8 Andscacs doch ein FEOBOS v8 Buchupdate folgen zu lassen.
Damit bis hier dann auch alles wieder stimmig ist.

Natürlich nur dann wenn bis dahin die Datenbanken überarbeitet sind.
Muss mal schauen ob ich das schaffe, sehr viel Arbeit.

Und so gibt es immer was zu tun am FEOBOS Projekt.
Klaus überarbeitet derzeit auch die Excel Datei, versucht mit mehr Makros und weniger Formeln alles schneller zu machen, damit dann die Erweiterung von 26.146 auf 39.375 Stellungen erfolgen kann bzw. es werden wahrscheinlich ein paar mehr weil ich wie oben beschrieben auch noch drei Fehler bei der Update Datenbank herausholen muss.

Auf dem Weg zum perfekten Buch ... und den vielen kleinen Hürden um das Projekt bleiben wir natürlich am Ball.

Gruß
Frank

By Klaus Wlotzka Date 2017-07-27 21:44

Hallo Timo,

zunächst einmal vielen Dank für die motivierenden Worte.

Ja, da entsteht wirklich etwas Großartiges. Frank ist wirklich mit einem wahnsinnigem Engagement bei der Sache, dass steckt förmlich an und wir ergänzen uns wirklich perfekt. Ich freue mich, ein Teil dieses Projektes zu sein. Schön, dass du das Projekt so intensiv verfolgst.

Was die Arbeit an der Excel-Tabelle betrifft, hatte ich schon öfter geglaubt, jetzt die finale Version zu haben. Was mich derzeit beschäftigt, ist die Erweiterung durch das Update auf über 38.000 Positionen. Ich hatte die Excel-Arbeitsmappe in der Version 70 schon entsprechend erweitert, leider gab es beim Testen auf Franks Rechner Probleme.

Die Tabelle ist mit den fast 8.00 Millionen Formeln bei der erweiterten Version einfach zu groß geworden. Da ich zu Anfang des Projektes noch nicht erahnte, nämlich welchen Funktionsumfang die Tabelle mal haben wird, bin ich mit den Formeln nicht sparsam umgegangen.

Genau dies holt mich jetzt ein. Ich arbeite derzeit daran, die Tabelle mittels Makros deutlich zu verschlanken und recourcenschonende Formeln einzusetzen, natürlich ohne den Funktionsumfang einzuschränken. Sobald das passiert ist, kann ich den reduzierten Formelumfang dazu nutzen, das Programm auf die 38.000 Positionen zu erweitern. So der Plan.

Du siehst, wir sind mit vollem Eifer am Projekt und kann dir mit auf dem Weg geben, dass wir das Projekt durchziehen werden. Ich kann da zwar nur für mich sprechen, aber so wie ich Frank kennen und schätzen gelernt habe, kann ich mir nicht vorstellen, dass er das Projekt halbfertig an den Nagel hängt. Wenngleich, manchmal, wenn irgend etwas nicht funktioniert oder es einfach nur zu viel wird, kommt man schon mal auf dumme Gedanken. Meist reicht dann eine kurze Verschnaufpause und dann geht es mit gewohnten Elan weiter.

Viele Grüße

Klaus

By Kurt Utzinger Date 2017-07-27 22:29

Klaus Wlotzka schrieb:

Die Tabelle ist mit den fast 8.00 Millionen Formeln bei der erweiterten Version einfach zu groß geworden. Da ich zu Anfang des Projektes noch nicht erahnte, nämlich welchen Funktionsumfang die Tabelle mal haben wird, bin ich mit den Formeln nicht sparsam umgegangen.

Genau dies holt mich jetzt ein. Ich arbeite derzeit daran, die Tabelle mittels Makros deutlich zu verschlanken und recourcenschonende Formeln einzusetzen, natürlich ohne den Funktionsumfang einzuschränken. Sobald das passiert ist, kann ich den reduzierten Formelumfang dazu nutzen, das Programm auf die 38.000 Positionen zu erweitern. So der Plan.

Viele Grüße

Klaus

Hallo Klaus

Wahnsinn solch eine Excel-Tabelle. Ich kann nur staunen, was mit
diesem Programm alles möglich ist.

Gruss
Kurt

By Klaus Wlotzka Date 2017-07-27 22:47

Hallo Kurt,

Excel ist für die Darstellung und Aufbereitung statistischer Daten ein tolles Werkzeug. Es gibt fast nichts, was sich mit Excel nicht darstellen lässt. Der Funktionsumfang ist gewaltig. Findet man ausnahmsweise mal nicht die passende Funktion, hilft einem die VBA-Programmierung weiter.

Genau diese werde ich jetzt für die massive Verschlankung der Tabelle einsetzen. Bei wiederkehrenden Aktionen, kann man diese über ein Makro ausführen lassen, beispielsweise zur Übertragung der Rechenergebnisse der Engines in die Auswertetabelle. Dies habe ich bisher über Formeln erledigt und allein hierfür bei 14 Engines 1 Millionen Formeln gebraucht. Da sich diese Werte ja nicht ändern, kann ich diese über ein Makro auch als Werte einfügen lassen. Und das ohne eine einzige Formel zu benötigen. Dies spart enorm Formeln ein und macht das Programm schlanker und schneller. Das nur mal am Rande.

Viele Grüße

Klaus

By Michael Scheidl Date 2017-07-27 23:56

Gibts einen Downloadlink für diese Exceldatei? Ich würde mir das gerne ansehen zumal ich seinerzeit beruflich mit Excel gearbeitet habe, und nun könnte ich der Nostalgie frönen.

By Klaus Wlotzka Date 2017-07-28 00:50

Hallo Michael,

zum Download der Excel-Datei gehe auf die Webseite von Frank unter www.amateurschach.de und wechsel dann auf die Unterseite "FEOBOS". Dort findest du das Download-Cockpit, aus dem du so ziemlich alles aus dem Buchprojekt runterladen kannst. Unter "Programs others" findest du eine 77,94 MB große zip-Datei des Excel-Programms in der Versionsnummer v07.01-72.

Über ein kurzes Feedback würde ich mich freuen.

Viele Grüße

Klaus

By Michael Scheidl Date 2017-07-28 01:48

Erstmal, Euer Server ist extrem langsam. Der liefert nichtmal 100 Kilobit download (meine Kapazität ist 30 Megabit). Und: Du hast Deine Datei mit der Extension .xmls ausgestattet, die Windows nicht erkennt.

By Frank Quisinsky Date 2017-07-28 06:15

Hallo Michael,

1. Habe Hostix mal angeschrieben.
Norm berichtete auch, dass die Downloads langsamer geworden sind.
Selbst lade ich derzeit mit ca. 220KB/s

2. *.xlms öffnet die Tabellen auch mit anderen Programmen (Open Office, Libre Office).
Bedeutet Excel 2007 oder höher und enthält Makros.

3. Windows muss diese Dateiendung auch nicht erkennen, sondern Excel.
Die Excel Dateien von Klaus sollten ab Excel Version 2007 zu öffnen sein.

Mal schauen was Hostix schreibt.
Richtig ist, die Downloads waren in der Tat auch schon mal schneller.

Gruß
Frank

Das mit Deiner Kapazität und 30Mb verstehe ich nicht!

By Michael Scheidl Date 2017-07-28 06:43

Hello! Das mit der Downloadkapazität ist laut speedtest.net

und ich hab glücklicherweise hier LTE wo trotz geringer Signalstärke die Geschwindigkeit stimmt. Ansonsten weiß ich nichts.

Ich wünsche Dir und Klaus weiterhin viel Freude bei Eurem Eröffnungsprojekt!

By Frank Quisinsky Date 2017-07-28 16:08 Edited 2017-07-28 16:15

Hallo Michael,

hast du keine Möglichkeit die Datei dann ohne LTE von einem anderen System zu laden, auf einen USB Stick zu kopieren?
Wenn Du Excel Kenntnisse hast, wäre Klaus natürlich auch interessiert an Feedback.

Wenn es gar nicht anders geht, sende mir Deine Anschrift.
Sende Dir dann eine CD mit den Daten.

Für diesen Fall findest Du meine E-Mail Adresse unter "Impressum" auf meinen Seiten.

Hoffe nur nicht das sich nun zu viele melden, sonst wird's mal wieder teuer.

Alles wird gut ...

Gruß
Frank

Voraussetzung ist aber das Du Excel 2007 oder höher hast, sonst wird's nicht funktionieren mit dem Laden der Daten. Anfangs überprüfte ich die Excel Daten von Klaus noch mit Libre Office und konnte auch damit die Daten problemlos laden. Zwischenzeitlich hat Klaus viele Makros eingearbeitet. Ob Libre Office Millionen von Formeln noch verwalten kann entzieht sich aber meiner Kenntnis. Müsste ich selbst ausprobieren. Ein gutes Notebook hast Du Dir ja zugelegt, sollte schnell genug sein. Leider benötigen die Unmengen an Daten dann auch eine Zeit für die Berechnungen die Excel durchzuführen hat.

Klaus optimiert ja ständig aber um eine Schablone auf 26.146 Datensätze zu legen wird Zeit und Geduld benötigt. Aus den Ergebnissen können aber sehr viele Rückschlüsse zu vielen Themenbereichen aus dem Computerschach gezogen werden und mithin sicherlich auch für Dich interessant. Hast ja auch schon an Vorgaben für Eröffnungsstellungen gearbeitet sofern ich mich erinnere.

Persönlich freue ich mich natürlich auch über Personen die helfen möchten, oder gezieltes Feedback an uns weitergeben. Nur so können wir auch etwas verbessern. Bin da selbst immer sehr offen, der Grund warum ich solche Dinge auch immer frei mit allen erdenklichen Informationen anbiete. Gibt zu viele Gemüter die dann jenes oder dieses haben möchten und insofern biete ich dann alles so gut es geht immer irgendwie an um mir selbst Arbeit zu ersparen.

In anderer Sache:
Die Telekom hat z. B. eine schöne Vertragskombination!?
Wenn die Leitungsstärke nicht ausreicht und LTE ist möglich, gibt es sogenannte Hybrid Anschlüsse. Mittels Hybrid kann die Geschwindigkeit erhöht werden. Dafür erforderlich sind entsprechende Router, die auch Funk verstehen. LTE wird dann mehr oder weniger als Booster (ohne Einschränkung auf das Transfairvolumen ... was bei Funkverträge meist üblich ist) oben drauf gesetzt. Ich weiß nicht ob das vergleichbar auch in Österreich angeboten wird. Bei schwachen Kabelleitungen, deren Ausbau sich hinzieht oder aus diversen Gründen nicht möglich ist kann also mittels Funk die Leitungsstärke deutlich gesteigert werden. Was z. B. über Funk dann im Detail überhaupt ankommt kann ja mit diversen Apps auf mobilen Geräten gemessen werden. Voraussetzung ist natürlich das LTE möglich ist und auch das was ankommt sich als lohnend herausstellt.

Von meinem Provider habe ich noch keine Antwort.
Bin mal gespannt, irgendwie habe ich auch im Gefühl das die Downloadgeschwindigkeiten auf meinen Webseiten nachgelassen haben.
Aber ich habe auch massig an Dateien auf dem Server hochgeladen. Alleine die FCP Rating Liste die komplett dokumentiert ist hat über 500Mb.

By Michael Scheidl Date 2017-07-28 23:24

Betreffend Internetverbindungen und LTE: Da hab ich insgesamt anhand Meldungen schon bemerkt, daß die S(h)ituation in Deutschland schlechter ist als in Österreich. Man spricht von höheren Kosten und geringeren Leistungen. Ich vermute, daß es einfach mit der viel größeren Landesfläche zu tun hat.

Also ich hab hier LTE wie im Bild oben gezeigt, anonym & prepaid, für 35 Euro Flatrate pro Monat. Prepaid gefällt mir gut denn dadurch kann ich nie Schulden machen

By Klaus Wlotzka Date 2017-07-28 08:48

Hallo Michael,

welche MS-Excel-Version hast du denn auf deinem Rechner installiert?

Das Excel-Programm enthält Makros, daher die Dateiendung xlsm. Um die Datei öffnen zu können, benötigst du mindestens Excel 2007.

Da die Tabellen extrem groß sind, sollte dein Rechner ebenfalls nicht der langsamste sein.

Grüße

Klaus

By Michael Scheidl Date 2017-07-28 23:02

Zitat:

welche MS-Excel-Version hast du denn auf deinem Rechner installiert?

Leider gar keine

Ich hab Gnumeric 1.12 und verwalte damit meine Sammlung von Computergames, was jedoch mit Schach nichts zu tun hat... Aber das ist unwichtig. Ich wünsch Dir und Frank weiterhin viel Freude mit dem Eröffungsprojekt. Allgemein gesagt, läßt sich feststellen daß eine gediegene Eröffnungswahl die erste und bedeutendste Grundlage für eine erfolgreiche Spielführung darstellt.

(Empfehlungen)

By Klaus Wlotzka Date 2017-07-29 08:50

Hallo Michael,

Gnumeric ist leider nur kompatibel mit xls- bzw. xlsx-Dateien von MS-Excel und unterstützt keine Makros. Da in der FEOBOS-Exceldatei Makos enthalten sind, haben wir hier die Dateiendung xlsm. Daher kannst du diese Datei nicht in Gnumeric öffnen.

Ich fürchte, dass auch andere Open Source Programme hier auf Grund der Makros und Dateigröße ein Problem haben.

Gruß

Klaus