Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / FEOBOS-Excel - Wesentliche Programmfeatures und "eigentliche" Formelanzahl
- - By Klaus Wlotzka Date 2018-01-02 15:47 Edited 2018-01-02 15:49 Upvotes 1
Hallo Zusammen,

zunächst möchte ich allen Forenlesern und Moderatoren ein schönes, gesundes und ereignisreiches neues Jahr wünschen. Ich bin gespannt, was das Jahr 2018 im Schach- und Computerschachbereich so alles mitbringt.

Das FEOBOS-Projekt wird jedenfalls in diesem Jahr seinen Abschluss finden. Ich selbst begleite das Projekt mit den statistischen Excel-Auswertungen nun seit Mai 2017. Wahnsinn, wie schnell das Jahr verging.

In den letzten Wochen und Monaten wurde bezüglich der Excel-Auswertung sehr viel erweitert und irrsinnig viele Funktionen und Auswertungen eingebaut. Da kann man schon mal schnell den Überblick verlieren. Daher habe ich die für mich 10 wichtigsten und rechenintensivsten Funktionen mal zusammengestellt:

1.01  Ermittlung eines Rankings für jede Eröffnungsstellung nach 9 variablen Bewertungskriterien
1.02  EPD-Tool zum Anzeigen der Stellung einer ausgewählten Position über ein grafisches Schachbrett sowie Anzeige aller relevanten Auswertungsstatistiken dieser Position
1.03  Vollautomatische Erstellung eines eigenen Testsets mit den besten 500 Stellungen (1 Stellung je ECO-Code) oder mit den 500 besten Stellungen bezogen auf die Gesamtdatenbank
1.04  Experimentiertool mit variabler Festlegung der Bewertungsbereiche für jede Engine
1.05  Rettungsfunktion für Positionen mit nur einer Bewertung außerhalb des Bewertungsbereiches aber innerhalb eines erweiterbaren Bewertungsbereiches („Rescue-Funktion“)
1.06  Berechnung eines ECO-Levels in Abhängigkeit der je ECO-Code aussortierten und remisverdächtigen Positionen
1.07  Variable Festlegung von Quotienten für das Aussortieren remisverdächtiger Eröffnungsstellungen bezogen auf die Zuglänge der jeweiligen Position
1.08  Ermittlung der Anzahl der Stellungen mit unsymmetrisch ausgeführter Rochade, Qualitätsopfern und weiteren ungleichen Materialverhältnissen
1.09  Ermittlung der Anzahl der Stellungen welche keine Damen aufweisen
1.10  Tool zum Entfernen der ungeeigneten Positionen aus der Eröffnungsdatenbank

Hauptaufgabe zuletzt war, die Formelanzahl innerhalb des Auswertungsprogramms zu reduzieren um weiterhin ein flüssiges Arbeiten zu gewährleisten. Aktuell haben wir in der Version v119 insgesamt    4.269.013 Formeln    in der Arbeitsmappe. Ich hatte zuletzt geschätzt, dass wir wahrscheinlich mit den Formelreduzierungen über die Makros etwa 7,00 Mio Formeln eingespart haben. Das wollte ich mal genauer wissen und habe die Anzahl der Formeln berechnet, welche über Makros abgewickelt werden und war selbst überrascht.

Hätten wir die formelreduzierenden Makros nicht eingesetzt, wären wir aktuell bereits bei    15.878.014 Formeln!!.    Die Makros haben also ca. 11,6 Mio Formeln eingespart.

Diese Formelanzahl wäre mit der 32-bit-Excelversion, welche von den meisten Usern verwendet wird, selbst mit aufgerüsteter Hardware nicht mehr händelbar. Excel selbst ist da mit einem begrenzten virtuellen Arbeitsspeicher längst am Ende. Hier hätte man eventuell noch auf das 64-bit-Ecelprogramm ausweichen können. Dies wollte ich allerdings aus Kompatibilitätsgründen nicht, wer verwendet hier überhaupt die 64-bit-Excelversion. Und selbst dann wäre das Arbeiten mit dem Programm extrem träge.

Diese Zahlen zeigen aber auch, wie rechenintensiv die Auswertungen sind. Anbei die Formelanzahlen der rechenintensivsten Funktionen:

1.) 4,62 Mio Formeln für die Auswertungen der Bewertungen, Züge und Rechentiefen der 10 Standard-Engines über je max. 42.000 Positionen (Tabelle "Eval")
2.) 3,07 Mio Formeln für die Möglichkeit der Sortierung der unter 1.) aufgeführten Daten (Tabelle "Eval out")
3.) 2,18 Mio Formeln für die figurine Anzeige der Materialverhältnisse und Materialdifferenzen aller 42.000 Positionen (Tabelle "Pieces on board")
4.) 2,13 Mio Formeln für das Rankingsystem und die Zusammenstellung der automatischen Testsets (Tabelle "Automatic-Testset)
5.) 1,93 Mio Formeln für die Auswertung der Bewertungen, Züge und Rechentiefen der 4 Experimentellen-Engines über je max. 42.000 Positionen (Tabelle "Eval exp.")
6.) 0,67 Mio Formeln für die Aufbereitung der aussortierten Positionen (Tabelle "Cleaning tool")
7.) 0,33 Mio Formeln für die Rettungsfunktion (Tabelle "Rescue area")
8.) 0,16 Mio Formeln für die Aufbereitung der Positionen zum Integreiren des Rankings in der pgn-Datenbank (Tabelle "FEOBOS") über das SPF-Tool von Ferdinand Mosca
9.) 0,08 Mio Formeln für die grafischen Schachbretter zum Ansehen der Positionen aus Excel heraus (Tabelle "EPD-Tool")

Wie sich das bei den anderen 24 Tabellen darstellt, kann man dann auf der neuen Infoseite der kommenden Excelversion v119 erkennen. Wir warten hier noch auf die Ergebnisse von Andscacs welche dann in die Exceltabelle eingefügt und ausgewertet werden.

Viele Grüße

Klaus
Parent - By Peter Martan Date 2018-01-02 17:04
Klaus Wlotzka schrieb:

1.) 4,62 Mio Formeln für die Auswertungen der Bewertungen, Züge und Rechentiefen der 10 Standard-Engines über je max. 42.000 Positionen (Tabelle "Eval")
2.) 3,07 Mio Formeln für die Möglichkeit der Sortierung der unter 1.) aufgeführten Daten (Tabelle "Eval out")
3.) 2,18 Mio Formeln für die figurine Anzeige der Materialverhältnisse und Materialdifferenzen aller 42.000 Positionen (Tabelle "Pieces on board")
4.) 2,13 Mio Formeln für das Rankingsystem und die Zusammenstellung der automatischen Testsets (Tabelle "Automatic-Testset)
5.) 1,93 Mio Formeln für die Auswertung der Bewertungen, Züge und Rechentiefen der 4 Experimentellen-Engines über je max. 42.000 Positionen (Tabelle "Eval exp.")
6.) 0,67 Mio Formeln für die Aufbereitung der aussortierten Positionen (Tabelle "Cleaning tool")
7.) 0,33 Mio Formeln für die Rettungsfunktion (Tabelle "Rescue area")
8.) 0,16 Mio Formeln für die Aufbereitung der Positionen zum Integreiren des Rankings in der pgn-Datenbank (Tabelle "FEOBOS") über das SPF-Tool von Ferdinand Mosca
9.) 0,08 Mio Formeln für die grafischen Schachbretter zum Ansehen der Positionen aus Excel heraus (Tabelle "EPD-Tool")


Wahnsinn, Klaus, danke wieder mal, und auch dir und allen Anderen ein herzliches Prosit 2018!
Parent - - By Klaus S. Date 2018-01-02 17:49
Zuerst, ich benutze Exel nur für eigene einfache Tabellen, kenn mich also nicht in den Tiefen des Prog. aus.

Deshalb volle Hochachtung vor eurem Projekt, aber für mich viieeeeeeel zu kompliziert, mag auch daran liegen das ich mich
für Eröffungen kaum interessiere.

Eine Frage die mir ab und zu durch den Kopf geht: Generieren sich die Formeln zum großen Teil selber?!?
Ich meine du sagst du bist seit Mai dabei. Und dann diese 15 Mio. Formeln.
Von Mai bis jetzt 240 Tage mal 8 Std. Entwicklungsarbeit sind 1920 Std.
15 Mio. durch 1920 Std  sind 8.270 Formeln /h ??

Bitte, bitte nicht als Provokation sehen, nur meine (wahrscheinlich sehr naive) Feststellung.
Wie gesagt, habe nicht viel Ahnung von Exel.

Eine kurze Erklärung von dir wäre diesbezüglich für mich hilfreich.

Vielleicht, wenn euer Project fertig ist und mehrere Leute es benutzen und darüber berichten, wird es für mich verständlicher.
.
Parent - By Frank Quisinsky Date 2018-01-02 18:37 Edited 2018-01-02 18:44
Hallo Klaus,

kurz zum Projektabschluss.
Es fehlen ja noch ca. 80.000 Analysen und die benötigen noch bis Ende Februar.

Zum Projektende werden die fertigen Bücher zur Verfügung gestellt mit und ohne Zugumstellungen. Ferner die Dokumentation zum Projekt und natürlich die anderen Projektdaten (alle Datenbanken die auf die Bucherstellung beruhen im PGN Format und natürlich die Excel). Geil ist das 15MB Bücher fehlerfrei werden und alles beinhalten, mehr Statistiken und Analysen zur Verfügung stehen als bei bekannten Powerbüchern die x x1000x größer sind.

Mittels der Excel wird es immer wieder möglich sein, das Projekt zu wiederholen. Z.B. in drei Jahren die Engine Analysen mit stärkeren Programmen erneut durchzuführen und daraus wieder die Bücher zu erstellen.

Wichtig ist also nicht die Momentaufnahme (die derzeitigen Bücher), sondern das die Entwicklungsbasis steht (die Excel).
Und bei der Excel sollte und ist natürlich alles veränderbar, jedes erdenkliche Setting.

So kann bei Projektabschluss jeder sein eigenes Buch mit anderen Settings erstellen lassen (Bücher ohne Zugumstellungen mit dem begleitenden Tool von Ferdinand Mosca).
Wie das geht wird natürlich auch in der Doku stehen.

Das sind schier unbegrenzte Möglichkeiten die wir hier offerieren, zu allen aus der Theorie bekannten spielbaren Fortsetzungen, 3 Züge nach ECO Code Ende, also zu A00-E99.

Engines können also mittels FEOBOS Bücher sicher in einen abwechslungsreiches Spiel starten, weil alle ECO Codes nach Beliebtheit ausgespielt werden.
Ferner können aufgrund der Analysen Test-Sets aus dem besten Stellungen der Theorie generiert werden etc..

Wir haben 41.614 Stellungen!
Zu jeder Stellung wird ein Ranking generiert.
Jede Stellung wird ausführlich in der Excel abgearbeitet.

Klar das die Formeln die z. B. hierfür notwendig sind immer wieder auf alle 41.614 Positionen angewendet werden müssen.
Insofern entstehen durch die Vielzahl an Auswertungen und enthaltenen Positionen natürlich auch Millionen an Formeln.

Wird sehr schön in der DIA-Show ersichtlich was wir alles auswerten.
Theorie ist ein breites Thema, zu keinem anderen Thema im Schach wurden mehr Bücher geschrieben.
Viele beschäftigen sich nur hier und da mal mit Eröffnungen.
Wir hoffen, dass wir die Theorie mit FEOBOS zu einem Event machen.
Was kompliziert ausschaut kann sich zu puren Wissen entwickeln und macht ganz sicher Lust auf mehr.

Das Excel überhaupt noch weiß was zuerst oder was nachrangig berechnet werden muss grenzt an ein Wunder.

Gruß
Frank

PS: Bin zwar im Urlaub aber nach den stressigen letzten beruflichen Wochen wirklich in der Erholungsphase.
Habe die Doku immer noch nicht gestartet aber die wird natürlich kommen und wird sicherlich mindestens 20-40 Seiten beinhalten.
Was wir hier entwickelt haben kann nicht unter 20-40 Seiten zusammengefasst werden.
Die Doku zu schreiben wird eine echte Aufgabe, zu der ich mich dieser Tage noch nicht fit genug fühle.

Kommt aber ...
Denke bis Ende Februar ist alles fertig.
Sind auf der Ziellinie.
Parent - - By Klaus Wlotzka Date 2018-01-02 18:38
Klaus S. schrieb:


Eine Frage die mir ab und zu durch den Kopf geht: Generieren sich die Formeln zum großen Teil selber?!?
Ich meine du sagst du bist seit Mai dabei. Und dann diese 15 Mio. Formeln.
Von Mai bis jetzt 240 Tage mal 8 Std. Entwicklungsarbeit sind 1920 Std.
15 Mio. durch 1920 Std  sind 8.270 Formeln /h ??



Hallo Klaus,

zunächst einmal vielen Dank für die Blumen. Ich habe mich früher auch nicht wirklich mit der Erstellung von Eröffnungsbüchern beschäftigt. Jetzt durch die Mitwirkung bei FEOBOS habe erst erkennen dürfen, dass dies ein sehr interessantes Thema ist und vor allen Dingen ein Eldorado für Excelfreaks wie mich.

Nun kurz zu deiner Beispielrechnung. Zunächst einmal konnte ich keine 8 Stunden am Tag daran arbeiten. Habe ja noch einen Fulltime-Job. Ich denke da bleiben im Schnitt vielleicht 2 Std. am Tag, also vielleicht 480 Std. Vielleicht sind es auch mehr, ich kann das nicht so wirklich abschätzen.

Bei den 15,0 Mio Formeln musst du nicht davon ausgehen, dass ich jede manuell erstellt habe. Wir haben in der FEOBOS-Excel 42.000 Einzelergebnisse je Engine. Das heißt, ich erstelle eine Formeln mit variablen und festen Bezügen und kopiere diese dann 41.999 nach unten. Schon hat man 42.000 Formeln in wenigen Sekunden erstellt. Von diesen Spalten gibt es insbesondere bei den großen Tabellen sehr viele, sodass sehr schnell einige Millionen Formeln zusammenkommen.

Desweiteren werden viele Formeln durch Excel selbst erstellt und nachher wieder gelöscht. Dieser Vorgang geht auf Knopfdruck vor sich. So werden dann schon mal über 1,0 Mio Formeln in einem Rutsch kopiert, berechnet und gleich wieder gelöscht. Das sind die Formeln, welche erstmal nicht im Tabellenblatt auftauschen aber zeitweise bei Auslösen des Makros kopiert, berechnet und als Werte eingefügt werden. Ich muss dafür nur die Referenzformel erstellen, welche das Makro zum Kopieren verwendet. Nur diese Formeln verbleiben sichtbar außerhalb des Arbeitsbereiches in der Arbeitsmappe. So brauche ich teilweise für 420.000 Rechenoperationen ganze 10 Formeln.

Wirklich manuell erstellte Formeln sind es vielleicht 100.000. Vielleicht auch weniger, da manche sehr komplex sind und mit zahlreichen Wenn-Abfragen praktisch mehrere Formeln innerhalb einer Zelle darstellen. Bei ca. 480 Std Arbeitszeit kommen dann etwa 200 Formeln pro Stunde zusammen. Keine Ahnung, ob das realistisch ist.

Ich hoffe, ich konnte da ein bisschen Licht ins Dunkle bringen.

Viele Grüße

Klaus
Parent - By Klaus S. Date 2018-01-02 20:27
Hallo Klaus,

danke für deine Erklärungen, ja nun sehe etwas klarer.
Parent - By Frank Quisinsky Date 2018-01-04 01:06
Hallo Klaus,

neue Version Deiner Excel ist nun Online.
Werde die Dia-Show gleich noch updaten. Dauert ca. eine Stunde.

Sind jetzt bei ...
= 474.143 of 582.596 analysis are ready =  81,38%

Gruß
Frank
Up Topic Hauptforen / CSS-Forum / FEOBOS-Excel - Wesentliche Programmfeatures und "eigentliche" Formelanzahl

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill