Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / Warum halten 4 - 8 Kerner bei SF gegen starke Hardware immer remis
1 2 Previous Next  
Parent - By Lothar Jung Date 2021-12-11 11:32 Edited 2021-12-11 11:46
Lc0 skaliert ohnehin bei geringer Bedenkzeit und/oder 1 CPU-Kern erstaunlich gut.
Die Netze weisen schon eine erstaunliche 1-Zug „Policy“ auf. Nach 1-2 Sekunden steigt sie schnell.
Die Kurve steigt nach 32 - 2048 Berechnungstiefe ziemlich linear.

Von Discord:
Is 609966 tested with higher nodes/move? I have record-level on it both in Policy and 200 nodes/move. 609958 is on second place in my test in both Policy and 200 nodes/move.

Lothar
Parent - - By Patrick Götz Date 2021-12-11 12:30 Upvotes 1
Bei Stockfish kann ich noch keine Stagnation erkennen, es geht immer noch im gewohnten Rahmen aufwärts, der Aufwand dafür ist aber enorm, oft rechnen 2.000-3.000 CPU-Kerne im Test-Framework an den Weiterentwicklungen.
Parent - - By Frank Quisinsky Date 2021-12-11 13:05 Edited 2021-12-11 13:08
https://www.amateurschach.de/t2022/ratings/fcp-tourney-2021__final.txt
https://www.amateurschach.de/t2022/ratings/r16_ratings.txt

Fortschritt innerhalb der letzten 10 Monate ... als Beispiel.

Also, ich sehe nichts bzw. sehr minimale Fortschritte!!
Wenn ich die TOP-40 in ein Turnier bringe und unter vernünftigen Zeitkontrollen auf einem Core teste.

Extrem Blitz gegen sich selbst ... da muss heftigs abgezogen werden wenn die Realität zu Worte kommen möchte.
Ab einer gewissen Anzahl von schwächeren Testgegners verändert sich allerdings auch nichts mehr.
Wenn ich also jetzt z. B. die TOP-60 abtesten würde, würde es für Stockfish zwar weiter runter gehen aber sehr minimal (weniger als 3 Elo).
Parent - - By Dominik Tonert Date 2021-12-14 19:55
Boaaah eyyyh,

Elowerte bis auf 2 Nachkommastellen berechnet.
Einfach grandios ... und natürlich total überflüssig
Parent - - By Frank Quisinsky Date 2021-12-16 19:20
Dominik,

Du "neuer" Haudegen Du?

Könnte auch 3 Stellen mit Ordo einstellen?!
Hast Du mal die Dokumentation von Elo-Berechnungsprogramm Ordo gelesen?
Ein mathematisches Meisterwerk!

Da würde ich mich mit "Boaaah eyyyh" zwar nicht mit diesen Worten anschließen aber gejubelt hat die Community in der Tat.
Hoffe Miguel geht es gut, sehr lange von ihm nichts mehr gelesen!

Viele Grüße
Frank
Parent - - By Dominik Tonert Date 2021-12-16 19:25
Frank,

wofür braucht man bei Elowerten 2 Nachkommastellen?
Oder ist das für für Schachprogramme interessant?

Bei der Ranglisten der menschlichen Spieler sind ist immer GANZE Zahlen.

Aber wenn es weiterhilft natürlich auch gern 8 Nachkommastellen.
Parent - - By Frank Quisinsky Date 2021-12-16 19:37 Edited 2021-12-16 19:42
Hallo,

schrieb mal vor mehr als 20 Jahren, dass mir persönlich Elo Werte auch in 25er Schritten ausreichen.
Also 2500, 2525, 2550 ...

Sehe das im Grunde heute noch so.

Nun, warum braucht man 2 Nachkommastellen!!
Damit es mehr nach Computerschach ausschaut?!

So dämlich die Antwort auch ist, aber einfache Dinge komplizierter aussehen zu lassen hat Computerschach immer schon ausgezeichnet!



Gruß
Frank

PS: Bei dem Berechnungsprogramm Bayesian macht es vielleicht Sinn.
Trotz mehr erreichter Punkte, bei der gleichen Anzahl von Partien, ist ein niedrigerer Ratinglistenplatz möglich.
Da könnte zumindest eine Nachkommastelle interessant für die Betrachtung sein.
Bin gar am überlegen, ob ich zukünftig SB-Wertung in Ratinglisten einblende ... halte ich für interessant!
Parent - By Thomas Zipproth Date 2021-12-16 19:44
Bei teilweise mehr als 400.000 Partien, die 2 Engines im Stockfish Framework gegeneinander spielen, könnte eine Nachkommastelle Sinn machen.
Manchmal geht es halt nur in sehr kleinen Schritten vorwärts.
Parent - - By 2phil4u Date 2021-12-14 18:04
Diese Frage wird immer wieder gestellt,
obwohl das mathematisch gar nicht anders geht.
Es ist schon lange bekannt,dass die Elosteigerung zb bei Verdoppelung der gesuchten Zugkonten immer
geringer wird.
Das wurde mehrfach bestätigt.
Natürlich kann es sein,dass die Elosteigerung noch geringer ist als bei nicht gecutteter Suche,aber im
Prinzip läuft es auf das Gleiche raus.
Dieses "underperformen" sieht man bei diversen Teststellungen,bei welchen zb Stockfish die Lösung nie findet.
Auf der anderen Seite führt dieses cutten
lange zu einer viel grösseren Tiefe und somit bei kirzer Bedenkzeit zu mehr Elo,
aber bei sehr langen Bedenkzeiten wird sich starkes Cutten wohl negativ aus.
Aber letztendlich wird die max Elo über zb 4200 Elo nicht rauskommen.
Interessant sind derzeit die viel genaueren Bewertungen,welche stärkeres cutten erlaubt.
Parent - - By Lothar Jung Date 2021-12-14 20:27
Ja, das ist so und war absehbar.

Anfangs kommen optimierte Eröffnungsbücher zum sofortigen Zuge, die - oft im späten Mittelspiel - eine ausgeglichene Stellung hinterlassen. (TCEC versucht eifrig, mit sehr verworfenen Ausgangsstellungen - die kaum im Tunierschach vorkommen, dagegen anzugehen.)
Danach gehen - mit voller Zeit auf der Uhr- die Netze ans Werk, die ebenfalls nichts anbrennen lassen.
Hohe Suchtiefen, Netze und TBs verrichten zuverlässig die Remis-Technik im Endspiel.

Komplizierte Teststellungen und seltene Patzer - oft gegen stark schwächere Hardware - geben noch Hinweise darauf, das vielleicht noch nicht alles wegoptimiert wurde.

Aber keine Sorge, das kommt statistisch sehr selten vor und KI und Hardware werkeln daran, auch noch diese kleine Lücke zu schließen.

Lothar
Parent - By Frank Quisinsky Date 2021-12-16 21:05 Edited 2021-12-16 21:19
Hallo,

genau, bei längeren Bedenkzeiten schrumpfen die Vorteile (z. B. von Stockfish) vor sich hin.
Das ist bei Stockfish sehr schön zu beobachten aber im Grunde auch schon seit langer Zeit kein Geheimnis.

Liegt wahrscheinlich eher weniger an Stockfish selbst!!
Eher an die durch Neural Network hinzugewonnenen Stärken im Endspiel und Übergang zum Endspiel so vieler anderer Engines.

Ein schönes Beispiel ist Wasp!
Schon im Übergang zum Endspiel und im Endspiel ließ die Spielstärke im Vergleich zu vielen Figuren auf dem Brett deutlich nach.
Mit NN erzielt Wasp nun deutlich öfters Remis gegen deutlich stärkere Gegner.

Ein weiteres schönes Beispiel ist Lc0 (CPU-dnn Version).
Können ja schön beobachten, wie viele schnelle Partien gar bei 1:20 Stunde pro Partie beim laufenden FCP Tourney-2022 verloren werden.
Da gibt es Partien wo selbst Matt in 2 übersehen wird.

Und trotz dieser eklatanten taktischen Schwächen, erspielt das Programm eine sehr hohe Elo weil das Endspiel sehr stark ist.

Meines Erachtens liegen also die Fakten sehr deutlich auf den Tisch:
Neural Network sorgt für noch stärkere Endspiele.
Schwächere Engines erspielen deutlich mehr Remise, halten Endspiele durch NN.

Die Remisquote steigt, der Zügedurchschnitt steigt (bis Matt oder tatsächliches Ende durch Remis).

Nehmen wir an, dass alle TOP-41 Engines Neural-Network nutzen könnten, würde die Remisquote von 53,5% auf hochgerechnet über 60% ansteigen.
Auch wenn von Platz 1-41 dann wahrscheinlich noch 350 Elo liegen würden.

Bei den ganzen Schacheröffnungen von A00-E99 gibt es sicherlich einige Eröffnungssysteme die Remis-verdächtig entlassen.
Aber das sehe ich nicht als erwähnenswert an.

Diese Eröffnungen gab es immer schon und die Quote der schnellen Remisen bis ca. Zug Nummer 40 geht gar zurück.
Erst ab Zugnummer 40 steigt die Remisquote deutlich an und das liegt ganz klar an dem hinzugewonnenen Endspielwissen so vieler Engines durch NN.

Da können die Eröffnungen wenig dafür!
Wenn ich hier lese das versucht wird durch Eröffnungen dieses Problem in den Griff zu bekommen muss ich feststellen das sich TCEC nie so wirklich mit
Statistik beschäftigt hat. Wie auch, das werden zu wenige Partien für aussagekräftiges Material erzeugt.

Ob Stockfish nun auf Dauer, im Hinblick auf stärkerer Konkurrenz von NN profitiert hat, bleibt dahingestellt.
Vielleicht anfangs aber derzeit fällt der gigantische Vorteil so nach und nach ab weil mehr und mehr Engines den NN Vorteil nutzen.
Langfristig lähmt NN vielleicht die tatsächliche Weiterentwicklung der Engines im Framework.

Beeindruckend ist Stockfish dennoch:
Sehr niedriger Zügedurchschnitt, gigantische Statistik!!
Sehr viele schnelle Gewinnpartien, sehr aggresssives Eröffnungsspiel auch gigantisch!!
Fast unschlagbar im Endspiel, verliert gegen stärkste Konkurrenz bei längeren Bedenkzeiten wahrscheinlich 1 von 2000 wenn überhaupt.

Aber im Übergang zum Endspiel hagelt es mehr und mehr Remise gegen deutlich "schwächer".
Wie gesagt ... genau der Punkt wo NN greift bzw. viele Engines durch NN stärker geworden sind.
Muss man nur auf Elo-Auswertungen und Vergleiche genau zu dieser Partiephase schauen.

Was auch noch wesentlich im Computerschach ist, dass ungleichmäßiges Material viele klassische Bewertungsideen behindert haben.
Was für den Menschen kaum noch logisch ist ... scheint bei NN absoluter Tagesordnungspunkt zu sein.

Unglaubliche Figurenkonstellationen habe ich hier bei den FCP-Tourney-2022 schon gesehen.
Da blickt normal kein Mensch mehr durch bzw. würde solche Stellungen provozieren!

Viele Grüße
Frank
Up Topic Hauptforen / CSS-Forum / Warum halten 4 - 8 Kerner bei SF gegen starke Hardware immer remis
1 2 Previous Next  

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill