Stockfish - Testing Framework

By Tom Paul Date 2014-01-04 21:31

Habe mich schon seit sehr langer Zeit damit beschäftigt und dabei festgestellt, dass für die Menschen die ihre Hardware stiften wollen nur eines zählt: Alles muss VOLLSTÄNDIG und AUTOMATISCH ablaufen.
Das einzige was man vom Stifter erwarten kann ist, dass dieser einen Klick auf Download macht und bei der Installation erscheint ein Fenster in das er seinen Benutzernamen eingibt. MEHR NICHT.

Das Programm muss selbstständig erkennen können, wie viele echte Kerne vorhanden sind, wie stark ausgelastet und wie viele davon können zum stiften verwendet werden. Auch wenn der Besitzer z.B. nach einiger Zeit ein Spiel anmacht was 2 Kerne benötigt. Alles voll automatisch auch nach PC Neustart, ohne das der Besitzer etwas tun muss.

Damals habe ich schon darauf hingewiesen, seit dem sind um die 400 Tester(also Personen die Name und Password bekommen haben) hinzugekommen, davon sehe ich ~30-35 Active Tester also ~10 mehr als es am Anfang waren.
Somit hätten wir theoretischen +400 Tester und nicht +10.
Quasi das 10 fache der aktiven Tester, somit die 10 fache Entwicklungsgeschwindigkeit. Die wir leider nicht haben.

Übrigens finde ich es ganz toll von dir, dass du dir die Mühe machst und so etwas auch kannst.

By Joachim Rang Date 2014-01-04 22:43

Ich bin recht fit, was den Umgang mit Computern angeht, aber ich habe lange gebraucht den Fistest bei mir zum laufen zu bringen. Python installieren und bei Stockfish registrieren geht ja noch recht einfach, aber dann die command line aufrufen und zum Verzeichnis wechseln war schon mühsam. Erster Versuch ging nicht, weil es muss die "elevated" sprich Administrator command line sein. Zweiter Versuch ging wieder nicht, weil man bei windows das python vorne weglassen muss usw. usw.

Man brauch was vollautomatisches, wie Du schon sagt. Es ginge auch vollautomatisch, aber dafür müsste man einen vorher definierten benutzer/passwort anlegen, den dann alle benutzen. Das wurde aber von den fistest-Machen als "zu gefährlich" abgelehnt.

By Jörg Oster Date 2014-01-04 23:00

Ich habe keine 10 Minuten gebraucht, um das auf meinem Windows-Rechner zum Laufen zu bringen.
Dank dieser Schritt-für-Schritt-Anleitung. https://github.com/glinscott/fishtest/blob/master/windows-step-by-step-installation.txt

Und wer Probleme hat, kann gerne hier oder im Fishcooking-Forum nachfragen.

By Thomas Schoenegger Date 2014-01-05 11:15

Da Stockfish ja frei verfügbar ist und man die Möglichkeit hat zumindest durch Beteiligung am Testframework einen Beitrag durch zur Verfügung stellen der eigenen Hardware leisten kann. Gestehe ich zu meiner Schande dass ich mich nicht dazu überwinden konnte, da es ja auch den Cute Cli Assistenten braucht und ich diesen nie zum Laufen bringen konnte und deshalb mich bisher nicht beteiligen konnte. Oder braucht es den gar nicht? Könnte einen 8Core pc entbehren.
Thomas Schönegger

By Jörg Oster Date 2014-01-05 12:07

Darum musst du dich nicht kümmern!
Das erledigt Fishtest ganz automatisch für dich. Auch das Buch wird automatisch heruntergeladen und die Stockfish-Exe.

Befolge einfach die Schritt-für-Schritt-Anleitung. Bei Problemen melde dich einfach hier nochmal und ich helfe weiter.

Gruß, Jörg.

P.S. Bitte von den 8 Cores nur 7 zur Verfügung stellen, damit 1 Core für Windows zur Verfügung steht.

By Patrick Götz (Mod.) Date 2014-01-05 12:07 Edited 2014-01-05 12:11

Nein, das ist nicht nötig.

Hier eine Zusammenfassung aller nötigen Schritte auf deutsch:

Entweder über die Links der Webseite Stockfish.org -> "Get Involved" -> "contribute your computer" aufrufen
oder über diesen direktLink:
https://github.com/glinscott/fishtest/blob/master/README.md
die Englisch Anleitungsseite für Linux und Windows aufrufen.

Und dann geht es für Windows so:
1.
Python 2.7.x for x86 downloaden , über den Link
http://www.python.org/ftp/python/2.7.4/python-2.7.4.msi
ausführen und mehrmals "Next" klicken bis es installiert ist.
( Ausführlich geschrieben : 1. Für alle User installieren 2. Auf wunsch Verzeichnis auswählen 3. mit allen Features installieren 4. Okay klicken, fertig)

2.
Dann das Hauptprogramm "fishtest-master" runterladen über den Link
https://github.com/glinscott/fishtest/archive/master.zip
und entpacken, z.b. in "c:\fishtest-master".

3.
Dann sich über den Link
http://tests.stockfishchess.org/signup
anmelden, einfach Username/Password/ E-Mail eintragen und sofort ist man angemeldet und kann loslegen.

4.
Dann das Hauptprogramm "fishtest-master" starten und loslegen:
Dazu im Unterordner "worker" (z.B. in "c:\fishtest-master\worker\") eine Kommandozeile (*) öffnen,
dann eingeben:

'c:\Python27\python.exe worker.py --concurrency <cores> <username> <password>'

Erklärung:
a) "c:\Python27" ist das verzeichnis in dem Python installiert wurde.
b) --concurrency <cores> ist die Anzeahl Kerne die zur Verfügung gestellt werden ( ohne Hyperthreaded Kerne), ein Kern muss für das Betriebssystem übriggelassen werden.
Habt ihr 2 Kerne gebt ihr --concurrency 1 ein
Habt ihr 4 Kerne gebt ihr --concurrency 3 ein
Habt ihr 6 Kerne gebt ihr --concurrency 5 ein
Habt ihr 8 Kerne gebt ihr --concurrency 7 ein
Habt ihr 12 Kerne gebt ihr --concurrency 11 ein

c) <username> <password> , das Eintragen was Ihr bei der Anmeldung angegeben habt.

Mit allen Eintragungen und sieht es also z.B. so aus:
c:\Python27\python.exe worker.py --concurrency 7 test 123456

Enter drücken und los geht's.

(*) Erklärung: so startet man die Kommandozeile in einem bestimmten Verzeichnis z.B. in "c:\fishtest-master\worker\"
http://www.tippscout.de/windows-7-kommandozeile-in-bestimmtem-verzeichnis-starten_tipp_4369.html

By Jörg Oster Date 2014-01-05 12:38

Klasse Anleitung, Patrick!
Zur Zeit kann Fishtest jeden zusätzlichen Core gebrauchen ...

By Peter Osthoff Date 2014-01-05 13:59

Eine Ergänzung: Auch einen Core freizulassen, kann zu wenig sein, falls man nebenher surft und CPU-intensive Seiten besucht (youtube z.B.).

By Patrick Götz (Mod.) Date 2014-01-05 16:11

Gerade eine schnelle CPU kann das auch gut auf einen Kern schaffen.
Zur Überprüfung einafch die CPU-Auslastung anschauen, solange die nicht 100% erreicht ist alles im grünen Bereich.

By Joachim Rang Date 2014-01-05 12:08

Probier doch mal meinen Installer aus, dann registriere Dich als Tester und dann musst Du noch die Datei fishtest.cfg im Installtionsordner editieren (geht mit Notepad).
Alles andere lädt Fishtest selbst herunter, musst Dich also nicht mit dem Cute Cli Assistenten rumschlagen.

By Joachim Rang Date 2014-01-05 16:56

Hab den Installer noch mal überarbeitet und jetzt klappt fast alles automatisch. Am Ende der Installation öffnet sich die Konfigurationsdatei, in die man username und password eintragen muss und dann sollte alles automatisch klappen.

Kann das mal jemand ausprobieren?

http://www.iwanuschka.de/schutthalde/setup-fishtest.exe

Danke!

By Markus Pillen Date 2014-01-05 21:58

Hallo Joachim,
Ich habe Deinen Installer gerade installiert und ausprobiert. Er funktioniert prima.

Vielen Dank für das tolle Tool

viele Grüße
Markus

By Patrick Götz (Mod.) Date 2014-01-05 22:27

Prima, das ist schön zu hören und es freut mich, dass Du jetzt auch dabei bist!
Nur das von der Gesamtzahl der Kerne einer für das Betriebssystem usw. frei bleiben sollte ist noch nicht richtig konfiguriert.
Also bei einer 6-Kern CPU sollte man nur 5 Kerne und bei einer 4-Kern CPU sollte man nur 3 Kerne nutzen, damit die Ergebnisse nicht verfälscht werden.

Gruß
Patrick

By Joachim Rang Date 2014-01-05 22:37

Fishtest nutzt maximal alle verfügbaren Kerne -1. Ich habe das ausprobiert, auch wenn ich concurrency=32 eintrage nutzt er auf einer quad nur 3 Kerne auf einem Dual nur 1 etc.

By Hauke Lutz Date 2014-01-06 04:43

Das Programm ist echt stark, Joachim. ich habe es eben erst eingerichtet und mir LogIn-Daten besorgt. Das hat nicht mehr als 5 Minuten gedauert und schon legt er mit den ersten 11 von 1000 Teststellungen los.

By Joachim Rang Date 2014-01-06 08:34

Das freut mich, dass es so gut klappt und dass Du jetzt dabei bist.

By Markus Pillen Date 2014-01-05 23:03

Hallo Patrick,
Da ich auch selber noch am Rechner arbeite, habe ich nur einen Teil der Cores für Fishtest aktiviert,
Es sollte also gut funktionieren

Viele Grüsse
Markus

By Tom Paul Date 2014-01-06 08:13

Was passiert wenn man den Rechner neu startet?
Fängt das Programm dann an automatisch zu arbeiten oder muss man wieder etwas einstellen?
Was passiert wenn das Programm 3 von 4 Kernen benutzt und plötzlich fängt der Benutzer an z.B. ein Spiel was 2 Kerne braucht zu starten?
Werden nur die echten Kerne erkannt oder alle?

By Joachim Rang Date 2014-01-06 08:34

Das Programm wird nicht beim Windowsstart gestartet, jedenfalls nicht von selbst, es sei denn man richtet das manuell so ein, man muss es also nach einem Rechnerneustart selber starten.
Wenn man am Rechner rechenintensiv arbeitet oder spielt, sollte man entweder das Programm so lange beenden oder sich mehr als einen Kern freihalten, also "concurrency" auf verfügbare Kerne -2 einstellen.

By Tom Paul Date 2014-01-06 10:13

Kannst du das auch irgendwie automatisch hinbekommen?

1.Mich nervt es höllisch jedes man wenn ich meinen Rechner hochfahre das Programm immer wieder neu starten zu müssen.
Es muss genauso automatisch wie ein Antivirusprogramm mit hochfahren/starten/laufen/Kernanzahl ändern.
2.Wenn ich am PC sitze mache ich nie!!! nur eine einzige Sache und dass ist ein ganz dickes Problem. Ich muss mich schon regelrecht dazu zwingen das Programm ungefähr 30x am Tag an und aus zu schalten und dann jedes mal die passende Kernanzahl manuell einstellen.
Und ich denke das klappt nur gerade so ganz knapp, weil ich ein bisschen mehr schachsüchtig im Gegensatz zu anderen Schach interessierten bin. Wenn ich das Programm solange beenden soll, dann kann ich es ja gleich deinstallieren, weil ich keine Zeit mehr haben werde es laufen zu lassen.
Daraus folgt das einer der nicht so süchtig ist wie ich kapitulieren wird.

Und in beiden Punkten geben mir die Zahlen der angemeldeten Tester und der activen Tester recht, denn wir haben nur +~10 active Tester hinzugewonnen, von über 400 angemeldeten!!!

Ich denke das mit den Kernen freihalten und passend immer umändern, dass haben die meisten freiwilligen Stifter nicht begriffen und wollen auch keine Zeit dafür opfern es zu begreifen.

By Joachim Rang Date 2014-01-06 10:21

Man jann das Programm automatisch mit Windows starten lassen. Welche Windowsversion setzt Du denn ein?

Das Programm kann allerdings nicht erkennen, wie viele Kerne gerade frei sind und wie viele Du brauchst. Wie viele Kerne hast Du denn? Es ist problematisch rechenintensive Dinge nebenher zu machen, weil die Fishtestanwendung zeitkritisch ist, sie kann also nicht mit niedriger Prio laufen.

By Tom Paul Date 2014-01-06 11:27

Windows 8
6 Kerne 4,5GHz
Nur wenn ich dem Programm 5 Kerne zuweise und dann zwei weitere Programme starte jeweils zwei Kerne, dann sind von den 5 Kernen 4 weitere besetzt und nur 1 Kern bleibt für Stockfish übrig.
Wenn ich dann aber wieder die zwei Programme ausschalte habe ich wieder 4 freie Kerne, Stockfish benutzt aber nur den einen zuvor eingestellten Kern und dann muss ich alles wieder umändern oder auf einem Kern laufen lassen, was ein 5 facher Verlust für die Stockfishentwicklung wäre x die Anzahl der Personen die es genauso handhaben.

Kannst du das Programm so umändern, dass der Rechner niemals zu 100% ausgelastet ist?
Sondern zu z.B. 90%?
Das Programm erkennt z.B. anhand des Taskmanagers wie weit der PC ausgelastet ist, wenn der Benutzer ein Programm startet, und der PC zu 100% ausgelastet ist, wird ein Kern den Stockfish benutzt freigegeben.

By Joachim Rang Date 2014-01-06 11:48

Nein das Programm kann keinen Kern automatisch freigeben, ich habe das Programm auch nicht geschrieben, sondern nur den Installer. Was ich machen würde ist das Programm zwei mal starten, zwei mal mit 2 cores. Wenn Du dann an Deinem Rechner nicht so viel machst lässt Du beide Instanzen laufen, wenn Du was rechenintensives machst schaltest Du eine aus. Oder Du lässt gleich nur eine Instanz laufen mit 2 Cores, dann hast Du immer genügend Power für andere Sachen.
Dafür musst Du den Ordner Fishtest einmal kopieren und Dir eine Verknüpfung auf die Datei worker.py des kopierten Ordners legen.
Wenn Du das Programm automatisch starten lassen willst musst Du eine (oder beide) Verknüpfungen in den Order:
c:\Users\<login name>\AppData\Roaming\Microsoft\Windows\Start Menu\Programs\Startup
kopieren, wobei <login name> für den Namen steht, mit dem Du Dich anmeldest.

By Michael Scheidl Date 2014-01-06 11:58

Zu Autostart mit Windows 8: Danach habe ich gerade gesucht:

http://www.pc-magazin.de/ratgeber/windows-8-autostart-ordner-programme-hinzufuegen-loesung-1443412.html

Zitat:

Befinden Sie sich auf der Oberfläche von Windows 8 erreichen Sie mit der Tastenkombination „Start“ + „R“ (Anm. M.S., das ist die Windows-Taste + R) das gewohnte Eingabefeld „Ausführen“. Dort geben Sie lediglich die Zeichenfolge „shell:startup“ (ohne Anführungszeichen) ein und bestätigen mit „Enter“. Anschließend öffnet sich ein Ordner, in dem Sie wie gewohnt Verknüpfungen ablegen können. Starten Sie den Rechner nun neu, werden entsprechend ausgewählte Tools automatisch aufgerufen.

Dann öffnet sich ein Explorerfenster unter dem von Dir angegebenen langen Pfad.

By Jörg Oster Date 2014-01-06 12:07

Mir sträuben sich hier nicht nur die Nackenhaare.

Generell, sobald man am Rechner arbeitet, und sei es auch nur im Netz surfen, ist es besser, den Fishtest-Worker so lange nicht auszuführen. Alles andere kann zu verfälschten Ergebnissen führen.

By Peter Osthoff Date 2014-01-06 13:58

Das sehe ich nicht so kritisch. Falls die CPU-Auslastung 100% nie erreicht, hat die Benutzeraktivität keine Auswirkung auf die Partienrechenläufe.
Unter Linux lässt sich unter "Load average" (z.B. mit dem Befehl "cat /proc/loadavg") die Systemauslastung ausgeben. Solange der Wert kleiner ist als die Anzahl aller Kerne, kommt es nicht zu einer Verzögerung der Prozessabarbeitung.
Ich lasse z.B. 3 Cores von meinen 6 verfügbaren für das Framework rechnen und erhalte selbst bei einem gleichzeitig laufenden youtube-Video in hoher Auflösung keine Komplettauslastung der CPUs.

Aber es wäre dennoch meiner Meinung nach sehr wünschenswert, dass die CPU-Auslastung von dem Tool selbst überwacht wird und dieses falls notwendig die CPU-Zahl reduziert oder den Prozess pausiert.

By Tom Paul Date 2014-01-08 14:28

Joachim Rang schrieb:

Hab den Installer noch mal überarbeitet und jetzt klappt fast alles automatisch. Am Ende der Installation öffnet sich die Konfigurationsdatei, in die man username und password eintragen muss und dann sollte alles automatisch klappen.

Kann das mal jemand ausprobieren?

<a class='ura' href='http://www.iwanuschka.de/schutthalde/setup-fishtest.exe'>http://www.iwanuschka.de/schutthalde/setup-fishtest.exe</a>

Danke!

+Bei mir wurde alles automatisch installiert.
-fishtest.cfg musste ich aber selbst öffnen und die Daten eingeben. Da dürfte es für einige Schwierigkeiten geben, woher sie Username und Password herbekommen sollen und das sie fishtest.cfg anklicken müssen und die richtige concurrency eingeben und am Ende auch speichern! Bei concurrency sollte in (reale Kerne) stehen.
-Danach muss man worker.py anklicken. Musste da auch erstmal suchen.

= Den Installer finde ich auf jeden Fall besser als es früher war und wir werden dadurch bestimmt wieder einige Stifter hinzubekommen.
Ich habe jetzt Fishtest(worker.py) auf meinem Desktop. Ich würde es besser finden, wenn dort ein Ordner wäre in dem nur fishtest.cfg und Fishtest(worker.py) drin sind. Es wäre übersichtlicher und man könnte concurrency schneller ändern als immer unter C: suchen zu müssen.
Man sollte immer davon ausgehen, dass die meisten Menschen kein PC wissen haben und deshalb alles so einfach wie möglich gehalten werden muss.
Im fishtest.cfg File vermisse ich die Option (ja / nein), dass das Programm beim PC neustart automatisch startet. Und zwar unten an der Taskleiste und nicht mitten auf dem Bildschirm.

By Joachim Rang Date 2014-01-08 22:15

So neue Version:

http://www.iwanuschka.de/schutthalde/setup-fishtest.exe

- fishtests.cfg sollte sich nun automatisch mit notepad öffnen
- concurrency ist erläutert
- es gibt eine Option Fishtest beim Windowsstart zu starten. Bei mir (Windows 8.1) klappt das leider nicht. Weiß nicht woran das liegt. Vielleicht geht es ja bei anderen Versionen.

By Joachim Rang Date 2014-01-09 00:39

Die Autostartoption sollte jetzt auch funktionieren.

By Tom Paul Date 2014-01-09 17:14 Edited 2014-01-09 17:16

+Fishtest.cfg öffnet sich im Editor automatisch.
+Die Autostartfunktion funktioniert auch.
-Nur wo finde ich diese, wenn ich die Autostartfunktion wieder ausschalten will? oder wenn ich vergessen habe die Autostartfunktion beim erstem mal zu aktivieren? Sollte am besten schon beim erstem mal aktiviert sein!
-Wäre praktisch, wenn ich nicht nur eine Fishtest Verknüpfung auf dem Desktop habe, sondern auch eine Fishtest.cfg Verknüpfung.

Das sollte auch noch in der Fishtest.cfg stehen:
Sign up
Create your username/password at http://tests.stockfishchess.org/signup

Soweit so gut der Installer wird immer besser

By Jürgen Bevier Date 2015-01-03 13:46

Hallo Joachim,
vielen Dank für Deine Mühen mit dem Fishtest Installer. Seit Stunden versuch ich es zum laufen zu kriegen, erst gemäß der Stockfish-Anleitung, dann mit Hilfe Deines Tools, aber ich bekomme immer eine Fehlermeldung und es geht halt nicht. Hier mal die Fehlermeldung:

Worker Version 51 connecting to http://tests.stockfishchess.org:80
Updating worker Version to 55
Exception accesing host:
File "C:\Fishtest\worker.py", line 64, in worker
update()
File "C:\Python27\lib\distutils\dir_util.py", line 167, in copy_tree
dry_run=dry_run)
File "C:\Python27\lib\distutils\file_util.py, line 148, in copy_file
_copy_file_contents(src, dst)
File "C:\Python27\lib\distutils\file_util.py", line 44, in copy_file_contents

fdst ? open(dst, ´wb´)
IOError: [Errno 13] Permission denied: ´C:\\,gitignore´

Wäre riesig wenn Dir anhand der Meldung der Fehler klar ist und Du mir eine Antwort schreiben könntest.

Auf alle Fälle vielen Dank!

Jürgen
stockfish.Bergadler@xoxy.net

By Frank Brenner Date 2014-01-06 21:12

Das hast du prima gemacht. Klappt auch bei mir mit der installation.

Es muss jetzt nur noch mehr Werbung gemacht werden, denn die meisten glauben dass es extrem schwer ist seinen eigenen PC beizusteuern.

Ein paar Fragen hab ich noch:

Muss ich ständig online sein ?
Wass passiert wenn ich einen internet reconnect habe ?

Trägt jedes einzelne Spiel zur Statistik bei oder müssen alle 1000 Spiele zuende gespielt werden ?

By Patrick Götz (Mod.) Date 2014-01-06 21:38

Muss ich ständig online sein ?
Ja.

Wass passiert wenn ich einen internet reconnect habe ?
Ich glaube erst wenn die Unterbrechung mehrere Minuten dauert muss Fishtest neu gestartet werden.

Trägt jedes einzelne Spiel zur Statistik bei oder müssen alle 1000 Spiele zuende gespielt werden ?
Jedes einzelne Spiel trägt zur Statistik bei.

By Hauke Lutz Date 2014-01-09 03:06 Edited 2014-01-09 03:08

Wer ist eigentlich dieser bking_US ?! Wer auch immer es ist; Der hat 43 Kerne laufen

By Roland Riener Date 2014-01-09 13:02

Dieser bking_US (Klarname Brian King) ist mir auf der skurrilen Rangliste von Let's Check auch schon aufgefallen. Er belegt dort den 14. Platz und ist stolzer Besitzer von derzeit 9.074,33 Punkten und 286.823 Varianten.

Wie man solche Einträge erreichen und halten kann, ist mir unerklärlich. Wenn ich einmal eine Handvoll Varianten und einige Zehntelpunkte erreiche, sind sie nach kurzer Zeit wieder auf 0/0 abgeschmolzen.

By Tom Paul Date 2014-01-09 14:10

Dann erkläre ich es dir:)

Du kaufst dir einen 64 Kerne AMD oder 32 Intel oder auch etwas besseres und dann bestimmst du die Anzahl der Kerne die du für ... ausgeben willst.
Eine Möglichkeit wäre 40 Kerne Lets Check + 40 Kerne Stockfish + 48 Kerne zur freien Verfügung.
Den Rechner lässt du selbstverständlich Tag und Nacht laufen.
Stromkosten bezahlt die Sonne wenn du dir vorher das dafür nötige Gerät gekauft hast (5000€) aufwärts. Eigentlich muss man nur ausrechnen wie viel Strom man im Jahr verbraucht z.B. 1000€, dann hat man nach 5 Jahren die 5000€ wieder drin und hat den Rest seines Lebens keine Stromkosten mehr.

By Roland Riener Date 2014-01-09 14:30

Lol. Danke, dann lasse ich den Punktewettlauf lieber ruhen.

Wie geht das mit der Solaranlage in der Nacht eigentlich genau?

By Benno Hartwig Date 2014-01-09 14:39

...und welche Solaranlage eine kostenfreie Laufzeit bis zum Ende meines Lebens hat.

Benno

By Hauke Lutz Date 2014-01-09 16:19

Natürlich nett wenn man solche Schönheiten zu Hause stehen hat

By Tom Paul Date 2014-01-10 21:53

Hat hier schon jemand den verbesserten Fishtest Installer getestet?

Habt ihr Verbesserungsvorschläge?
Ps. Beim PC Neustart finde ich es super das Fishtest automatisch startet, aber bitte nicht mitten auf dem Bildschirm, sondern minimalisiert unten auf der Taskleiste, es ist sehr nervig 10x am Tag Fishtest minimalisieren zu müssen.

By Tom Paul Date 2014-05-01 22:11

Übrigens gibt es inzwischen 15 Stockfish Tester/Hardware Stifter allein aus Deutschland.
Bei gerade mal 45 aktiven Testern.
http://tests.stockfishchess.org/tests
http://tests.stockfishchess.org/users