Not logged inCSS-Forum
Forum CSS-Online Help Search Login
CSS-Shop Impressum Datenschutz
Up Topic Hauptforen / CSS-Forum / linux huge pages
- - By Clemens Keck Date 2010-05-15 12:44
Hallo

der ubuntu-Anfänger ist wieder mal am vertweifeln
Ich habe es geschafft, Rybka 3 64bit in der Shredder linux GUI zum laufen zu bringen( mit der Hilfe von "microwine").
Das Problem mit den hashtables ist sicher bekannt: es geht nicht mehr wie 32 MB bei mir. Wenn man es jedoch schafft die huge pages zu aktivieren, dann soll auch mehr drinne sein.
Weis jemand wie das geht? Ich hab aus F. Klings Anleitung den Eintrag "kernel.shmmax = 268443648" in der "sysctl.conf" vorgenommen. Leider ohne Erfolg.
Irgendwie muss ich dem system noch sagen dass es die hugepages nutzen soll , bzw. welche anlegen soll. Mein kernel is Linux ubuntu 2.6.32-22.
Ich hoffe auf Hilfe...

MfG Clemens Keck
Parent - - By Kurt Utzinger Date 2010-05-15 14:00
[quote="Clemens Keck"]
Hallo

der ubuntu-Anfänger ist wieder mal am vertweifeln
Ich habe es geschafft, Rybka 3 64bit in der Shredder linux GUI zum laufen zu bringen( mit der Hilfe von "microwine").
Das Problem mit den hashtables ist sicher bekannt: es geht nicht mehr wie 32 MB bei mir. Wenn man es jedoch schafft die huge pages zu aktivieren, dann soll auch mehr drinne sein.
Weis jemand wie das geht? Ich hab aus F. Klings Anleitung den Eintrag "kernel.shmmax = 268443648" in der "sysctl.conf" vorgenommen. Leider ohne Erfolg.
Irgendwie muss ich dem system noch sagen dass es die hugepages nutzen soll , bzw. welche anlegen soll. Mein kernel is Linux ubuntu 2.6.32-22.
Ich hoffe auf Hilfe...

MfG Clemens Keck
[/quote]

Hallo Clemens
Das mit Rybka 3 und microwine verstehe ich nicht. In der Shredder Linux GUI kann
man doch jede UCI-Engine einfach einbinden durch normale Installation. Und ferner wird
sich Rybka bei der Eingabe von 32 MB HT viel mehr nehmen, was Du in der Systemüberwachung
prüfen kannst. Gebe ich bei mir 32 MB HT auf meinem Quad ein, dann nimmt sich Rybka für jeden
Core so um die 77 MB hash, also total rund 308 MB. Weshalb das bei Rybka und auch Loop so
ist, bleibt mir unerklärlich.
Mfg
Kurt
Parent - - By Michael Hoeppenstein Date 2010-05-15 14:19
Hallo Kurt,

64bit-Rybka 3 läuft nur mit microwine. Nur die 32bit-Version läuft automatisch mit wine.

Gruß, Michael
Parent - By Kurt Utzinger Date 2010-05-15 14:31
[quote="Michael Hoeppenstein"]
Hallo Kurt,
64bit-Rybka 3 läuft nur mit microwine. Nur die 32bit-Version läuft automatisch mit wine.
Gruß, Michael
[/quote]

Hallo Michael
War mir als (noch) nicht 64-bit User nicht bewusst. Man lernt nie aus.
Mfg
Kurt
Parent - - By Clemens Keck Date 2010-05-15 14:21
Hallo

ich bin wieder ein kleines bisschen weiter gekommen:
Der Eintrag "kernel.shmmax = 268443648" in der "sysctl.conf" bewirkt, dass ich größere hashtabellen verwenden kann, wenn auch im system nur die von Kurt besagten 77MB angelegt werden. Bis 256MB kann ich nun vorwählen, aber genommen werden nur 77MB.
Ohne Eintrag kann ich nichts über 32MB vorwählen.
Also nur ein kleiner Zwischenschritt .
Der Eintrag "vm.nr_hugepages = 1024" in der "sysctl.conf" bewirkte dass sich linux 1024MB huge pages aufgebaut hat.( zu sehen mit cat /proc/meminfo ).
Die huge pages sind ja der clou! Darauf kommt es mir an. Die hashtabellen sollen in diese huge pages rein. Rybka ist 20-25% schneller damit(das ist bewiesen).
Und dazu ist das microwine da. Nur leider klappt das bei mir nicht. Es werden zwar 1024 MB huge pages eingerichtet, aber sie bleiben weiterhin frei, wenn ich rybka lade.
MAl sehn ob je,man d was weis bzw. ob ich weiter komme.
http://www.rybkachess.com/index.php?auswahl=Linux

Gruß, Clemens
Parent - - By Dieter Becker Date 2010-05-15 15:09 Edited 2010-05-15 15:53
Man kann Rybka3 64 bit unter Linux 64 Bit in Shredder ans laufen bekommen ??

Ich habe einmal versucht das hinzubekommen. Dazu habe ich die Demo-Version von Shredder-Classics heruntergeladen
und nach Webseite:

http://www.rybkachess.com/index.php?auswahl=Linux

die befehle folgend eine Datei erzeugt die Rybka3_x64linux oder so heisst.
dann habe ich diese Datei als ausfuehrbare Datei angehakt und versucht als neue engine in der demo von shredder-classic anzulegen. Ich bekomme aber als fehlermeldung immer: Fehler, keine gueltige Engine.

Wie kann das sein ?

muss ich denn dazu extra wine installieren ? ich dachte die einmal mittels microwine umgewandelte Datei könnte man
in Schach-Gui's (wie z.b. Shredder-Linux) einfach installieren ?!

MOD: link wurde angepasst
Parent - - By Clemens Keck Date 2010-05-15 19:13
HAllo Dieter

Du musst microwine nehmen, nicht wine.
http://storage.sesse.net/microwine-0.8.tar.gz
die readme datei ist sehr hilfreich. Die so erzeugte rybka-native kann ich als normale 64bit rybka in der Shredder gui als éngine einbinden.
DAs sollte bei Dir auch klappen. oder?

Clemens
Parent - By Udo Kaiser Date 2010-05-16 09:26
so wie ich seinen Text lese HAT er ja genau DAS getan, nämlich die engine mit microwine umgewandelt. Sie lief nur in der Shredder Oberfläche nicht.
Parent - - By Peter Behringer Date 2010-05-15 20:30
1. es scheint, daß du als user die huge_pages nicht nutzen kannst . laß rybka als root (brrrbibber) laufen (oder ändere halt irgendwelche rechte):

http://www.mjmwired.net/kernel/Documentation/vm/hugetlbpage.txt

2. starte rybka in der konsole (also das kombinierte neue binary):
$./rybka-bla
und dann einfach:
setoption name Hash value 1042oder512oder2048 + enter

rybka schmiert ab...die fehlermeldung von microwine ist aber nützlich:

"Usually, this is the sign of too little shared memory allocated
on the system. Try the following command as root and see if it
helps:

  echo passenderwert > /proc/sys/kernel/shmmax"

als root/oder mit sudo; fertig ist die laube.
Parent - - By Mario Maszewski Date 2010-05-16 00:05
[quote="Peter Behringer"]
...

"Usually, this is the sign of too little shared memory allocated
on the system. Try the following command as root and see if it
helps:

  echo passenderwert > /proc/sys/kernel/shmmax"

als root/oder mit sudo; fertig ist die laube.
[/quote]

Das scheint mir nur eine temporäre Lösung sein.

Daher wir der Eintrag in der sysctl.conf gemacht, damit diese Änderung auch nach einem Neustart zur Verfügung steht.
Diese Option sagt dem OS, dass ein Programm diese Speichermenge reservieren darf.

Gruß Mario
Parent - By Peter Behringer Date 2010-05-16 10:05
"Das scheint mir nur eine temporäre Lösung sein."

es ist eine temporäre lösung ('proc' eben).
Parent - - By Peter Behringer Date 2010-05-16 10:18
Nachtrag:

Clemens' Wert (1024 mb) für die huge_pages und seine Einstellungen (256mb) für die Hashtabellen im Shreddergui ergeben keinen rechten Sinn: typisch für "copy & paste". Deswegen auch mein Hinweis auf die Konsole.

Grüße
Parent - - By Kurt Utzinger Date 2010-05-16 10:39
[quote="Peter Behringer"]
Nachtrag:

Clemens' Wert (1024 mb) für die huge_pages und seine Einstellungen (256mb) für die Hashtabellen im Shreddergui ergeben keinen rechten Sinn: typisch für "copy & paste". Deswegen auch mein Hinweis auf die Konsole.

Grüße
[/quote]

Hallo Peter
Bei einem Quad wird sich Rybka aber 4 x 256 MB = 1,024 MB nehmen.
Mfg
Kurt
Parent - By Clemens Keck Date 2010-05-16 11:54
moin Kurt

das stimmt nicht. Der angezeigte Wert wird nur einmal tatsächlich verwendet, so wie bei windows auch.

Clemens
Parent - By Peter Behringer Date 2010-05-16 23:07
ganz anders:

hugespages *größe multipliziert mit hugepages *Anzahl ergibt Speicherbedarf; auf Clemens' Rechner wären dies also 2 gb für 256 Hashmegabaitl (da 1024 pages mit je 2mb).
Parent - - By Clemens Keck Date 2010-05-16 12:13
HAllo Peter

das stimmt so . Als root werden nun tatsächlich hugepages genutzt. Leider aber nur sehr wenig.
Wenn ich es richtig verstehe werden aber nur ca. 32 Mb huge Pages verwendet.
Angezeigt werden 256 located, 240 free, huge pages size 2048 kb. 16 x 2 MB also. Somit komme ich scheinbar nicht über 32MB hinaus.
Im system werden für meine rybka ca 74MB angezeigt. Einstellen kann ich eigentlich was ich will , 256 512 1024...es ändert sich nichts.
Einträge in der sysctl.conf
kernel.shmmax = 268443648
vm.nr_hugepages = 256
Also noch klappt es nicht mit größeren hsahtabellen. Was tun??
  Ein Lichtblick gibt es aber schon:
Ich habe es geschafft mit dem Programm netchess einen engine server auf der ubuntu Maschine zum laufen zu bringen. Ich kann jetzt jede engine von dort über mein Heimnetzwerk in einen anderen WINDOWS-Rechner/gui laden. Aus meiner Sicht sehr intressant da Rybka+microwine+hugepages sehr performant ist und nun in Windows gui am playchess server spielen kann, und dann noch für komodo beta tests. Die SMP Komodo-beta gibt es vorerst nur für linux.

Wäre toll wenn ich noch Tips wegen der hashtabellen"größe" der rybka-native bekäme.
Vielen Dank

MfG Clemens Keck
Parent - - By Michael Hoeppenstein Date 2010-05-16 12:39
[quote="Clemens Keck"]
Die SMP Komodo-beta gibt es vorerst nur für linux.
[/quote]

Hallo Clemens,

als Linux-User (Ubuntu 10.04 64bit) wäre ich natürlich sehr interessiert an einem SMP-Komodo - ganz besonders an der 64-bit-Version! Kann ich am Beta-Test teilnehmen? Wo muss ich mich bewerben?

Gruß, Michael
Parent - - By Clemens Keck Date 2010-05-16 13:32
HAllo Michael

http://komodochess.com/pub/clients.html
Hier findest Du die Möglichkeit uns zu unterstützen(auch mit linux). Im Moment ist irgenein Fehler vorhanden denn es steht alles. Das ist aber sicher bald wieder behoben.
Es wird immer noch singlecore getestet.
Ob Don Dailey in den AutoTester auch SMP Versionen einbaut weis ich nicht. Wenn, dann sicher erst nach dem Turnier in Leiden.

Gruß, Clemens
Parent - By Michael Hoeppenstein Date 2010-05-16 14:49
Danke!
Parent - By Peter Behringer Date 2010-05-16 23:02
"Angezeigt werden 256 located, 240 free, huge pages size 2048 kb. 16 x 2 MB also. Somit komme ich scheinbar nicht über 32MB hinaus.
Im system werden für meine rybka ca 74MB angezeigt. Einstellen kann ich eigentlich was ich will , 256 512 1024...es ändert sich nichts.
Einträge in der sysctl.conf
kernel.shmmax = 268443648
vm.nr_hugepages = 256
Also noch klappt es nicht mit größeren hsahtabellen. Was tun??"

Gute Frage. Rybak 3 habe ich nicht - allerdings läuft/lief hier 2.3.2a mp öfter im 64-Bit-Betrieb per Konsole zum Analysieren, oder, aufgerufen von xboard, in div. Turnieren. Auf meinem Rechner existiert Dein Problem (Rybak genehmigt sich einen Bruchteil der eingestellten Hashgröße...so ca. 1/4 bei Deinem Quad) in ähnlicher Form: "top" zeigt bei zugewiesenen 2gb (gesamt) bei zwei Prozessoren auch zwei Instanzen mit -je- 2gb; tatsächlich werden aber nicht vier Gigabaitl, sondern nur die befohlenen usw. genommen: die Anzeige ist also falsch.

Wenn Du einen größeren Hashwert (Dein "kernel.shmmax = 268443648" läßt nur 256 mb zu) haben möchtest, dann mußt Du dies in die sysctl.conf schreiben (den passenden 'kernel.shmmax' erfährst Du per Start des Rybak in der Konsole - mit gewünschtem Hashwert: Konsole aufmachen; per $cd in den Ordner wechseln, in dem sich Rybak (das Ergebnis von 'cat' etc.) befindet; $./rybakbinary+Enter; jetzt 'setoption name Hash value 1024 (z.B.)+Enter eingeben: microwine im Binary liefert eine Fehlermeldung (Ganzzahl per copy+paste in die sysctl.conf schreiben+reboot zum Wirksamwerden).

Am Rande:

Rybka/Shredder als root laufen zu lassen ist doppelplusungut and not advised. Vielleicht daher besser so:
#chown root:root rybak-binary;chmod g+s rybak-binary

("#" bedeutet eine Rootshell) diese Befehle lassen Root zum Eigentümer von rybak-binary werden und/aber einen User (mit seinen eingeschränkten Rechten) diese mit Rootrechten aufrufen/ausführen.
Ob dies obskure Gebastel überhaupt notwendig ist, weiß ich nicht (da sich in der README von Microwine kein derartiger Hinweis findet) -  aber Du nutzt ja ohnehin Ubuntu (Rootaccount wäre da erstmal anzulegen) ...
Parent - - By Clemens Keck Date 2010-05-17 10:10
Hallo

Abschliessend nochmal Danke an alle.
Es klappt jetzt, hat wieder mal an den root Rechten gelegen. Rybka nutzt nun die huge pages in vollem Umfang.
Ich schätze den GeschwindigkeitsGewinn auf 10 - 15%.

MfG Clemens Keck
Parent - - By Ernest Bonnem Date 2010-05-17 19:45
[quote="Clemens Keck"]Rybka nutzt nun die huge pages in vollem Umfang.
Ich schätze den GeschwindigkeitsGewinn auf 10 - 15%. [/quote]
Hallo Clemens,
Kannst Du ein Beispiel geben?
Infinite Analysis auf der Start Stellung, mit nur 1 Prozessor (reproduzierbar).
Welcher Prozessor (und GHz) und Hash (ich hoffe 1 GB oder weniger, 2GB kann ich nicht )?
Wenn Core-i7, natürlich ohne Hyperthreading.
Gruß
Ernest
Parent - By Clemens Keck Date 2010-05-17 23:55
Hallo Ernest

ich habe ein paar Brettstellungen mit und ohne Nutzung der Huge Pages verglichen. Die KNs waren im Schnitt 10 - 15% höher aber da ich nur mit 6 cores gemessen habe ist der SMP Effekt ( ZufallsEffekt) natürlich da. Wonach man schon eher gehen kann ist die Zeit bis zum erreichen einer bestimmten Suchtiefe. Und die ist mit Huge Pages besser. In manchen stellungen wurde zB ply 20 fast 1 Minute früher erreicht.
Genauer hab ichs nicht gemessen, ich habe schon sehr viel Zeit mit der Installation verbracht und nun keine Lust mehr .

MfG Clemens
Up Topic Hauptforen / CSS-Forum / linux huge pages

Powered by mwForum 2.29.3 © 1999-2014 Markus Wichitill