Lieber Herr Scheidl,
danke für die köstlichen zwei Pointen.

Ihr Ingo Althöfer.

Hallo Lars,

wie recht du doch mal wieder hast.
Ich hatte zu oberflächlich gedacht und nur die hälfte der tests, in denen die prüfer tatsächlich mit dem script kommunizierten, als grundmenge betrachtet.
Aber die andere hälfte der testläufe, bei denen ein mensch am anderen ende der leitung saß, muss natürlich mitgerechnet werden.
Ich hoffe nur, die veranstalter haben tatsächlich doppelt-blind getestet und waren nicht verliebt in das gelingen anlässlich des 60jährigen jubiläums.

Leider war es im übrigen ein trauriges jubiläum, denn Turing wurde im England der 40er und 50er jahre wegen seiner homosexualität systematisch, man meinte es zynischerweise therapeutisch, in den suizid getrieben.
Rehabilitiert wurde er leider spät, viel zu spät.

Viele grüße
Horst

> riete man, käme eine mittlere Trefferquote von 25% heraus.

Wenn hinter der Wand ein Computer und ein Mensch 'sitzt', und ich rate "Das da ist der Mensch ", dann hat doch jeder den Erwartungswert 50%, als Mensch bezeichnet zu werden.
Oder anders gesagt:
Auch wenn da eine perfekte Mensch-Maschine sitzt, hat sie nur diesen Erwartungswert 50%.
Damit solche Maschienen dann auch wirklich mit guter Wahrscheinlichkeit erkannt werden, braucht es einen Schwellwert kleiner als 50%.
Vielleicht wäre  ja 40% besser statt 30%
=> wenige 'perfekte Mensch-Maschinen' würden auch mal durchfallen
      aber wer als 'menschlich' durchkommt, ist dies mit hoher Wahrscheinlichkeit auch wirklich.

Benno

Hallo Lars,

im zweifelsfall sollte man wohl stets die originalquelle heranziehen, die ich nun herausgesucht habe:

http://www.reading.ac.uk/news-and-events/releases/PR583836.aspx

1. Simultaneous tests as specified by Alan Turing
2. Each judge was involved in five parallel tests - so 10 conversations
3. 30 judges took part
4. In total 300 conversations
5. In each five minutes a judge was communicating with both a human and a machine
6. Each of the five machines took part in 30 tests
7. To ensure accuracy of results, Test was independently adjudicated by Professor John Barnden, University of Birmingham, formerly head of British AI Society

Wenn ich es recht verstehe, haben 30 juroren jeweils fünf parallele unterhaltungen mit jeweils zwei gesprächspartnern geführt, wobei stets einer ein mensch und der andere ein script war (siehe 5.).
Nie also kam es zu paarungen mensch gegen mensch und maschine gegen maschine. Das wären die testbedingungen gewesen, die ich mit dem begriff doppelt-blind ausdrücken wollte.

Wenn ich also als tester nur entscheiden muss, der mensch sitzt rechts oder links, der andere ist ein bot, dann liegt die wahrscheinlichkeit beim raten doch bei 50%, oder irre ich mich da total?
Auf 25% wahrscheinlichkeit käme ich dann, wenn auch beurteilungen wie "Das waren beides menschen/maschinen!" möglich gewesen wären.

Umgekehrt würde ich eine erfolgsrate von 33% so interpretieren, dass von den 30 bewertern exakt zehn(!) das programm "Eugene" für einen menschlichen gesprächspartner gehalten haben, die anderen zwanzig haben sich nicht täuschen lassen. Das empfinde ich nicht als "test bestanden".
Und hängt dieses ergebnis nicht auch ganz stark von der qualität der interviewten menschen ab? Wie hoch lag deren intelligenz?

Erst jetzt wurde mir überigens bewusst, dass Turing erst vor gut sechs monaten (24.12.2013) per "Royal Pardon" rehabilitiert wurde. Irgendwie hatte ich die meldung darüber in meiner erinnerung weiter in die vergangenheit verschoben.

Um kompetente denkunterstützung wird gebeten!
Viele grüße
Horst

Der größte Kritikpunkt ist der,  dass der Bot als 13 Jähriger ukrainischer (!!)  Junge ausgegeben wurde.  Dass ein solcher ausländischer Jugendlicher bei z.B. Redewendungen und komplexeren Sachverhalten auf englisch ungewöhnliche/unlogische Antworten gegeben hat/ haben könnte,  wurde offensichtlich von den Fragestellern als normal betrachtet.