Zu diesem Thema, weil es ohnehin nicht enden will, noch ein Beispiel aus dem jüngsten talkchess talk.
http://www.talkchess.com/forum/viewtopic.php?topic_view=threads&p=343302&t=33897
Eelco macht da wirklich auch für die Nichtprogrammierer unter den usern interessante Untersuchungen an Stockfish 1.7.

Und weil es gerade so sportlich in diesem thread zugeht:
Ich würde derartige Tests einfach auch in diesem get real sense mindestens ebenso spannend und relevant im Einfachnurgewinnenwollensinn finden.
Anhand einer einzelnen Stellung und dem engine- output über den Zeitverlauf die Veränderung einzelner Parameter oder code- sequenzen, von denen sich auch ein Nichtprogrammierer vom Programmierer erklären lassen kann, was sie repräsentieren und bewirken,
die Auswirkungen auf die Suche so einfach, reproduzierbar und sinnvoll wie nur möglich, testen.
Wie will der Programmierer derartiges aus den Statistiken von noch so vielen Partien herauslesen? Natürlich muss es ihn dann, in der zweiten Phase auch interessieren, wie schneidet die Neuerung jetzt im match gegen die andere Version ab, aber zuerst sollte doch das kausale Denken kommen.

Nicht um wieder die alte Debatte neu aufzuwärmen, nur um zu zeigen, was ich mir unter Testmethoden als echte Ergänzung und Alternative zu Ranglisten vorstelle, natürlich mit ganz anderer Fragestellung.

Mit Gewinnenwollen hat das allemal auch sehr viel zu tun, darüberhinaus aber auch mit wissenschaftlicher Weiterentwicklung.
Schließlich denkt man als Mensch, gerade um zu Lernen, an einer Stellung, einer Studie, einem Lehrbeispiel auch nicht nur mit der Frage, wer kann's mit was für erlaubten Hilfsmitteln am schnellsten.

Würden, um zu deinem Beispiel vom Auto zurückzukommen, die Entwicklungen der engines dort auch nur auf der Rennbahn gegen die anderen halbfertigen Vehikel getestet, na danke.
Da ging's dann weniger um's Gewinnen als um's nackte Überleben.