Google-Suchergebnisse auf dem Eyetracking-Prüfstand: Wohin wandert das Auge?
Alexander Trust, den 13. April 2012
In Angedenk an einen Schlager möchte ich anstimmen: Ja ja, jetzt wird wieder in die Hände gespuckt, denn ich steigere das Mecker-Sozialprodukt. Gretus hat im Blog von SeoUnited (un)glücklicherweise auf eine Bachelorarbeit von Hendrik Terbeck hingewiesen, der für die Arbeit ausgezeichnet wurde, in der er mittels Befragungen und Eyetracking versucht hat, herauszufinden, welchen Einfluss Elemente von Social Networks (im Speziellen der Google-Plus-Button) auf die Wahrnehmung von Suchergebnissen bei Google hat.
Zunächst: Großes Lob gilt dem Autor der Bachelorarbeit, der dafür ziemlich viel Aufwand betrieben hat, aber wahrscheinlich auch sehr interessiert an dem Thema war.
Die Verantwortung der Blogger?
Gibt es in der Bachelorarbeit Informationen über die Zusammensetzung der Probanden? Ja, die gibt es. Das ganze Kapitel 4 befasst sich mit diesen und weiteren Infos zum Versuchsaufbau und der Methodik. Da die Arbeit ja ausgezeichnet wurde, kann man davon ausgehen, dass solche Informationen enthalten waren, oder? Weil nur das akademisch korrekt ist. Drum ist es schad, dass von Gretus nicht darauf hingewiesen wird.
Nicht repräsentativ!
Jetzt aber die wichtigste Kritik: Der Autor der Bachelorarbeit selbst, Hendrik Terbeck, macht diverse Einschränkungen. Auf S. 39 bspw. schreibt er von einer „nicht-repräsentativen Stichprobe„, die sich zudem „nicht exakt paritätisch“ zusammensetzt. Letzteres bedeutet, dass man es nicht geschafft hat, die Versuchs- und die Kontrollgruppe analog zusammenzustellen. Entsprechend sind die Ergebnisse in jedem Fall nicht eindeutig.
Dazu kommt ein Bias, weil manche der Probanden gar keine Sozialen Netzwerke nutzen/und oder kennen, und entsprechend der in der Arbeit dargestellte Zusammenhang nicht (ganz) eindeutig festgestellt werden kann. Es gibt, und da wird mir der Hendrik sicher zustimmen, einen ganz simplen Grund, warum man „als Student“ eigentlich nie in der Lage ist, überhaupt repräsentativ zu forschen: Man ist auf die Hilfe anderer angewiesen. Man kann sich die Probanden nicht aussuchen und zumeist hat man dann ein Übergewicht einer Alterskohorte, die sich eben aus dem Studierendenumfeld rekrutieren. Dass viele Dinge, auch die Herkunft, der Intellekt oder auch das Geschlecht, Alter oder die Fitness und Gesundheit, ja selbst ob man als Frau zum Beispiel gerade die Regel hat oder nicht, einen Einfluss auf Versuchsergebnisse haben kann, karikiert so etwas dann schnell.
Der Hendrik selbst verwendet in seiner Arbeit Vokabeln wie „mutmaßlich“ und gibt an, dass die Stichprobe „nicht“ mal an die „empfohlene Anzahl“ von Probanden heranreicht, weil das mit einem Mehraufwand verbunden gewesen wäre. Es ist verständlich, dass jemand, der in seiner Bachelorarbeit sowieso schon mehr gemacht hat als andere in ihrer Doktorarbeit, so eine Aussage tätigt. Das ist nur recht und billig. Nur deshalb muss man als Außenstehender aber gerade auf den Autor hören, wenn er uns selbst schon an vielen Stellen seiner Arbeit mit Einschränkungen begegnet.
Nur ER war sich auch im Klaren darüber, welche Tragweite seine Ergebnisse haben. Wenn aber nun in seinem SEO-Blog einzelne Tabellen und Diagramme veröffentlicht werden, und dort dann so getan wird, dass man auch nur irgendetwas daraus ableiten könnte, dann muss ich sagen, sollen wohl die Leser am Ende Glauben der Liter Benzin kostet 5 Euro und die Grünen sind daran Schuld. Wir wissen alle, dass das Anfang 2000 nicht stimmte, als die Schlagzeile in der BILD stand, und heute genauso wenig.
Zum Abschluss möchte ich dann noch etwas Versöhnliches sagen: Ich glaube der Gretus hat es „nur gut“ gemeint.