BING doch nicht so gut wie Microsoft behauptet?
Alexander Trust, den 3. Oktober 2013
Ist BING am Ende doch nicht so gut, wie Microsoft behauptet? Versuche an der Yale Law School sollen die Werbeversprechen von Microsoft zurechtrücken.
Ian Ayres, Professor für Recht und Wirtschaft, hat mit Studenten an der Yale Law School Versuche durchgeführt, die Microsofts Behauptung in der BING-Werbung vermeintlich korrigieren, BING würde doppelt so häufig zufriedenstellende Ergebnisse liefern wie Google.
BING nicht besser als Google?
Diese Ergebnisse fielen anders aus als diejenigen von Microsoft selbst. Man variierte die Versuchsanordnung und kam zu abweichenden Ergebnissen. Unterm Strich wurde festgestellt, dass 53 Prozent der Teilnehmer Google bevorzugten und 41 Prozent Bing. 6 Prozent waren unentschieden.
Es wurde ebenfalls ein Unterschied festgestellt, je nachdem, ob man die von BING vorgeschlagenen Suchwörter, populäre Suchwörter oder selbst vorgeschlagene Suchwörter verwendete. Bei den populären Suchwörtern und bei den selbst ausgewählten konnte Google im Schnitt besser abschneiden. Doch selbst bei den von BING vorgeschlagenen Suchen für die Aktion BING IT ON, erreichte die Suchmaschine von Microsoft nicht das vom Hersteller propagierte Verhältnis von 2 zu 1.
Versuchsanordnung
Ayres hat zusammen mit vier Studenten und mithilfe von Amazons Mechanical Turk 1000 Personen befragen lassen. Nach wissenschaftlichen Kriterien ist deshalb die Motivation ein problematischer Faktor, weil die Teilnehmer für das Ausführen von Suche und Beantwortung von Fragebogen explizit bezahlt wurden. Zum anderen ist die Studie nicht repräsentativ, in dem Sinn, dass die Klientel bei Mechanical Turk nicht einem gesellschaftlichen Durchschnitt entspricht, sondern meist männlich ist und als technisch affin gelten kann. Auch wurden die knapp 1000 Testpersonen teils mit variierenden Aufgaben konfrontiert, so dass die Prüfgruppen relativ überschaubar bei lediglich rund 330 Personen lagen. Um valide Aussagen treffen zu können ist es wichtig, die Gruppen möglichst groß und möglichst als Schnitt der Gesellschaft zu wählen.
Darüber hinaus aber zeigt der Versuch, dass es durchaus lohnt, Studien und Versuche auf die Art zu überprüfen.
Microsoft ließ bereits in Person von Matt Wallaert mitteilen, dass die Ergebnisse von Ayres von einem falschen Verständnis einerseits der „BING IT ON“-Herausforderung ausgingen und andererseits der Wissenschaftler die Behauptungen Microsofts fehlinterpretiert habe. Zudem fühle man sich durch die sukzessive Steigerung der eigenen Marktanteile auch in seiner Behauptung bestärkt.
Eine Zusammenfassung der Untersuchung von Ian Ayres ist online als PDF verfügbar.
Wie schaut es bei euch aus? Nutzt ihr Google? Bing? Beides?