Applebot: eigener Webcrawler für Siri und Spotlight
Alexander Trust, den 6. Mai 2015
Apple hat offiziell bestätigt, dass es einen eigenen Webcrawler namens Applebot unterhält, der Daten für Siri und Spotlight sammelt.
Zuerst war „Applebot“ im Herbst 2014 aufgetaucht. Es wurde vermutet, dass das Unternehmen aus Cupertino womöglich in Konkurrenz zu Google eine eigene Suchmaschine eröffnen möchte. Nun hat Apple ein Support-Dokument veröffentlicht, in dem bestätigt wird, dass man einen eigenen Webcrawler namens „Applebot“ unterhält.
„Applebot is the web crawler for Apple, used by products including Siri and Spotlight Suggestions. It respects customary robots.txt rules and robots meta tags. It originates in the 17.0.0.0 net block.“
Warum nutzt Apple einen eigenen Webcrawler?
Der Beschreibung zufolge nutzt Apple den Applebot, um Siri und Spotlight mit Inhalten zu füttern und hält sich an die Regeln in der Datei „robots.txt“ mithilfe derer Webmaster Inhalte vor Webcrawlern aussperren können oder Robots-Metatags im Kopf von Webseiten. Sollten Webseitenbetreiber Applebot nicht explizit ausweisen, würde dieser sich an die Regeln halten, die für Googlebot angegeben sind.
Die Frage ist, warum? Denn grundsätzlich hat Apple Partnerschaften zum Beispiel mit Microsoft (Bing) oder Wolfram Alpha, um entsprechende Suchdaten in Siri auszugeben. Darüber hinaus lässt die Sprache im Support-Dokument den Schluss zu, dass Apple die Daten noch an anderer Stelle verwendet, denn es heißt lediglich „Produkte wie Siri und Spotlight“.