Apples KI-Scraping beansprucht keine wichtigen Plattformen

In einer separaten Analyse, die diese Woche durchgeführt wurde, stellte der Datenjournalist Ben Welsh fest, dass mehr als ein Viertel der von ihm untersuchten Nachrichten-Websites (294 von 1.167 hauptsächlich englischsprachigen US-Publikationen) Applebot-Extended blockieren. Im Vergleich dazu stellte Welsh fest, dass 53 Prozent der Nachrichten-Websites in seiner Stichprobe den OpenAI-Bot blockierten. Google hat im vergangenen September seinen eigenen KI-gestützten Bot, Google-Expanded, auf den Markt gebracht. Es wird von fast 43 Prozent der Websites blockiert, ein Hinweis darauf, dass Applebot-Extended möglicherweise immer noch unter dem Radar ist. Wie Welsh gegenüber WIRED erzählt, hat sich diese Zahl „allmählich verändert“, seit er angefangen hat, zuzuschauen.

Es gibt Walisisch Ein fortlaufendes Projekt Überwachung, wie Nachrichtenorganisationen auf wichtige KI-Agenten zugreifen. „Unter den Nachrichtenverlegern herrscht Uneinigkeit darüber, ob diese Bots blockiert werden sollen oder nicht“, sagt er. „Ich habe keine Antwort darauf, warum jede Nachrichtenorganisation die Entscheidung getroffen hat, die sie getroffen hat. Anscheinend können wir lesen, dass viele von ihnen Lizenzverträge abschließen, bei denen sie dafür bezahlt werden, dass sie Bots zulassen – vielleicht ist das ein Faktor.

Letztes Jahr, The New York Times gemeldet Apple versucht, KI-Deals mit Verlagen abzuschließen. Seitdem haben Konkurrenten wie OpenAI und Perplexity Partnerschaften mit verschiedenen Nachrichtenagenturen, sozialen Plattformen und anderen beliebten Websites angekündigt. „Viele der weltweit größten Verlage verfolgen eindeutig einen strategischen Ansatz“, sagt John Gillham, Gründer von Originality AI. „In einigen Fällen denke ich, dass es sich um eine Geschäftsstrategie handelt – etwa das Zurückhalten von Daten, bis eine Partnerschaftsvereinbarung vorliegt.“

Es gibt einige Beweise, die Gilhams Theorie stützen. Condé Nast-Websites verwenden beispielsweise OpenAI, um Webcrawler zu blockieren. Nachdem das Unternehmen letzte Woche eine Partnerschaft mit OpenAI bekannt gegeben hatte, entfernte es die Bots des Unternehmens. (Conté Nast lehnte es ab, sich zu der Aufzeichnung dieser Geschichte zu äußern.) Unterdessen erklärte Buzzfeed-Sprecherin Juliana Clifton gegenüber WIRED, dass das Unternehmen, das derzeit Applebot-Extended blockiert, jeden KI-Web-Crawling-Bot, den es identifizieren kann, bis hin zu seinem Besitzer, auf seine Sperre setzt Liste. Es ist eine Partnerschaft mit dem Unternehmen eingegangen, dem auch die Huffington Post gehört, das normalerweise die Kosten trägt.

Da robots.txt manuell bearbeitet werden muss und viele neue KI-Agenten eingeführt werden, kann es schwierig sein, eine aktuelle Sperrliste zu führen. „Die Leute wissen nicht, was sie blockieren sollen“, sagt Gavin King, Gründer von DarkVisitors. DarkVisitors bietet einen Freemium-Dienst an, der die robots.txt-Datei einer Kundenseite automatisch aktualisiert, und King sagt, dass Verlage aus Urheberrechtsgründen einen großen Teil seiner Kunden ausmachen.

Robots.txt mag wie das geheimnisvolle Gebiet von Webmastern erscheinen – aber da digitale Verlage im Zeitalter der KI immer wichtiger werden, ist es jetzt die Domäne von Medienmanagern. WIRED hat erfahren, dass zwei CEOs großer Medienunternehmen direkt entscheiden, welche Bots blockiert werden sollen.

Einige Verkaufsstellen blockieren KI-Scraping-Tools, weil sie derzeit keine Partnerschaften mit ihren Eigentümern haben. „Wir blockieren Applebot-enhanced in allen Bereichen von Vox Media und haben mehrere KI-Scraping-Tools eingesetzt, wenn wir keine kommerzielle Vereinbarung mit einer anderen Partei haben“, sagte Lauren Stark, Senior Vice President von Vox Media. Kommunikation. „Wir glauben daran, den Wert unserer veröffentlichten Arbeit zu schützen.“