KI-Training und Opt-out: So gestalten österreichische Webseiten den Zugriff von KI-Crawlern

Die KI-Servicestelle der RTR untersucht im Bericht „Text und Data Mining: Welche Botschaft senden österreichische Webseiten an KI-Anbieter?“ wie österreichische Webseiten Nutzungsvorbehalte gegenüber KI-Anbietern über das robots.txt-Protokoll signalisieren. Crawler können Webseiten automatisiert ansteuern und Daten sammeln. Damit Webseitenbetreiber eine Kontrolle über Zugriffe, deren Modalitäten und damit Nutzungsvorbehalte ausüben können, hat sich das robots.txt-Protokoll als de-facto Standard etabliert.

Die Analyse wurde am 29. Jänner im Rahmen eines Webinars präsentiert und basiert auf Auswertungen von mehr als 2,6 Millionen Webseiten im Zeitraum zwischen 2018 und 2025. Die Präsentation der Ergebnisse wurde durch Beiträge von Univ.-Prof. MMag. Dr. Philipp Homar und Mag.a Anita Zielina aus Sicht des Urheberrechts und der Medienwirtschaft ergänzt. Im Bericht ergänzen KI-Beirätin Dr.in Jeanette Gorzala sowie Univ.-Prof. MMag. Dr. Philipp Homar und Lukas Moormann, LL.M. (WU) in Gastbeiträgen die Daten um eine Einordnung vor dem Hintergrund des Urheberrechts und des AI Acts.

Im zweiten Halbjahr 2025 verfügen zumindest zwei Drittel aller österreichischen Webseiten, Medien- und Behördenseiten über eine robots.txt-Datei und senden so grundlegend verwertbare technische Signale an KI-Anbieter. Dabei zeigt sich: Mehr als drei Viertel der robots.txt-Dateien enthalten einheitliche Regeln für alle Crawler. Wo Webseiten jedoch differenzieren, rücken KI-Crawler seit 2023 deutlich stärker in den Fokus. Aktuell entfallen rund 7 Prozent aller Zugriffsbeschränkungen auf KI-bezogene Crawler. Besonders ausgeprägt ist diese Entwicklung im Medienbereich: 34 Prozent der Beschränkungen auf Medienwebseiten richten sich gezielt gegen KI-Crawler, häufig gegen Angebote von OpenAI, Anthropic oder Google.

Nutzungsvorbehalte treffen Crawler für das Training von KI-Modellen öfter als Crawler, welche Daten für KI-Suchmaschinen oder infolge von Anfragen von Nutzer:innen sammeln. Damit erfolgt gegenüber KI-Anbietern eine Differenzierung anhand des Nutzungszwecks der gesammelten Daten. Eine der Schwächen des robots.txt-Protokolls ist jedoch die Adressierung von KI-Anbietern mittels des Namens einzelner Crawler – unabhängig von der Nutzung der Daten für unterschiedliche Zwecke.

„KI ist eben nur so gut wie die Daten, die ihr zugrunde liegen. Anbieter von KI-Modellen betreiben dazu Text-und-Data-Mining. Wie jetzt und in Zukunft mit diesem ‚Datenschürfen‘ in den globalen ‚Datenbergwerken‘ umgegangen wird, ist gesellschaftlich, rechtlich und ökonomisch von großer Bedeutung“, führt Klaus M. Steinmaurer, Geschäftsführer der RTR für den Fachbereich Telekommunikation und Post, aus.

Für Medienhäuser ist der Umgang mit KI-Crawlern längst eine strategische Frage. Technische Expertise und einfache Zugänglichkeit werden zu Schlüsselfaktoren für die Branche. „Durch die Verschiebung des Traffics und der Veränderung der Geschäftsmodelle von Suchmaschinen hin zu Informationsanbietern geraten Medienhäuser nach dem Wegfall der Werbeinnahmen nun durch die Abgrabung der Inhalte noch mehr unter Druck. Durch den Aufbau nutzerorientierter Geschäftsmodelle kann der zunehmenden Machtverschiebung durch die Sicherung von journalistischem Mehrwert begegnet werden“, so Wolfgang Struber, Geschäftsführer der RTR für den Fachbereich Medien.

Seit 2025 ist auch ein neuer Trend erkennbar: Webseiten lassen KI-Crawler zunehmend explizit zu, etwa zur Steigerung der Sichtbarkeit oder im Rahmen individueller Vereinbarungen zwischen Webseitbetreibern und KI-Anbietern.

Vor dem Hintergrund des AI Acts und europäischer Diskussionen zur Entwicklung eines zentralen Registers für TDM-Nutzungsvorbehalte gibt der Bericht eine datengestützte Übersicht über die gegenwärtige Praxis in Österreich und beleuchtet technische, rechtliche und empirische Aspekte für zukünftige Regulierung.

Die Analyse ist auf der Website der KI-Servicestelle der RTR https://ki.rtr.at kostenlos abrufbar.

Über die KI-Servicestelle der RTR

Die im Frühjahr 2024 in der RTR eingerichtete Servicestelle für Künstliche Intelligenz dient einer breiten Öffentlichkeit als Ansprechpartnerin und Informationshub zum Thema KI. Sie unterstützt auch bei der Umsetzung des europäischen AI Act. Zu den Aufgaben der Servicestelle zählt unter anderem die Beratung der Öffentlichkeit, insbesondere in Bezug auf bereits eingesetzte KI in Hochrisikobereichen und Medien, sowie die Förderung des Wissensaufbaus und -austauschs zu KI durch Studien, Analysen und Fachveranstaltungen. Das Informationsangebot auf der Webseite der Servicestelle ki.rtr.at wird laufend erweitert.

Über die RTR

Die „Rundfunk und Telekom Regulierungs-GmbH“ (RTR) steht zu 100 Prozent im Eigentum des Bundes. Ihre Kernaufgaben sind die Förderung des Wettbewerbs auf dem Medien-, Telekommunikations- und Postmarkt sowie die Erreichung der im KommAustria- und Telekommunikationsgesetz definierten Ziele. Sie wird von zwei Geschäftsführern geleitet und ist in die beiden Fachbereiche „Telekommunikation und Post“ (Klaus M. Steinmaurer) sowie „Medien“ (Wolfgang Struber) gegliedert. Als Geschäftsstelle unterstützt sie die Kommunikationsbehörde Austria (KommAustria), die Telekom-Control-Kommission (TKK) und die Post-Control-Kommission (PCK). Weitere Informationen sind unter www.rtr.at veröffentlicht.