KI-Crawler steuern: 31 Bots, eine Matrix

AI search → Crawlers listet 31 benannte KI-Crawler — von OpenAI (GPTBot, OAI-SearchBot), Anthropic (ClaudeBot), Google (Google-Extended), Perplexity, Apple, Meta, ByteDance, Baidu, Alibaba und weiteren — jeder mit einem Erlauben/Blockieren-Schalter. Die Regeln landen in Ihrer robots.txt; alles andere in der Datei bleibt unangetastet.

Erlauben oder blockieren?

Einen Trainings-Crawler zu blockieren hält Ihre Inhalte aus künftigem Modelltraining heraus — aber auch aus den Assistenten-Funktionen, die darauf aufbauen. Einen Such-Crawler zu blockieren (etwa OAI-SearchBot) entfernt Sie aus den Live-Antworten dieses Assistenten — meist das Gegenteil dessen, was ein Unternehmen will. Das Panel erklärt pro Bot, was er speist, damit die Entscheidung informiert fällt statt ängstlich.

Das Zugriffsprotokoll

Das Protokoll hält fest, welche KI-Bots tatsächlich Seiten abgerufen haben, pro Tag, mit dem zuletzt gesehenen Pfad. Es beantwortet die Frage, die die Schalter aufwerfen: Kommt überhaupt jemand? Zugriffe eines blockierten Bots zeigen, dass der Block greift; ein erlaubter Bot, der nie kommt, zeigt, wo Sichtbarkeitsarbeit noch aussteht.