Bot-Schutz kann deine Seiten aus Google werfen
Es gibt ein technisches Problem das gerade unter dem Radar vieler Website-Betreiber läuft: Bot-Schutz-Mechanismen, die eigentlich Spam und schlechten Traffic abhalten sollen, können dazu führen dass Google die falsche Seite indexiert. Konkret passiert das, wenn ein CDN, ein Hosting-Anbieter oder eine Bot-Protection-Schicht Googlebot als verdächtigen Besucher einstuft und ihm statt des echten Inhalts eine 'Are you a bot?'-Seite ausliefert.
Das Tückische daran: Google bekommt eine gültige HTTP-Antwort. Kein 404, kein Fehler, kein Warnsignal. Der Crawler denkt, er hat den echten Inhalt geladen. Was er tatsächlich gespeichert hat, ist eine generische Interstitial-Seite, die auf tausenden anderen Websites genauso aussieht.
Genau hier wird es kritisch. Google erkennt diese identisch aussehenden Seiten als Duplikate. Es wählt eine davon als kanonische Version und stuft alle anderen als Duplikate ein. Das bedeutet: deine URL kann als Duplikat einer fremden Website markiert werden, die dieselbe Bot-Schutz-Seite zeigt. Dein echter Content fliegt raus.
Das Problem bleibt unsichtbar wenn du die Website selbst aufrufst. Als normaler Besucher siehst du deinen Content. Nur Googlebot bekommt die Schutzseite zu sehen. Ohne aktiven Blick in die Search Console fällt das wochenlang nicht auf.
1. Öffne die Google Search Console und gehe zum Bericht 'Seitenindexierung'. Filtere nach den Statuskategorien 'Doppelter Inhalt ohne ausgewählte kanonische URL' und 'Alternative Seite mit korrektem kanonischen Tag'. Wenn dort Seiten auftauchen die eigentlich Unique Content haben, ist das ein erstes Warnsignal.
2. Nutze das URL-Prüftool in der Search Console für deine wichtigsten Seiten. Schau dir an welche URL Google als kanonische Version ausgewählt hat. Wenn dort eine fremde Domain steht, hast du das Problem bestätigt.
3. Kontaktiere deinen CDN-Anbieter (z.B. Cloudflare, Fastly, Akamai) oder Hosting-Provider und frage explizit ob Googlebot in der Bot-Protection-Konfiguration als vertrauenswürdiger Crawler gewhitelistet ist. Googlebot-IPs lassen sich über die offizielle Google-Dokumentation verifizieren. Viele Anbieter haben dafür eine eigene Einstellung.
4. Nachdem die Konfiguration angepasst wurde: Nutze im URL-Prüftool die Funktion 'Indexierung beantragen' für die betroffenen Seiten. Alternativ kannst du über Search Console unter 'Sitemaps' eine Re-Crawl-Anfrage triggern. Google erkennt die Korrektur auch beim nächsten regulären Crawl, aber eine aktive Anfrage beschleunigt den Prozess.
5. Richte eine dauerhafte Überwachung ein: Prüfe monatlich im Indexierungsbericht ob neue Duplikat-Signale auftauchen. Wenn du Cloudflare nutzt, prüfe unter 'Security > Bots' ob der verifizierte Googlebot-Traffic korrekt durchgeleitet wird.
Original-Artikel auf Search Engine Journal:
“Are You A Bot” Screens Can Get Your Pages Dropped By Google via @sejournal, @MattGSouthern ↗Mehr lesen
Steht deine Website auch in ChatGPT?
Buch dir einen 15-Min Call — wir zeigen dir live wo deine Seite in Google + AI Search aktuell unsichtbar ist.