Googles große URL Entindexierungswelle Verständnis und Auswirkungen

Im Februar 2024 bestätigte Google eine umfangreiche Entindexierung von URLs aus seinem Suchindex. Gary Illyes, ein bekanntes Gesicht bei Google, gab während der SERP Conf Mitte April bekannt, dass Google eine "riesige Menge von URLs" plötzlich aus dem Index entfernt hat. Diese Maßnahme wurde ergriffen, weil sich Googles "Wahrnehmung der Website geändert hat". Illyes erklärte, dass seit Februar eine deutliche Entindexierung von URLs auf Seiten stattgefunden habe, weil Google seine Sicht auf die betreffenden Webseiten geändert hat. Dies könne beispielsweise auf Qualitätsprobleme zurückzuführen sein. Wenn die Anzahl der in der Search Console angezeigten, gecrawlten, aber nicht indexierten URLs sehr hoch ist, könnte dies auf allgemeine Qualitätsprobleme der Webseite hinweisen. Er hat beobachtet, dass dies häufig vorkommt, insbesondere seit Februar, wo entschieden wurde, eine erhebliche Anzahl von URLs zu entindexieren, weil sich die Wahrnehmung der Webseite verändert hat. Des Weiteren erläuterte Illyes, dass die in der Search Console sichtbaren Daten auf den Informationen basieren, die durch Googles Indexierung, Ranking und Darstellung von Suchergebnissen generiert werden. Diese Daten werden so aufbereitet, dass sie für Menschen verständlich sind, da die Rohdaten für uns ohne diese Bearbeitung keinen Sinn machen würden. Gary Illyes erwähnte, dass nicht immer eine schlechte Qualität der Seite der Grund für die "gecrawlt, aber nicht indexiert" Fehlermeldungen sei. Oftmals könnten technische Probleme auf der Webseite dazu führen. Wenn also im Februar ein Anstieg dieser Fehlermeldungen in der Search Console festgestellt wurde, könnte dies mit Qualitätsproblemen der Webseite zusammenhängen. Im Februar gab es zudem eine Reihe von unbestätigten Updates bezüglich des Google-Suchrankings, bei denen viele SEOs über das Verschwinden ihrer Seiten aus dem Google-Suchindex klagten. Diese Tatsache unterstreicht die Bedeutung technischer Sauberkeit und hoher Qualität für Webseiten, um eine dauerhafte Indexierung und Sichtbarkeit in der Google-Suche zu gewährleisten. Aus einer anderen Perspektive gab Gary Illyes auf LinkedIn bekannt, dass die Google Search Console kaum Daten für deindizierte Seiten speichert. Dies liegt unter anderem daran, dass es auch eine Rolle spielen könnte, ob eine URL wieder zurückkommt, was jedoch weniger relevant ist. Diese Aussage erfolgte als Reaktion auf eine Beobachtung von Adam Gent, der feststellte, dass Google die kanonischen Daten (sowohl vom Nutzer ausgewählt als auch von Google ausgewählt) für Seiten, die indexiert waren und zu "gecrawlt - derzeit nicht indexiert" verschoben wurden, fallen lassen kann. Die Entindexierung von Seiten ist eine Maßnahme, die Google ergreift, wenn Websites gegen die Richtlinien verstoßen. Dies kann durch das Anwenden von manuellen Maßnahmen erfolgen, bei denen Webseiten komplett aus den Suchergebnissen entfernt werden. Seit dem 5. März wurden vermehrt solche Maßnahmen beobachtet, die im Rahmen eines Updates stattfanden, das darauf abzielt, "unhilfreiche Inhalte" um 40% zu reduzieren. Dieses Update begann mit einer signifikanten Runde manueller Maßnahmen gegen Webseiten, die zu einer vollständigen Entindexierung führten. Diese manuellen Maßnahmen erfolgten in Verbindung mit dem Update, waren jedoch von der Algorithmusaktualisierung, die über zwei bis vier Wochen ausgerollt wurde, getrennt. In einer Studie, die sich mit Webseiten befasste, die eine manuelle Maßnahme im März 2024 erfahren hatten, wurde festgestellt, dass 1.446 von 79.000 geprüften Webseiten eine solche Maßnahme erlebt hatten. Alle diese Webseiten hatten AI-generierte Beiträge, und bei der Hälfte der Seiten bestanden 90-100% der Beiträge aus AI-generiertem Inhalt. Die Ergebnisse dieser Studien und Beobachtungen zeigen, dass die Verwendung von AI-generierten Inhalten ein Faktor sein könnte, der zu den manuellen Maßnahmen und Entindexierungen beiträgt. Es scheint, dass Google Maßnahmen ergreift, um Inhalte zu bekämpfen, die durch die massenhafte Veröffentlichung von Spam entstehen, und dabei auch die Nutzung von AI zur Inhaltserstellung ins Visier nimmt. Die Herausforderung für Webseitenbetreiber und SEOs besteht nun darin, die Qualität ihrer Seiten hoch zu halten und sicherzustellen, dass die technische Umsetzung korrekt ist, um eine Entindexierung zu vermeiden. Es ist wichtig, dass Webseitenbetreiber die Richtlinien von Google beachten und ihre Inhalte so gestalten, dass sie Nutzern tatsächlich einen Mehrwert bieten. Die Entwicklungen rund um die Entindexierung von URLs und die Qualität von Inhalten bleiben ein kritischer Faktor für die Sichtbarkeit im Web und die Positionierung in den Suchmaschinenergebnissen. Insgesamt zeigt sich, dass die Entindexierung von URLs durch Google eine komplexe Thematik ist, die sowohl technische als auch inhaltliche Aspekte umfasst. Die Kommunikation seitens Google und die Beobachtungen von SEO-Experten bieten wichtige Anhaltspunkte dafür, wie Webseitenbetreiber ihre Strategien anpassen müssen, um den Anforderungen der Suchmaschine gerecht zu werden.