15. Dezember 2021

Die Suchmaschinen-Indexierung – was ist das und wie läuft eine Indexierung ab?

Was ist ein Suchmaschinen-Index?

Einen Suchmaschinen-Index kann man sich grob wie ein riesiges Verzeichnis von Websites und Dateien vorstellen. Klassische Verzeichnisse, wie etwa ein Telefonbuch, sind vergleichsweise simpel geordnet. Hinter dem Aufbau eines Suchmaschinen-Index hingegen stecken die unterschiedlichsten Kriterien – mittlerweile so viele, dass selbst die Suchmaschinenbetreiber nur noch schwer einen Überblick über alle Kriterien erlangen können. Für den Aufbau eines Index sind die sogenannten Crawler zuständig. Diese hangeln sich über Links von Website zu Website und entdecken somit immer wieder neue Seiten und Dokumente, die in das Verzeichnis aufgenommen werden können. Nur Websites, die im Index aufgenommen sind, landen später auch in den Suchergebnissen.

Ist deine Website indexiert? So findest du es heraus!

Die Indexierung von Websites ist für beide Seiten relevant, also sowohl für die Suchmaschine als auch für den Websitebetreiber. Denn nur wenn deine Website indexiert ist, kann diese auch von Suchmaschinennutzern gefunden werden und nur wenn die Suchmaschine relevante Seiten im Index hat, können auch für den Nutzer passende Suchergebnisse ausgespielt werden! Doch wie findest du heraus, ob deine Website oder eine bestimmte Unterseite indexiert ist? Dafür gibt es zwei einfache und schnelle Wege:

1. site:-Abfrage

Eine site:-Abfrage ist der einfachste Weg, um den Indexierungsstatus herauszufinden. Alles, was du dafür benötigst, ist deine Website-URL sowie eine Suchmaschine – in diesem Fall Google. Im Grundprinzip funktioniert eine site:-Abfrage wie eine normale Suche. Durch die Ergänzung des Parameters „site:“ kann gezielt nach einer bestimmten URL, wie z.B. „upshift-media.de“ gesucht werden. In den Suchergebnissen werden also tatsächlich nur Seiten ausgegeben, die zur angegebenen URL gehören. Bei einer normalen Suchanfrage würden hingegen auch Ergebnisse ausgegeben werden, die nicht unbedingt mit der gesuchten URL zusammenhängen.

Zudem kannst du eine site:-Abfrage um weitere Parameter ergänzen, um bspw. herauszufinden, welche Dokumente der Website im Index gelandet sind:

• site:upshift-media.de seo: Listet alle Unterseiten auf, die den Begriff „SEO“ enthalten.
• site:upshift-media.de inurl:seo: Listet alle Seiten unserer Website, die „SEO“ in der URL beinhalten.
• site:upshift-media.de intitle:seo: Listet alle Unterseiten auf, die den Begriff „SEO“ im Titel haben.
• site:upshift-media.de filetype:pdf: Listet alle PDF-Dateien einer Website auf, die im Index vorhanden sind. Anstelle von PDFs kannst du selbstverständlich auch nach anderen Dateitypen suchen.

2. Indexierung mithilfe der Google Search Console prüfen

Die Google Search Console (GSC) ist ein hauseigenes Tool von Google, welches von Websitebetreibern kostenlos genutzt werden kann – was ich dir ganz nebenbei auch dringendst ans Herz lege! Im Rahmen der Search Console kannst du einige hilfreiche Tools nutzen, die dir den Status deiner Website aus Google-Sicht zeigen. Dazu gehört auch eine Überprüfung des Indexierungsstatus deiner Website.

Dort kannst du zum einen Erkenntnisse über den gesamtheitlichen Indexierungsstatus deiner Website einsehen, aber auch nach spezifischen URLs suchen und diese prüfen. Diese Funktionen findest du im Bereich „Abdeckung“ in der GSC. Voraussetzung dafür ist, dass du deine Website in der GSC hinterlegt und verifiziert hast. Ist dies noch nicht geschehen, kannst du dies innerhalb von wenigen Minuten nachholen. Beachte dabei jedoch, dass Daten erst ab dem Zeitpunkt der Verifizierung gesammelt werden!

Wann und wie wird deine Website indexiert?

Vorweg sei gesagt, dass es grundsätzlich keine Garantie für eine Indexierung von Websites gibt. Solange du allerdings die Indexierung nicht aktiv verbietest oder gegen die Richtlinien der jeweiligen Suchmaschine verstößt, sollte einer Indexierung nichts im Wege stehen!

Du hast zwar prinzipiell die Möglichkeit dazu, aktiv etwas für die Indexierung deiner Seite zu tun – musst dies aber nicht. Über kurz oder lang wird eine Indexierung dank der fleißigen Suchmaschinen-Crawler automatisch stattfinden. Wieviel Zeit dies in Anspruch nimmt, kann pauschal nicht beantwortet werden. Von ein paar Minuten oder Stunden bis hin zu einem halben Jahr oder gar länger ist alles möglich. Eingehende Verlinkungen (Backlinks) zu deiner Seite beschleunigen in der Regel den Indexierungsprozess.

Du kannst allerdings auch aktiv werden und versuchen, Google bei der Indexierung deiner Website zu unterstützen. Im ersten Schritt empfehle ich dir dafür eine Sitemap anzulegen, die du im Anschluss auf deiner Domain hosten solltest. Die URL könnte dann bspw. folgendermaßen aussehen: upshift-media.de/sitemap.xml. Insofern du ein Content Management System, wie z.B. Wordpress nutzt, gibt es oftmals kostenfreie Plugins, die dir eine einfache Einrichtung einer Sitemap innerhalb weniger Minuten ermöglichen. Einige CMS erstellen sogar mittlerweile automatisch eine Sitemap beim Erstellen der Website. Zusätzlich solltest du deine Sitemap in der robots.txt Datei verlinken – der Datei, aus denen die Crawler alle wichtigen Informationen zum Crawling ziehen können. Auch eine robots.txt Datei kannst du ganz einfach per Plugin einrichten und ändern.

Ein großer Vorteil beim Hinterlegen einer Sitemap ist, dass dort alle URLs deiner Website aufgelistet und somit direkt ersichtlich für die Suchmaschinen sind. Zudem werden innerhalb der Sitemap die Zeitpunkte festgehalten, an denen Änderungen an einer Website vorgenommen wurden. Auch dies sind wichtige Informationen für Crawler.

Als weitere Maßnahme kannst du deine Sitemap auch in der bereits vorgestellten GSC einreichen. Dazu musst du im Menü der GSC einfach den Punkt „Sitemaps“ auswählen und dort den Pfad deiner Sitemap hinterlegen. Auch das Hinterlegen mehrerer Sitemaps ist möglich – hilfreich ist dies für umfangreichere Websites oder Websites, die in mehreren Sprachversionen vorliegen.

Neben dem Einreichen einer geballten Ladung an URLs in Form einer Sitemap, kannst du auch für einzelne URLs eine Indexierung in der GSC beantragen. Dies kann unter anderem für besonders wichtige oder auch neu hinzugekommene Seiten sinnvoll sein. Auch dieser Weg ist leider keine Garantie dafür, dass deine neue Seite schneller indexiert wird. Die Chancen stehen allerdings höher!

Zusammengefasst: Eine Möglichkeit, die Indexierung effektiv zu beschleunigen, gibt es nicht, hier ist immer Geduld gefragt. Trotzdem kannst du den Suchmaschinen auf die Sprünge helfen, indem du beispielsweise deine Sitemap hinterlegst, oder einzelne URLs einreichst. Noch ein abschließender Hinweis: Auch das mehrmalige Einreichen von Seiten verschafft dir keinen Vorteil und beschleunigt den Vorgang nicht!

Die Website wird auch nach langem Warten nicht indexiert – was tun?

Die Zeit, die für eine Indexierung ins Land gehen kann, kann stark variieren. Doch kein Grund panisch zu werden – hierbei ist eben etwas Geduld gefragt. Um mögliche Fehler jedoch von vornherein zu erkennen und beheben zu können, haben wir dir im Folgenden eine kurze Liste mit möglichen Problemquellen zusammengestellt!

Ist die Website erreichbar?

Klingt simpel, kann aber in manchen Fällen einiges erklären. Prüfe daher, bevor du auf die Barrikaden gehst, ob deine Website kompromisslos erreichbar ist. Sprich: Teste verschiedene Endgeräte und verschiedene Netzwerke. Welchen HTTP-Statuscode gibt deine Website zurück? Handelt es sich um einen 200er-Code, ist alles im Lot. Spätestens bei einem 400er-Code solltest du allerdings anfangen, dir Gedanken zu machen.

Deaktiviere Weiterleitungen

Es kann immer mal wieder vorkommen: Man hat eine Weiterleitung eingerichtet, die brav ihren Job macht – hat diese aber mit der Zeit vergessen. In diesem Fall wird die Seite, auf der die Weiterleitung stattfindet, nicht indexiert. Entferne also zunächst die Weiterleitung, dann sollte einer Indexierung nichts mehr im Wege stehen.

Checke deine Meta-Robots-Angaben

Mithilfe der Meta-Robots-Angaben kannst du den Suchmaschinen-Crawlern Anweisungen geben. Checke die Angaben daher unbedingt – findest du dort ein „noindex“ oder „none“, dann hast du das Problem gefunden. In diesem Fall wird nämlich eine Indexierung unterbunden. Wechsle am besten schnell zu „index“ und dein Problem sollte behoben sein!

Wohin zeigt das Canonical Tag der Seite?

Das Canonical Tag soll Suchmaschinen dabei helfen, mit Duplicate Content umzugehen. Das Tag einer Seite sollte also immer dorthin zeigen, wo der Originalinhalt zu finden ist – das ist in vielen Fällen also die Seite selbst. Verweist das Canonical Tag jedoch auf eine andere Seite, kann es durchaus passieren, dass diese Seite anstelle deiner gewünschten Zielseite indexiert wird.

Macht die robots.txt das, was sie soll?

Durch die robots.txt kann das Crawlen der Zielseite unterbunden werden, egal ob gewollt oder ungewollt. Tue dir und dem Crawler daher selbst einen Gefallen und erteile eine Crawling Erlaubnis für Seiten, die du gerne im Index hättest.

Fazit – Für die Indexierung deiner Website musst du Geduld mitbringen (zumindest in vielen Fällen)

Die Suchmaschine braucht mal wieder mehr Zeit für die Indexierung als dir lieb ist? Du hast jedoch potenzielle Fehler ausgeschlossen und die Seite ist problemlos crawlbar? Dann bleibt dir leider nichts anderes übrig, als noch etwas Geduld mitzubringen. Und falls es dir hilft: Mit dir warten garantiert noch zahlreiche andere Websitebetreiber auf die Indexierung ihrer Werke 😉