Crawler: Was bei der Indexierung einer Seite zu beachten ist

Aktualisiert am 8. Oktober 2026 von Nicolas Finet, CEO von Sortlist. Neu sind eine präzisere Einordnung des Crawl-Budgets, aktuelle Regeln für robots.txt, Canonicals und Sitemaps sowie eine konkrete Prüfroutine für nicht indexierte Seiten.

Was Websitebetreiber 2026 beachten sollten

Google bestimmt den Crawling-Bedarf unter anderem anhand von Aktualität, Seitenqualität, Relevanz und Bekanntheit einer URL. Neue oder substanziell überarbeitete Inhalte können deshalb häufiger abgerufen werden; ein bloß geändertes Datum ist dagegen kein belastbares Aktualitätssignal. Google berücksichtigt das <lastmod>-Datum einer Sitemap nur, wenn es nachweisbar mit wesentlichen Änderungen am Inhalt, an strukturierten Daten oder an Links übereinstimmt.

Ebenso wichtig ist die Auffindbarkeit: Jede relevante Seite sollte über mindestens einen crawlbaren internen Link erreichbar sein. Google empfiehlt dafür ein echtes <a>-Element mit href-Attribut. Eine flache Informationsarchitektur, verständliche Linktexte und Themencluster ergänzen die Maßnahmen aus unserem Leitfaden zur On-Page-SEO.

Crawling, Indexierung und Kanonisierung im Vergleich

Steuerung	Hauptzweck	Auswirkung auf das Crawling	Auswirkung auf den Index
robots.txt	Zugriff auf URL-Bereiche steuern	Kann das Abrufen blockieren	Entfernt eine bereits bekannte URL nicht zuverlässig aus den Suchergebnissen
noindex	Seite aus dem Suchindex ausschließen	Die Seite muss abrufbar bleiben, damit Google die Anweisung lesen kann	Verhindert beziehungsweise beendet die Indexierung nach erneuter Verarbeitung
rel="canonical"	Bevorzugte Version ähnlicher Inhalte angeben	Duplikate können weiterhin geprüft, meist aber seltener gecrawlt werden	Ist ein starkes Signal, jedoch keine zwingende Anweisung
XML-Sitemap	Kanonische, neue oder geänderte URLs melden	Unterstützt die Entdeckung und Priorisierung	Garantiert weder Indexierung noch Ranking
404 oder 410	Dauerhaft entfernte Inhalte kennzeichnen	Ist ein starkes Signal, die URL künftig seltener abzurufen	Die URL wird nach erneuter Verarbeitung aus dem Index entfernt

Weitere Grundlagen zur technischen Umsetzung finden Sie in unseren Beiträgen über technisches SEO, eine verständliche URL-Struktur und strukturierte Daten.

Crawl-Budget: Diese Größenordnungen nennt Google

• Mehr als 1 Million URLs: Googles erweitertes Crawl-Budget-Handbuch richtet sich unter anderem an Websites dieser Größe, wenn sich Inhalte ungefähr einmal pro Woche ändern.
• Mehr als 10.000 URLs: Auch mittelgroße Websites können betroffen sein, wenn sich ihre Inhalte täglich sehr schnell verändern.
• 50.000 URLs: Das ist die Obergrenze für eine einzelne Sitemap.
• 50 MB unkomprimiert: Größere Sitemap-Dateien müssen unabhängig von der Zahl ihrer URLs aufgeteilt werden.

Diese Werte sind Orientierungsgrößen und keine garantierten Schwellen. Google erklärt ausdrücklich, dass für Websites ohne viele schnell wechselnde Seiten in der Regel eine aktuelle Sitemap und die regelmäßige Kontrolle des Seitenindexierungsberichts genügen. Details finden Sie im aktualisierten Google-Handbuch zum Crawl-Budget und in den Vorgaben für große Sitemaps.

Praxisstimme: Auffindbarkeit vor Indexierungsanfrage

Ein Crawler kann nur Inhalte indexieren, die er findet. Prüfen Sie deshalb zuerst Hierarchie und interne Links, bevor Sie einzelne URLs wiederholt zur Indexierung einreichen.

Praxisempfehlung nach morefire, „Crawling und Indexierung von Webseiten“, 27. Juli 2026

Die Empfehlung deckt sich mit Googles Linkrichtlinien: Jede wichtige Seite sollte von mindestens einer anderen Seite aus verlinkt sein. Eine ausführliche Einordnung bietet der Beitrag von morefire zu Crawling und Indexierung.

Prüfroutine für eine nicht indexierte Seite

1. HTTP-Status prüfen: Die Ziel-URL sollte für eine reguläre Inhaltsseite mit 200 antworten. Beseitigen Sie Weiterleitungsketten, Serverfehler und Soft-404-Seiten.
2. Crawling erlauben: Kontrollieren Sie, ob robots.txt den Googlebot blockiert. Wichtige CSS- oder JavaScript-Ressourcen sollten ebenfalls abrufbar sein, wenn sie zum Verständnis der Seite benötigt werden.
3. Indexierung erlauben: Suchen Sie im HTML und im HTTP-Header nach einem unbeabsichtigten noindex.
4. Canonical abgleichen: Selbstreferenzierendes Canonical, interne Links und Sitemap sollten dieselbe bevorzugte URL nennen. Google kann dennoch eine andere kanonische URL auswählen.
5. Interne Verlinkung testen: Stellen Sie sicher, dass die URL über normale HTML-Links mit href erreichbar ist und nicht ausschließlich durch eine JavaScript-Aktion geöffnet wird.
6. Inhalt bewerten: Prüfen Sie, ob die Seite einen eigenständigen Nutzen bietet oder weitgehend einer bereits indexierten URL entspricht.
7. Search Console verwenden: Testen Sie die Live-URL im URL-Prüftool. Für wenige geänderte URLs können Sie dort ein erneutes Crawling anfordern; für viele URLs ist eine Sitemap vorgesehen.

Mehrfache Anfragen für dieselbe URL beschleunigen das Crawling nicht. Google weist außerdem darauf hin, dass eine Anfrage weder den Abruf noch die Aufnahme in die Suchergebnisse garantiert. Die aktuelle Anleitung finden Sie bei Google Search Central.

Häufige Fragen zu Crawling und Indexierung

Wie lange dauert es, bis Google eine neue Seite indexiert?

Google nennt keine garantierte Frist. Nach einer Crawling-Anfrage kann die Verarbeitung einige Tage bis mehrere Wochen dauern; manche URLs werden trotz Abruf nicht indexiert. Kontrollieren Sie den Status im URL-Prüftool und im Bericht zur Seitenindexierung.

Kann ich eine Seite mit robots.txt aus den Suchergebnissen entfernen?

Nicht zuverlässig. Eine blockierte URL kann weiterhin ohne Beschreibung in den Suchergebnissen erscheinen, wenn Google sie über andere Links kennt. Soll die Seite nicht indexiert werden, muss der Crawler sie abrufen und ein noindex lesen können; vertrauliche Inhalte gehören hinter eine Zugriffskontrolle. Google erläutert diese Abgrenzung in seinem Leitfaden zu robots.txt.

Garantiert eine XML-Sitemap die Indexierung?

Nein. Eine Sitemap hilft Google beim Entdecken und Priorisieren von URLs, ist aber nur ein Hinweis. Nehmen Sie ausschließlich kanonische, indexierbare URLs auf und setzen Sie <lastmod> nur bei einer wesentlichen Änderung korrekt.

Muss jede Website ihr Crawl-Budget optimieren?

Nein. Das Thema wird insbesondere bei sehr großen, häufig aktualisierten Websites oder bei vielen als „Gefunden – zurzeit nicht indexiert“ gemeldeten URLs relevant. Kleinere Websites sollten zuerst technische Fehler, Duplikate, Sitemap-Qualität und interne Verlinkung prüfen.

Warum wählt Google trotz Canonical eine andere URL?

Ein Canonical ist ein starkes Signal, aber keine verbindliche Anweisung. Widersprüchliche Weiterleitungen, interne Links oder Sitemap-Einträge können eine andere Auswahl begünstigen. Google beschreibt Weiterleitungen und Canonical-Tags als starke Signale, die Sitemap dagegen als schwächeres Signal.

Wenn Sie technische Hindernisse, Informationsarchitektur und Inhalte gemeinsam prüfen lassen möchten, können Sie Ihr SEO-Projekt bei Sortlist beschreiben.

---

Eine Website zu haben ist heute eine Notwendigkeit, aber nicht genug. Wenn Sie erfolgreich sein wollen, müssen Sie Crawler auf Ihre Seite bringen, um Traffic zu generieren.

Konkret bedeutet Crawling, dass Sie Ihre Website in Suchmaschinen indexieren, um mehr Sichtbarkeit zu erlangen.

In diesem Artikel erklären wir den gesamten Crawling-Prozess, den Google verwendet.

Wenn Sie das Crawling verstehen, d. h. den Prozess, den Suchmaschinen nutzen, um Wörter aus Webseiten zu extrahieren und zu bewerten, wird Ihnen das helfen, Ihre Website zu optimieren und sich in den Suchmaschinenergebnissen gut zu positionieren.

Was ist ein Crawler bzw. was ist Crawling?

Wenn Sie eine Suche in Google durchführen, hat die Suchmaschine das Ziel, Ihnen die relevantesten Ergebnisse zu liefern. 

Um dies zu erreichen, muss die Suchmaschine den Inhalt von Websites analysieren, die wichtigsten Informationen herausfiltern und entscheiden, wie sie diese auf den Ergebnisseiten platzieren will. Dies wird als Google Crawl, Web Crawling, Suchmaschinen-Crawling oder allgemeiner als Crawling bezeichnet. 

Crawling ist also ein Prozess, bei dem Websites gecrawlt werden, um sie nach ihrer Relevanz zu klassifizieren.

Dafür sind die Google-Crawler oder Indexroboter zuständig. Sie extrahieren und bewerten die Wörter auf den Webseiten, um ihre Relevanz für Ihre Suchanfrage zu bestimmen.

Es gibt zwei Phasen im Crawling-Prozess, die Ihre Webseite betreffen werden:

1. Die Crawl-Phase, wenn die Crawler Daten von Ihren Webseiten sammeln.
2. Die Indexierungsphase, wenn die Google-Crawler die Ergebnisse nach den von ihnen gesammelten Daten organisieren.

Ihr Ziel ist es, die Wörter aus den Websites zu extrahieren und zu bewerten, um die Suchanfragen der Internetnutzer beantworten zu können.

Erst wenn diese Indexierungsphase abgeschlossen ist, können die Suchmaschinen Ihre Website in ihren Ergebnissen anzeigen. Natürlich wird Ihre Website für die Suchanfragen angezeigt, die mit den Daten übereinstimmen, die die Crawler auf Ihren Seiten gesammelt haben.

Für das Crawling in Suchmaschinen sind also zwei Dinge wichtig:

1. Sorgen Sie dafür, dass die Webcrawler die Seiten Ihrer Website regelmäßig besuchen, um Ihr Ranking aufrechtzuerhalten.
2. Optimieren Sie Ihren Inhalt für die Keywords, die Sie anstreben.

Um dies zu erreichen, sollten Sie mit einer SEO-Agentur zusammenarbeiten.

Sie kann Ihnen bei der Recherche nach Keywords, bei Ihrer Content-Strategie und bei der Optimierung Ihrer Website helfen, um den Crawling-Prozess zu Ihrem Vorteil zu nutzen.

Wie laden Sie Crawler auf Ihre Website ein?

Wie bereits erläutert, analysieren Crawler Ihre Website, um die Keywords zu ermitteln, für die Ihr Inhalt relevant ist.

Um also in den Suchergebnissen gut positioniert zu sein und die Vorteile des Webcrawlings zu nutzen, muss Ihre Website viel Inhalt haben, der für die Suchbegriffe optimiert ist, die mit Ihrem Unternehmen in Verbindung stehen.

Das ist logisch, da Crawler Wörter aus Websites extrahieren und bewerten, um auf die Suchanfragen von Internetnutzern antworten zu können.

Sorgen Sie also dafür, dass Sie Inhalte haben, die mit Ihrem Unternehmen in Verbindung stehen. Damit können Sie Traffic generieren und neue Kunden gewinnen.

Achtung: Crawling darf nicht mit Scraping verwechselt werden. Letzteres ist eine Black-Hat-SEO-Taktik, die zur Anwendung kommt, um Ihnen zu schaden.

Der Zweck des Crawlings für Google

Wie bei jedem Produkt oder jeder Dienstleistung wird es Ihr Ziel sein, sich von der Masse abzuheben, indem Sie einzigartige, qualitative und optimierte Webseiten anbieten. Genau dieses Ziel verfolgt auch Google.

Um Internetnutzer dazu zu bewegen, weiterhin diese Suchmaschine und nicht eine andere zu verwenden, muss sich der Dienst durch relevante Ergebnisse von der Masse abheben. Um es anders auszudrücken: Die Suchmaschine mit den besten Ergebnissen zieht die meisten Internetnutzer an.

Wenn Sie also sehr gute Inhalte anbieten, ist es wahrscheinlicher, dass Sie in den Suchergebnissen gut platziert sind. Die Webcrawler werden Ihre Webseiten also regelmäßiger besuchen, wenn diese aktuell sind und neue Inhalte bieten, die leicht zu indexieren sind.

Achten Sie auf das Crawl-Budget!

Für den Fall, dass eine Website mehrere hundert oder sogar tausend Seiten anbietet, legt die Suchmaschine ein „Crawl-Budget“ fest. 

Das Crawl-Budget entspricht der Anzahl der Seiten einer Website, die die Crawler besuchen und indexieren werden. Da Crawler Hunderte von Milliarden Seiten indexieren müssen, ist es logisch, dass ihre Zeit für den Besuch jeder einzelnen Webseite begrenzt ist.

Wenn Ihre Website also sehr viele Seiten hat, nehmen Sie sich die Zeit, um zu sortieren. Können Seiten gelöscht oder zusammengelegt werden?

Bestimmen Sie, welche Webseiten vorrangig analysiert werden sollen. Wohin sollen die Crawler kommen, um die Wörter aus den Webseiten Ihrer Website zu extrahieren und zu bewerten?

Beantragen Sie eine Indexierung bei Google

Schließlich können Sie eine Webindexierung bei Google auch manuell beantragen.

Um eine Google-Indexierung zu beantragen, gehen Sie in die Google Search Console und tun Folgendes:

• Gehen Sie auf den Tab „URL Inspection“,
• Geben Sie Ihre URL in die Suchleiste der Google Search Console ein,
• Klicken Sie auf die Schaltfläche „Request Indexing“

Nehmen Sie sich die Zeit, diesen Vorgang jedes Mal zu wiederholen, wenn Sie Ihre Inhalte aktualisieren. So gehen Sie sicher, dass Ihre Seiten stets von Google berücksichtigt werden. Wenn Sie dabei Unterstützung benötigen, könnte eine erfahrene Webdesign Agentur Ihnen helfen.

Wie können Sie Ihre Webseiten für Crawler optimieren?

Verstehen Sie die Crawler und den Suchindex

Um in den Suchmaschinen gut positioniert zu sein, müssen die Crawler Ihre Website regelmäßig besuchen. Dazu müssen Sie einzigartige Inhalte anbieten, die sich auf Keywords konzentrieren, die mit Ihrem Unternehmen in Verbindung stehen, und die leicht indexiert werden können.

Was das bedeutet, ist, dass Crawler die Struktur Ihrer Webseiten und worum es auf ihnen geht, leicht verstehen müssen.

Bitte verstehen Sie, dass Crawler Informationen nicht wie Menschen lesen. Wenn ein Crawler eine Webseite analysiert, analysiert er das „Skelett“ der Seite, d. h. ihren HTML-Code. Daher ist es unerlässlich, jede Seite Ihrer Website mithilfe von Tags zu strukturieren. Diese Tags, die zwischen Chevrons (<>) stehen, nehmen die Form von Metadaten (), Überschriften (h1, h2, h3, h4…), Bildern () usw. an.

All diese Informationen sammeln die Crawler, um Ihre Website in den Suchergebnissen zu positionieren. Wenn Ihre Seiten nicht angemessen strukturiert sind oder diese Tags fehlen, können die Crawler Ihre Website nicht lesen und sie nicht indexieren!

Es ist daher von entscheidender Bedeutung, dass Sie bei der Erstellung von Inhalten die Funktionsweise der Crawler berücksichtigen.

Die Bedeutung von Keywords zur Maximierung des Crawlings

Abgesehen davon, dass Sie Ihre Seiten mit Tags strukturieren, müssen Sie auch Ihre Keywords in diese Tags integrieren. Daher sollten Sie sich vor der Gestaltung einer Website fragen, zu welchen Suchbegriffen Sie sich positionieren möchten.

Ein Beispiel: Stellen wir uns einen Konditor in Stuttgart vor. In diesem Fall müssten die Seiten seiner Website in den Ergebnissen der Suchmaschinen für Suchanfragen wie die folgenden optimiert sein: 

• „Konditorei in Stuttgart“
• “ Konditorei Stuttgart“
• „Konditor Stuttgart“
• “ Kuchen“, „Croissants“, etc.

Um dies zu erreichen, muss die Suchmaschine die Relevanz der einzelnen Seiten für diese Suchbegriffe verstehen, indem sie diese in den Tags und im Inhalt angibt.

Anders ausgedrückt: Ihre Tags ermöglichen es den Crawlern, die Wörter aus den Webseiten zu extrahieren und zu bewerten, damit sie die Suchanfragen der Internetnutzer auf die relevanteste Weise beantworten können.

Auch hier kann Ihnen eine SEO-Agentur oder eine Content-Agentur helfen.

Die interne und externe Verlinkung

Ein weiteres grundlegendes Element bei der Optimierung einer Webseite ist die interne und externe Verlinkung. Darunter versteht man Links, die Verbindungen zwischen den Seiten einer Website (intern) oder zu anderen Webseiten (extern) herstellen.

Um eine interne Verlinkung herzustellen, müssen Sie nur mehrere Seiten Ihrer Webseiten miteinander verlinken. Für die externe Verlinkung können Sie URLs einfügen, die mit Artikeln zum selben Thema auf anderen Webseiten übereinstimmen. Auf diese Weise öffnen Sie Ihre Seite für den Rest des Internets und eröffnen neue Wege, die von den Crawlern erkundet werden können. 

Nehmen Sie sich die Zeit, Links zwischen den verschiedenen Inhalten Ihrer Website zu erstellen. Verlinken Sie sie auch mit anderen Inhalten, um Ihre Indexierung in den Suchmaschinen zu verbessern.

Analysieren Sie Ihre Indexabdeckung

Schließlich können Sie einen Bericht über die Indexabdeckung Ihrer Website erstellen. Mit der Search Console von Google können Sie nämlich :

• Wissen, wann die Crawler zum letzten Mal auf Ihrer Website waren.
• Sehen, welche Crawls sie durchgeführt haben.

Sie können die Google-Crawler aber auch bitten, Ihre Website noch einmal zu besuchen.

Abschließend sollten Sie wissen, dass das Crawling ein kontinuierlicher und erneuerbarer Prozess ist. Es ist also nie zu spät, um sich durch Crawling in den Suchmaschinen besser zu positionieren!

Machen Sie sich den Crawling-Prozess zunutze. Um dies zu erreichen, ist die Zusammenarbeit mit einer Webdesign Agentur für Suchmaschinenoptimierung eine erfolgreiche Strategie.