SEO oder Suchmaschinenoptimierung hat so viele sich verändernde Komponenten, dass es manchmal so scheint, als müssten wir, sobald wir mit der Optimierung eines Teils fertig sind, zu dem anderen Teil zurückkehren, an dem wir bereits letzte Woche gearbeitet hatten.
Man kann sich kontinuierlich mit der Optimierung der drei SEO-Säulen beschäftigen: Technik, Content und Off-Page. Die vielleicht wichtigsten Aspekte sind jedoch die Indexierbarkeit und das Crawl-Budget, denn diese entscheiden darüber, ob Ihre Website in den Suchergebnissen angezeigt wird.
In diesem Blogbeitrag erläutern wir, wie Suchmaschinen funktionieren, was die Begriffe „Crawlen“, „Indizieren“ und „Ranking“ bedeuten, wie wichtig das Crawl-Budget ist, und geben abschließend 9 Tipps, um die Indizierung zu fördern.
Inhaltsübersicht
Wie funktioniert eine Suchmaschine?
Es ist wichtig zu wissen, wie Suchmaschinen funktionieren. Suchmaschinen haben Crawler, die alle Webseiten auf der Suche nach Informationen durchforsten. Diese Informationen werden in einer Datenbank gespeichert.
Wenn jemand eine Suche durchführt, zeigt die Suchmaschine im Handumdrehen Ergebnisse aus der oben genannten Datenbank an. Aber woher weiß die Suchmaschine, welches das beste Ergebnis ist?
Crawling, Indizierung und Ranking
Dies hat mit Crawling, Indexierung und Ranking zu tun. Beim Crawling von Webseiten werden Informationen, wie z. B. Inhalte und Bilder, in einer Datenbank oder Bibliothek gesammelt und gespeichert. Wie in einer realen Bibliothek werden die so gewonnenen Informationen archiviert und geordnet, z. B. nach Themen und Suchintentionen.
Die Datenbank ordnet dann diese indexierten Informationen in den Suchergebnissen auf der Grundlage einer Abfrage ein.
Wenn Sie eine Suche durchführen, erstellt die Suchmaschine eine Liste von Ergebnissen, die Ihre Anfrage beantworten könnten.
Indexierbarkeit & Crawl-Budget
Klingt so, als ob man warten müsste, bis die Crawler der Suchmaschine an der Webseite vorbeigekommen sind, um alles zu crawlen, zu indexieren und zu bewerten. Leider ist das nicht so einfach. Wichtige Faktoren sind Indexierbarkeit und Crawl-Budget.
Das Crawl-Budget bestimmt die Anzahl der Seiten, die die Suchmaschine täglich crawlen kann. Wenn Ihr Crawl-Budget nicht optimal ist, sorgt es dafür, dass nicht alle Ihre Seiten indiziert werden und daher nicht (schnell) in den Suchergebnissen erscheinen. Wir besprechen 9 Tipps zur Steigerung der Indexierbarkeit.
Neugierig, was Google selbst zum Crawl-Budget zu sagen hat? Dann schauen Sie sich das folgende Video an!
1. Verfolgen Sie den Crawl-Status mit der Google Search Console
Fehler im Crawl-Status können auf ein tieferes Problem auf Ihrer Website hinweisen. Es ist wichtig, den Crawl-Status jeden Monat zu überprüfen. Auf diese Weise können Sie mögliche Fehler erkennen, die die Performance Ihrer Website insgesamt beeinträchtigen. Es ist buchstäblich der erste Schritt der Suchmaschinenoptimierung, denn ohne ihn sind alle anderen Bemühungen nichts wert.
Um einige dieser Fehler zu untersuchen, können Sie das URL-Inspektionstool verwenden, um zu sehen, wie Google Ihre Website sieht. Im nebenstehenden Beispiel gibt es keine Probleme.
Häufige Crawl-Fehler & Lösungen
Wenn Ihre Website das Pech eines Crawl-Fehlers hat, kann dies eine einfache Lösung erfordern oder auf ein viel größeres technisches Problem hinweisen.
Wenn eine Seite nicht korrekt abgerufen und angezeigt wird, kann dies auf einen tiefer liegenden DNS-Fehler hinweisen, der von Ihrem DNS-Anbieter behoben werden muss.
Die Behebung eines Serverfehlers erfordert die Untersuchung eines bestimmten Fehlers. Die häufigsten Fehler sind: Timeout, Verbindung fehlgeschlagen oder verweigert oder keine Antwort. In der Regel ist ein Serverfehler nur vorübergehend, bei anhaltenden Problemen sollten Sie sich jedoch direkt an den Hosting-Anbieter wenden.
Robots.txt-Fehler können problematischer sein. Wenn die robots.txt-Datei einen 200- oder 404-Fehler zurückgibt, bedeutet dies, dass die Suchmaschinen Probleme haben, diese Datei abzurufen. Sie können entweder eine robots.txt einreichen oder das Protokoll ganz vermeiden. Im letzteren Fall können Sie Seiten manuell auf no-index setzen, so dass diese Seiten nicht gecrawlt und indiziert werden.
Wenn Sie diese Fehler schnell beheben, wird sichergestellt, dass alle Ihre Seiten beim nächsten Besuch des Suchmaschinen-Crawlers gecrawlt und indiziert werden.
2. Erstellen Sie mobilfreundliche Webseiten
Mit dem Mobile-First-Index wird die mobile Version als die primäre Version Ihrer Website angesehen. Mit dem Mobile-First-Index betrachtet Google also die mobile Version zuerst und gibt ihr auch mehr Gewicht in seinem Ranking.
Es gibt viele technische Optimierungen, die Ihre Website sofort mobilfreundlicher machen können, darunter:
Responsive Webdesign
Einstellung der Metatags für Browser und Bildschirme
Optimieren und Komprimieren von Bildern für schnellere Ladezeiten
Verringern Sie die Größe der UI-Elemente auf der Seite
Stellen Sie sicher, dass Sie Ihre Website auf einer mobilen Plattform testen und führen Sie einen Test über Google PageSpeed Insights durch.
Die Seitengeschwindigkeit ist ein wichtiger Ranking-Faktor und kann sich darauf auswirken, wie schnell Suchmaschinen Ihre Website crawlen und indexieren können.
Wie genau funktioniert Google Mobile First Indexing? Martin Splitt erklärt es!
3. Inhalte regelmäßig aktualisieren
Suchmaschinen werden Ihre Website regelmäßiger crawlen, wenn Sie regelmäßig neue Inhalte veröffentlichen oder alte Inhalte aktualisieren. Wenn Sie regelmäßig Inhalte produzieren, signalisieren Sie den Suchmaschinen, dass sich Ihre Website ständig weiterentwickelt und daher häufiger gecrawlt werden muss, um eine Zielgruppe zu erreichen.
Außerdem zeigen die neuesten SEO-Trends, dass die Aktualisierung alter Inhalte immer wichtiger wird. Es kann Ihnen sogar mehr SEO-Traffic bringen!
4. Einreichen einer Sitemap
Einer der besten Tipps für eine gute Indexierung bleibt das Einreichen einer Sitemap bei der Google Search Console.
Sie können eine XML-Version mit Hilfe eines Sitemap-Generators erstellen oder sie manuell in der Google Search Console anlegen.
Im folgenden Video erklärt Daniel Waisberg, was eine Sitemap ist, ob Sie eine brauchen und wie Sie sie bei der Google Search Console einreichen.
5. Optimieren Sie die interne Linkstruktur
Die Einrichtung einer konsistenten internen Linkstruktur ist entscheidend, um sicherzustellen, dass Ihre Website nicht nur gut indexiert, sondern auch gut organisiert ist. Eine gute Struktur stellt sicher, dass Suchmaschinen-Crawler alle Seiten crawlen und indexieren können.
Die Erstellung von Kategorien, unter denen verwandte Seiten erscheinen können, kann den Suchmaschinen helfen, den Seiteninhalt auf der Grundlage von Suchanfragen richtig zu verstehen und anzuzeigen.
Neil Patel erklärt, was Sie tun und lassen sollten, wenn Sie mit internen Links beginnen:
6. Deep Linking auf schlecht zugängliche Seiten
Wenn eine Seite Ihrer Website nicht gecrawlt werden kann oder lange braucht, um indiziert zu werden, können Sie die Indizierung durch einen Link auf einer externen Domain erhöhen.
Dies ist eine besonders nützliche Strategie, um neue Inhalte auf Ihrer Website bekannt zu machen und sie schneller zu indexieren. Außerdem tragen Backlinks zum Ranking für bestimmte Keywords bei.
7. Reduzieren Sie die Ressourcen auf der Seite und verlängern Sie die Ladezeiten
Wenn Sie Suchmaschinen dazu zwingen, große und nicht optimierte Bilder zu crawlen, wird Ihr Crawl-Budget schnell aufgebraucht und der Rest der Seiten Ihrer Website wird nicht (regelmäßig) indiziert.
Suchmaschinen haben auch Schwierigkeiten, bestimmte Backend-Elemente Ihrer Website zu crawlen. Zum Beispiel hatte Google in der Vergangenheit Schwierigkeiten, JavaScript zu crawlen. Auch andere Quellen wie Flash und CSS können auf mobilen Geräten schlecht funktionieren und das Crawl-Budget aufzehren. In gewissem Sinne ist es ein Lose-Lose-Szenario, bei dem die Seitengeschwindigkeit und das Crawl-Budget auf Kosten von störenden Elementen auf der Seite geopfert werden.
Stellen Sie sicher, dass Sie Ihre Webseite für die Geschwindigkeit optimieren, insbesondere auf mobilen Geräten, indem Sie die Ressourcen auf der Seite, wie Bilder und Videos, reduzieren. Sie können auch die Zwischenspeicherung und Komprimierung aktivieren, damit Spider Ihre Website schneller crawlen können.
Warum ist die Geschwindigkeit Ihrer Website wichtig? Martin Splitt (Developer Advocate, Google) und Eric Enge (General Manager of Digital, Perficient) erläutern dies...
8. Seiten mit noindex-Tags
Ein noindex-Tag ist ein Meta-Tag, das Suchmaschinen anweist, bestimmte Seiten nicht in ihren Index aufzunehmen.
Im Laufe der Zeit kann es sinnvoll sein, Seiten auf Ihrer Website mit einem noindex-Tag zu versehen, z. B. Seiten, die doppelt vorhanden sind, oder Seiten, die nicht wichtig genug sind, um in den Index aufgenommen zu werden. Im letzteren Fall könnten Sie an eine Dankeseite denken, die auf eine Bestellung folgt.
Indem Sie auf diese Weise Seiten vom Crawling und der Indexierung ausschließen, stellen Sie sicher, dass das Crawl-Budget in die wichtigen Seiten fließt, und steigern so die Indexierung.
9. Entfernen von doppeltem Inhalt
Große Mengen an doppeltem Inhalt können die Crawl-Geschwindigkeit erheblich verlangsamen und Ihr Crawl-Budget aufzehren. Sie können diese Probleme lösen, indem Sie verhindern, dass diese Seiten indiziert werden (noindex-Tag), oder indem Sie ein canonical-Tag auf die Seite setzen, die Sie indizieren möchten.
Ebenso lohnt es sich, die Meta-Tags wie Titel und Beschreibung jeder einzelnen Seite zu optimieren, um zu verhindern, dass Suchmaschinen ähnliche Seiten beim Crawlen als doppelte Inhalte betrachten.
Möchten Sie genau wissen, wie Google mit doppeltem Inhalt umgeht? Matt Cutts erklärt es Ihnen.
Fazit
Probleme mit dem Crawling und der Indexierung hängen weitgehend mit Ihren eigenen Kenntnissen über SEO und Webdesign zusammen. Wenn Sie ständig am Backend basteln, haben Sie diese Probleme vielleicht frühzeitig erkannt und damit verhindert, dass sie sich auf Ihre Rankings auswirken.
Wenn Sie sich nicht sicher sind, führen Sie einen kurzen Scan in der Google Search Console durch, um zu sehen, ob Ihre Seiten von den Crawlern von Google erreicht werden. Die Ergebnisse können sehr aufschlussreich sein!
Dieser Blog wurde teilweise von Jeroen von Promoboer ermöglicht.
