Wenn Sie Probleme mit dem WordPress-SEO-Crawl-Budget haben, sind Sie nicht allein.
Ihr Crawl-Budget gibt im Grunde an, wie oft Suchmaschinen Ihre Website besuchen und rezensieren. Wenn es zu niedrig ist, werden Ihre Seiten möglicherweise nicht schnell indiziert, was sich negativ auf Ihre SEO-Rankings auswirken und Ihren Traffic verringern kann.
Deshalb ist die Verwaltung Ihres Crawl-Budgets wichtig, wenn Sie die Sichtbarkeit und Leistung Ihrer Website verbessern wollen.
Bei WPBeginner besteht einer unserer Ansätze zur Verwaltung unseres Crawl-Budgets darin, unsere XML-Sitemaps mit dem AIOSEO Plugin aktuell und fehlerfrei zu halten. AIOSEO verfügt über weitere Funktionen, mit denen Sie Ihr Crawl-Budget-Problem lösen können.
In diesem Artikel werden wir das WordPress-SEO-Crawl-Budget-Problem aufschlüsseln und Ihnen einfache Möglichkeiten zeigen, wie Sie es beheben können.
Da dies ein umfangreiches Thema ist, haben wir es in leicht verständliche Abschnitte unterteilt. Hier sind die verschiedenen Punkte, die wir in diesem Artikel behandeln werden:
Sind Sie bereit? Fangen wir an, dafür zu sorgen, dass Ihre Seiten die Aufmerksamkeit bekommen, die sie verdienen.
Wie funktioniert Search Crawling?
Suchmaschinen wie Google verwenden hochentwickelte Bots oder Computerprogramme, um Websites im Internet zu besuchen. Diese Bots suchen nach Änderungen auf Ihrer WordPress-Website und vergleichen sie mit dem Hauptsuchindex.
Angenommen, die Suchmaschinen finden neue Inhalte auf Ihrer Website. In diesem Fall fügen sie diese in ihren Index ein. Wenn sie Inhalte finden, die sich bereits im Index befinden, aber aktualisiert wurden, aktualisieren sie den Index mit den neuen Informationen.
Die Suchbots folgen dann allen Links auf einer Seite und wiederholen den Vorgang für diese Seiten.
Die Bots bewegen sich auf einer Seite von einem Link zum anderen, ähnlich wie echte Spider, die durch das Netz kriechen. Aus diesem Grund wird der Begriff „Crawling“ verwendet, um diese Aktivität zu beschreiben, und manchmal werden die Bots auch als Suchmaschinen-Spider bezeichnet.
Für eine bessere Suchmaschinenoptimierung müssen Sie dafür sorgen, dass Suchmaschinen Ihre Website leicht crawlen können.
Tipp: In unserem vollständigen WordPress-SEO-Leitfaden für Anfänger erfahren Sie mehr über SEO.
Was ist SEO Crawl Budget?
Das SEO-Crawl-Budget gibt an, wie oft Suchmaschinen wie Google die Seiten Ihrer Website crawlen werden.
Google-Bots crawlen täglich Milliarden von Seiten und entscheiden, wie viele Seiten sie auf jeder WordPress Website crawlen, um ihre Ressourcen sinnvoll zu nutzen. Diese Zahl ist nicht festgelegt und ändert sich täglich aufgrund verschiedener Faktoren. Es gibt also keine feste Anzahl von Seiten, die der Google-Bot auf Ihrer Website oder Ihrem Blog crawlen wird.
Allerdings haben größere Websites mit mehr Inhalt in der Regel ein höheres Crawl-Budget, während kleinere Websites ein geringeres Budget haben.
Auch andere Faktoren beeinflussen das Crawl-Budget, wie die Popularität einer URL, die Aktualität, die Häufigkeit der Aktualisierungen und vieles mehr.
Beachten Sie, dass Sie aus verschiedenen Gründen Ihr Crawl-Budget für unerwünschte Seiten verlieren können.
Wenn Ihr WordPress-Blog zum Beispiel nicht richtig optimiert ist, werden die Suchmaschinen Ihr Crawl-Budget für die weniger wichtigen Teile des Blogs ausgeben als für wichtige Inhalte.
Ebenso kann es sein, dass Sie Suchmaschinen versehentlich daran hin dern, Ihre Website zu crawlen. In diesem Fall nutzt Ihre Website das Crawl-Budget möglicherweise gar nicht.
Was sind die Ursachen für WordPress SEO Crawl Budget Probleme?
Die Art und Weise, wie WordPress URLs und doppelte Inhalte generiert, kann zu Problemen beim Crawl-Budget führen.
WordPress erzeugt zum Beispiel automatisch RSS Feeds für verschiedene Bereiche Ihrer Website. Es gibt RSS Feeds für:
- Der Hauptblog
- Kategorien und Schlagwörter
- Kommentare zu jedem Beitrag und jeder Seite
- Individuelle Inhaltstypen mit separaten RSS Feeds URLs und mehr.
Links zu diesen RSS-Feeds werden in den HTML-Quellcode Ihrer Website eingefügt, so dass sie von Suchmaschinen gefunden werden können.
Die Suchmaschinen sind inzwischen so intelligent, dass sie doppelte Inhalte erkennen und ignorieren. Sie würden sie aber immer noch crawlen und Ihr SEO-Crawl-Budget ausgeben.
Außerdem würden Suchmaschinen weniger wichtige Elemente mehr als nötig crawlen. Dazu gehören Seiten aus Archiven, Taxonomien, Autoren-Archive und PDF-Dateien.
WordPress Plugins oder andere Werkzeuge von Drittanbietern können ebenfalls Abfrage Parameter zu Ihren WordPress URLs hinzufügen. Die Spider von Google können diese Abfrage-Parameter als eine andere Seite betrachten und diese crawlen.
UTM-Parameter werden z. B. für das Google Analytics-Tracking verwendet, und eine Seite mit oder ohne diese Abfrageparameter würde immer noch gleich aussehen.
Hier ist ein Beispiel: https://yourdomain.com/landingpage/?utm_source=newsletter
Dadurch wird Ihr SEO-Crawl-Budget für weniger wichtige Punkte verschwendet und zu einem Problem.
Wie berechnen Sie Ihr SEO Crawl Budget?
Das SEO-Crawl-Budget ist keine feste Anzahl von Seiten. Es schwankt stark, und es gibt keine verlässliche Methode, um vorherzusagen, wie viele Seiten Google an einem bestimmten Tag auf Ihrer Website crawlen wird.
Sie können sich jedoch anhand der jüngsten Crawling-Aktivitäten ein recht gutes Bild davon machen, wie Google Ihre Website crawlt.
Falls Sie das noch nicht getan haben, müssen Sie Ihre Website zunächst zur Google Search Console hinzufügen. Es handelt sich dabei um ein kostenloses Werkzeug, das von Google zur Verfügung gestellt wird, damit Website-Besitzer herausfinden können, wie ihre Website in der Google-Suche abschneidet.
Navigieren Sie einfach zu Ihrem „Search Console“-Dashboard. Wechseln Sie dann zum Menü „Einstellungen“ in der linken Spalte und klicken Sie auf „Bericht öffnen“ neben „Crawl-Statistiken“.
Der „Crawl“-Statistikbericht gibt einen Überblick über die Crawl-Anfragen auf Ihrer Website während der letzten Wochen.
Sie können mit der Maus über das Diagramm fahren, um zu sehen, wie viele Seiten täglich abgerufen wurden.
So erhalten Sie einen Eindruck von der durchschnittlichen Crawl-Rate auf Ihrer Website in diesem Zeitraum.
Unten sehen Sie eine Aufschlüsselung der Crawling-Aktivitäten nach Antwortcode, Dateitypen, Zweck und Google-Bot-Typ.
Hier können Sie sehen, wie viel des Crawl-Budgets für Fehler, Syndication (RSS-Feeds), JavaScript, CSS, Bilder und mehr ausgegeben wird.
So erhalten Sie eine Momentaufnahme der Elemente, die Sie optimieren können, um das SEO-Crawl-Budget effizienter zu nutzen. Wenn Sie zum Beispiel viele 404 Fehler haben, die gecrawlt werden, können Sie ein Umleitungs Plugin verwenden, um sicherzustellen, dass diese Crawler auf hilfreichen Inhalten landen.
(Später im Artikel zeigen wir Ihnen Schritt für Schritt, wie Sie Crawl-Fehler umleiten können).
Warum sollten Sie sich über SEO Crawl Budget?
Suchmaschinen müssen Ihre Website effizient crawlen, um Ihre Inhalte rechtzeitig und korrekt zu indizieren. Wenn jedoch Ihr SEO-Crawl-Budget verschwendet wird, werden Ihre wichtigen und neueren Inhalte möglicherweise nicht rechtzeitig gecrawlt.
Es kann Wochen dauern, bis die Suchmaschinen Aktualisierungen Ihrer älteren Artikel bemerken oder neue Inhalte entdecken.
Sie verpassen den Traffic von Suchmaschinen, Ihr SEO-Ranking verbessert sich möglicherweise nicht und Sie verlieren Geld durch Verkäufe oder Werbeeinnahmen.
Wie Sie das SEO-Crawl-Budget in WordPress leicht optimieren können
Der einfachste und sicherste Weg, Ihr SEO-Crawl-Budget in WordPress zu optimieren, ist die Verwendung von All in One SEO for WordPress, oder AIOSEO.
Es ist das beste WordPress SEO Plugin mit einem eingebauten SEO Crawl Optimierungswerkzeug.
Um loszulegen, installieren und aktivieren wir zuallererst das Plugin All in One SEO for WordPress. Wenn Sie nicht wissen, wie das geht, können Sie sich unsere Schritt-für-Schritt-Anleitung zur Installation eines WordPress Plugins ansehen.
Hinweis: Es gibt auch eine kostenlose Version von All in One SEO, die auch eine Crawl Clean-up Funktion enthält. Wir empfehlen die Verwendung des PRO-Plans des kostenpflichtigen Plugins, da Sie damit auch Zugriff auf das Werkzeug „Redirection Manager“ zur Behebung von 404-Fehlern auf Ihrer Website erhalten.
Nach der Aktivierung zeigt Ihnen das Plugin einen Einrichtungsassistenten. Folgen Sie einfach den Anweisungen auf dem Bildschirm, um das Plugin einzurichten.
Danach können Sie in Ihrem WordPress-Administrationsbereich zum Abschnitt All in One SEO “ Search Design gehen.
Wechseln Sie dann auf den Tab „Erweitert“.
Scrollen Sie von hier aus nach unten auf der Seite, bis Sie die Option „Crawl Cleanup“ finden.
Klicken Sie auf den Kippschalter, um die Funktion „Crawl Cleanup“ zu aktivieren.
Die erste Option, die Sie bei der Crawl-Bereinigung sehen, ist das Entfernen der Argumente für die Abfragen.
Unten können Sie eine Liste von Abfrageargumenten angeben, die Sie zulassen möchten. Fortgeschrittene Benutzer können hier reguläre Regex-Ausdrücke verwenden.
Als Nächstes sehen Sie Optionen für WordPress RSS Feeds. All in One SEO zeigt Ihnen alle Arten von RSS Feeds, die von WordPress generiert werden, und Sie können die weniger wichtigen RSS Feeds deaktivieren.
Wenn Sie zum Beispiel einen Blog mit nur einem Autor haben, können Sie die Funktion ‚Author Feeds‘ deaktivieren.
Sobald Sie alle unerwünschten RSS-Feeds deaktiviert haben, vergessen Sie nicht, auf die Schaltfläche „Änderungen speichern“ zu klicken, um Ihre Einstellungen zu speichern.
Wie man Umleitungen für Fehlerseiten einrichtet
All in One SEO richtet automatisch Umleitungen für Feeds ein, die Sie deaktiviert haben. Zum Beispiel wird ein Tag-RSS-Feed die Nutzer auf die Tag-Archiv-Seite umleiten.
Sie können zu Ihrem Google Search Console Dashboard wechseln und den Crawl-Statistikbericht öffnen. Hier sehen Sie eine Liste der Seiten, die zu Fehlern geführt haben.
Je nach Statuscode können Sie nun Weiterleitungen für diese Seiten einrichten.
So können Sie beispielsweise 404-Fehler auf eine ähnliche Seite umleiten. Sie können auch andere Seiten mit Fehlern überprüfen und Weiterleitungen für sie einrichten.
All in One SEO macht die Einrichtung von Weiterleitungen auf Ihrer WordPress-Website sehr einfach. Gehen Sie einfach auf die Seite All in One SEO “ Redirects und fügen Sie die alte URL unter dem Feld „Source URL“ und die neue URL unter dem Feld „Target URL“ ein.
Klicken Sie auf den Button „Umleitung hinzufügen“, um Ihre Einstellungen zu speichern.
Anschließend können Sie den Vorgang wiederholen, um bei Bedarf weitere Weiterleitungen einzurichten. Weitere Details und alternative Methoden finden Sie in unserem Leitfaden zur Einrichtung von Weiterleitungen in WordPress.
Bonus-Tipp: Erzeugen einer Sitemap in WordPress
Eine XML-Sitemap ist eine spezielle Datei, die alle Seiten Ihrer Website in einem Format auflistet, das Suchmaschinen wie Google leicht lesen können. Betrachten Sie sie als eine Karte für Suchmaschinen, um Ihre Inhalte zu finden und zu indizieren.
Das Vorhandensein einer XML-Sitemap verbessert zwar nicht direkt Ihre Platzierung in den Suchergebnissen, aber es hilft den Suchmaschinen, mehr Ihrer Inhalte zu finden und zu indizieren.
Dies ist besonders nützlich für neue Websites oder Blogs ohne viele Backlinks, da es Suchmaschinen hilft, alle Ihre Seiten zu finden. Auch für etablierte Websites heben Sitemaps wichtige Seiten und die Aktualisierungshäufigkeit hervor und erleichtern es Suchmaschinen, Ihre Inhalte effektiv zu indizieren.
Weitere Informationen zu diesem Thema finden Sie in unserem Leitfaden über die XML-Sitemap und wie man sie in WordPress erstellt.
Wir hoffen, dass dieser Artikel Ihnen geholfen hat, das WordPress-SEO-Crawl-Budget-Problem zu verstehen und es zu beheben. Vielleicht interessieren Sie sich auch für diese Expertentipps zur Nutzung der Google Search Console, um den Traffic zu erhöhen, oder für praktische Beispiele, wie Sie die organische Klickrate in WordPress verbessern können.
Wenn Ihnen dieser Artikel gefallen hat, dann abonnieren Sie bitte unseren YouTube-Kanal für WordPress-Videotutorials. Sie können uns auch auf Twitter und Facebook finden.
Jiří Vaněk
I have a custom 404 page set up and here, in addition to apologizing to readers, I also have links to interesting content on the site that might interest them. Can this option also help?
WPBeginner Support
A 404 page would not affect you SEO crawl budget.
Admin
Jiří Vaněk
Thank you for answer. I didn’t know that, so again I know something new thanks to you.
Moinuddin Waheed
This is completely new concept to and I have come to know about crawl budget and its importance.
since crawl budget is given by Google itself and index web pages on its basis, what is the criteria for large and small websites and what are factors contributing to crawl budget?
WPBeginner Support
For the moment that is not publicly shared information which is why we recommend taking a look at the Crawl report to get an idea of what you have for your site.
Admin
ASHIKUR RAHMAN
how can i tell google to not crawl /feed/ links? most of our post is indexed. but same or more number of postlinks/feed/ is crawling by google. in gsc these links becomes duplicate link.
WPBeginner Support
You would want to noindex your feed to prevent Google from crawling it, if you have a SEO plugin on your site, those would normally have settings to quickly noindex your feed.
Admin