Proxy für Screaming Frog: Warum der SEO Spider ohne IP-Rotation an Grenzen stößt
Der SEO Spider schickt Hunderte Anfragen pro Minute von einer einzigen IP. Bei kleinen Websites fällt das kaum auf. Bei Shops mit 200.000 URLs, großen Nachrichtenportalen oder Wettbewerbern hinter Cloudflare bricht der Crawl dagegen oft nach wenigen tausend Seiten ab. Bezahlt haben Sie die Arbeitsstunden trotzdem, nur liegt am Ende ein halber Audit vor Ihnen.
Ein Screaming Frog Proxy setzt genau dort an, wo das Problem entsteht: bei der IP. Kommen die Anfragen von einer mobilen Carrier-IP statt vom Büroanschluss oder einem Cloud-Server, läuft der Crawl weiter. Die Ergebnisse bleiben vollständig, und die eigene Firmen-IP landet auf keiner Sperrliste.
Typische Blockaden und 429-Fehler beim Crawling großer Websites
Diese Symptome kennt jedes SEO-Team: Statuscode 429 „Too Many Requests“, 403 Forbidden, plötzliche 503-Antworten oder Captcha-Seiten, die der Spider als normalen Inhalt mit Status 200 einliest. Am gefährlichsten ist der letzte Fall. In der Spalte „Address“ stehen dann saubere URLs, aber Title, H1 und Canonical stammen von einer Challenge-Seite. Der Report sieht fertig aus und stimmt trotzdem nicht.
- 429 und 503: Der Server drosselt, die Crawl-Tiefe bricht ab, die interne Verlinkung wirkt lückenhaft, obwohl sie intakt ist.
- 403 oder IP-Ban: Die Büro-IP wird gesperrt, oft auch für Kollegen, die die Seite nur im Browser öffnen wollen.
- Captcha als 200: falsche Warnungen zu doppelten Titles, verzerrte Wortzahlen und fehlerhafte Indexierbarkeits-Daten.
Wer solche Daten an Kunden oder die Geschäftsführung weitergibt, riskiert Fehlentscheidungen bei Relaunch, Budget und Priorisierung. Spätestens bei Websites über 10.000 URLs, bei Crawls fremder Domains und bei regelmäßigen Audits wird ein Proxy vom Extra zum Pflichtwerkzeug. Damit sparen Sie sich Neustarts und manuelle Nacharbeit.
Mobile SERP-Daten und lokales Geo-Targeting als Spezialfall
Google indexiert mobile-first. Trotzdem prüfen viele Teams Websites von einer Büro-IP mit Desktop-Kontext. Ein Smartphone-User-Agent im Spider allein reicht nicht, denn die IP verrät weiterhin einen Festnetz- oder Rechenzentrumsanschluss an einem falschen Standort.
Mit einer mobilen IP aus der Zielregion und passendem User-Agent sehen Sie Seiten so, wie ein Nutzer in München oder Hamburg sie auf dem Smartphone bekommt: mit geoabhängigen Weiterleitungen, lokalen Inhalten und mobilen Varianten von Bannern. So basiert Ihre Mobile-Analyse auf dem, was echte Besucher sehen, und nicht auf einer Laborversion.
Screaming Frog Proxy einrichten: Konfiguration in den Spider-Einstellungen
Die Einrichtung dauert wenige Minuten und funktioniert mit jedem Anbieter, der Zugangsdaten im Standardformat liefert. Mit den folgenden Schritten ist der Spider startklar.
Proxy-Adresse, Port und Zugangsdaten im Configuration-Menü hinterlegen
- Zugangsdaten im Kundenbereich kopieren, Format ip:port:login:password.
- Im SEO Spider das Proxy-Menü öffnen, je nach Version unter „Configuration → System → Proxy“ oder „File → Settings → Proxy“.
- Die Proxy-Nutzung aktivieren und IP sowie Port in die vorgesehenen Felder eintragen.
- Login und Passwort hinterlegen. Alternativ die eigene IP per Whitelisting freischalten, dann entfällt die Passwortabfrage.
- Den Spider neu starten, falls Ihre Version das verlangt.
- Einen Testcrawl auf eine IP-Check-Seite starten und prüfen, ob dort die mobile IP und der richtige Operator erscheinen.
Eine Detailanleitung für gängige Software finden Sie in der Dokumentation unter onlineproxy.io/de/manual. So vermeiden Sie Tippfehler, die sonst erst nach dem ersten abgebrochenen Crawl auffallen.
Pro-Tipp: Ein Modem verarbeitet typischerweise 1–5 gleichzeitige Verbindungen. Stellen Sie unter „Configuration → Speed“ entsprechend wenige Threads ein. Ein ruhiger Crawl mit drei Threads liefert schneller vollständige Daten als ein aggressiver Crawl, der sich in Timeouts verliert.
HTTP(S) oder SOCKS5 für den SEO Spider auswählen
Für den Spider ist HTTP(S) der Standard. Das Protokoll funktioniert ohne Zusatzkonfiguration und reicht für nahezu jeden Crawl. SOCKS5 wird relevant, wenn derselbe Port auch in anderen Tools läuft, etwa in Python-Skripten mit Playwright oder in einem Browser für manuelle Stichproben.
Deshalb ist SOCKS5-Support ein Qualitätsmerkmal: Ein Anbieter ohne SOCKS5 bindet Sie an wenige Programme. OnlineProxy liefert beide Protokolle am selben Port, damit ein Zugang für Ihren gesamten SEO-Stack genügt.
Welche Screaming Frog Proxies wirklich funktionieren: Datacenter, Residential und Mobile im Vergleich
Nicht jede IP bringt den Crawl durch. Die folgende Übersicht zeigt, wo die Unterschiede liegen und was sie für Ihre Ergebnisse bedeuten.
| Parameter | Datacenter-Proxys | Residential-Proxys | Mobile Proxys |
|---|
| Herkunft der IP | Hosting / Cloud | Heim-Internetanbieter | Mobilfunkbetreiber |
| Vertrauensniveau | niedrig | hoch | am höchsten |
| Sperrrisiko | hoch | mittel | minimal |
| Geschwindigkeit | sehr hoch | hoch | mittel |
| Kosten | niedrig | mittel | hoch |
Für interne Crawls der eigenen Website reichen Datacenter-Proxys oft aus. Sobald Anti-Bot-Schutz ins Spiel kommt, zahlen Sie mit ihnen doppelt: einmal für den Proxy und einmal für die verlorene Zeit.
ASN-Typ und Trust Score als entscheidender Unterschied
Anti-Fraud-Systeme stufen jede IP zuerst nach dem Netz ein, aus dem sie stammt. Mobile IPs erreichen typischerweise einen Fraud Score von 0–15 von 100, Datacenter-IPs liegen bei 75–100. Für Ihren Crawl bedeutet das: Anfragen werden als normaler Mobilfunk-Traffic behandelt, statt schon vor der ersten Seite in einer Challenge zu landen.
Auch in der Praxis ist der Abstand messbar. Wo Residential-Proxys auf stark geschützten Zielen unter 80 % Erfolgsquote bleiben, erreichen mobile Proxys auf denselben Zielen 95–99 %. Weniger Fehlerseiten heißen weniger Nachcrawls und belastbarere Reports.
CGNAT-Effekt: Warum mobile IPs seltener gesperrt werden
Mobilfunkbetreiber teilen eine öffentliche IPv4-Adresse per CGNAT auf 500 bis 5.000 Kunden auf. Wer eine solche IP hart sperrt, sperrt Tausende echte Nutzer mit und verliert Umsatz. Plattformen reagieren deshalb eher mit Captcha oder Drosselung als mit einem dauerhaften Ban.
Für Screaming Frog ist das ein struktureller Vorteil: Ein Crawl wird im ungünstigsten Fall ausgebremst, aber nicht beendet. Nach einer IP-Rotation geht es weiter, und Ihr Audit bleibt im Zeitplan.
Wie mobile Proxys für Screaming Frog technisch aufgebaut sind
Die Herkunft der IPs entscheidet darüber, wie stabil und sauber Ihre Crawls laufen. Deshalb lohnt ein kurzer Blick hinter die Kulissen.
Modem- und SIM-Router-Farmen als Infrastruktur-Basis
Bei OnlineProxy läuft der Traffic über Modems und SIM-Router mit echten SIM-Karten konkreter Betreiber. Jede IP stammt damit nachweisbar aus dem Netz eines Mobilfunkanbieters in einer bestimmten Stadt. Für Sie heißt das: bekannte Herkunft, saubere Historie und eine Verbindung, die nicht abreißt, weil ein fremdes Smartphone gerade den Akku spart.
Das P2P-Modell funktioniert anders: Dort leiten Apps mit eingebautem SDK Traffic über Geräte ahnungsloser Nutzer. Solche Pools sind riesig, aber instabil, teils mit belasteter IP-Historie und ethisch fragwürdig. Für mehrstündige Crawls ist die Modem-Infrastruktur die verlässlichere Basis, weil Abbrüche seltener werden.
Sticky Sessions, Rotation per Link und Timer für kontrollierte Crawls
Der SEO Spider rotiert Proxys nicht selbst. Umso wichtiger ist, dass der Anbieter die Steuerung übernimmt:
- Sticky Session: Die IP bleibt stabil, ideal für Crawls hinter einem Login, Staging-Umgebungen mit Authentifizierung oder JavaScript-Rendering mit Session-Cookies.
- Rotation per Link: Ein Aufruf einer URL erzeugt in 2–5 Sekunden eine neue IP. So reagieren Sie gezielt auf erste 429-Antworten.
- Rotation per Timer: Die IP wechselt automatisch im festgelegten Intervall, passend für Crawls über Nacht ohne Aufsicht.
Pro-Tipp: Pausieren Sie den Crawl beim ersten Anstieg von 429-Codes, lösen Sie die Rotation per Link aus und setzen Sie den Crawl fort. Der Spider macht dort weiter, wo er aufgehört hat, und Sie verlieren keine bereits gecrawlten URLs.
Anwendungsfälle für mobile Proxys rund um SEO-Monitoring und SERP-Scraping
Derselbe Port, der Ihre Audits stabil macht, eignet sich auch für weitere SEO-Aufgaben. Dadurch verteilen sich die Kosten auf mehrere Projekte.
Lokale Rankprüfung nach Stadt und Mobilfunkanbieter
Das Geo-Targeting reicht von Land über Region und Stadt bis zum Betreiber. Für lokale SEO ist diese Genauigkeit entscheidend, weil die mobile Suche in Köln andere Ergebnisse liefert als in Berlin. Mit einer mobilen IP vor Ort sehen Sie die echte mobile SERP statt einer Desktop-Näherung.
Kombiniert mit Custom Extraction im Spider lassen sich lokale Landingpages, Filialseiten und Schema-Auszeichnungen standortbezogen prüfen. Ihre Berichte für Mehrstandort-Kunden werden dadurch überprüfbar genau.
Wettbewerber-Crawls und Ad-Verification ohne Risiko für die eigene Marke
Wer Wettbewerber vom Firmenanschluss crawlt, hinterlässt die eigene IP in deren Server-Logs. Über eine mobile IP bleibt die Analyse anonym, und die Agentur-IP wird nicht auf Konkurrenzseiten gesperrt, die Sie später vielleicht für Kunden prüfen müssen.
Bei der Anzeigenprüfung kontrollieren Sie, ob mobile Kampagnen im Zielgebiet korrekt ausgespielt werden und ob Partner Cloaking betreiben. Ausgaben für Anzeigen, die nie sichtbar waren, erkennen Sie so früher.
OnlineProxy-Tarife für Screaming Frog: Lite oder Regular wählen
Abgerechnet wird pro Port für 1, 7 oder 30 Tage, eine Abrechnung nach Gigabyte gibt es nicht. Ein Crawl mit JavaScript-Rendering und 50 GB Traffic kostet damit dasselbe wie ein kleiner Sitemap-Check. Die Preise hängen von Land und Betreiber ab und werden auf der Tarifseite automatisch angezeigt. Wer einen Proxy für Screaming Frog nach Budget plant, kennt die Kosten also vor dem ersten Crawl.
Lite-Tarif: geteilter Port mit automatischer Rotation
Beim Lite-Tarif teilen sich höchstens fünf Nutzer ein Gerät. Die IP rotiert automatisch alle 2–5 Minuten, steuern lässt sich das nicht, ein Neustart des Geräts ist ebenfalls nicht verfügbar. Für kleinere Audits, Stichproben einzelner Verzeichnisse oder kurze Checks ohne Login reicht das aus, und Sie zahlen weniger als für ein eigenes Gerät.
Regular-Tarif: dediziertes Gerät mit voller IP-Kontrolle
Regular gibt Ihnen ein komplettes Gerät für die Mietdauer: Sticky Session, Rotation per Link oder Timer, Geräteneustart und bevorzugten Support. Für große Shops, monatlich wiederkehrende Audits und Crawls hinter einem Login ist das der passende Tarif, weil kein anderer Nutzer Ihre Verbindung ausbremst.
| Merkmal | Lite | Regular |
|---|
| Gerät | geteilt, max. 5 Nutzer | exklusiv |
| IP-Rotation | automatisch alle 2–5 Min. | Sticky, Link, Timer |
| Geräteneustart | nein | ja |
| Traffic | unbegrenzt | unbegrenzt |
| Geeignet für | kleine Crawls, Stichproben | große und wiederkehrende Crawls |
Nach Ende einer bezahlten Miete erhalten Sie Cashback als Promo-Guthaben auf das interne Konto. Rückerstattungen richten sich nach der Refund-Richtlinie: In der ersten Stunde nach Zugangsvergabe vollständig, danach abzüglich der genutzten Zeit, bei technischen Problemen wird zunächst ein Ersatz-Proxy angeboten. Der Support ist rund um die Uhr erreichbar, die angestrebte Zeit bis zur ersten Antwort liegt bei vier Stunden. Das Risiko eines Fehlkaufs bleibt dadurch überschaubar.
Proxy-Auswahl für Screaming Frog: Checkliste und häufige Fehler
Ein falscher Anbieter kostet mehr als sein Monatspreis, nämlich jeden Crawl, der wiederholt werden muss. Diese Prüfungen sparen Ihnen das.
Woran echte mobile IPs zu erkennen sind
Bevor Sie einen Proxy für Screaming Frog länger mieten, prüfen Sie die ausgegebene IP selbst:
- ASN-Check per whois, Spur.us oder MaxMind: Der Typ muss „mobile“ lauten. Zeigt die Prüfung „hosting“ oder „corporate“, handelt es sich um eine verdeckte Datacenter-IP.
- Fraud Score bei IPQualityScore oder Scamalytics: Werte unter 25 sind der Maßstab.
- Blacklists wie Spamhaus oder Barracuda: Die IP darf dort nicht auftauchen.
- Konkrete Betreiber und Städte: Fehlen diese Angaben, ist Weiterverkauf wahrscheinlich.
- Pool-Größe: Millionen IPs deuten eher auf ein P2P-Modell hin.
Fünf Minuten Prüfung schützen Sie davor, für eine mobile IP zu zahlen und Datacenter-Qualität zu bekommen.
Typische Fehler bei Proxy-Nutzung in Screaming Frog und ihre Folgen
- Fehlende Geo-Konsistenz: Deutsche IP, aber englischer Accept-Language-Header. Passen Sie unter den HTTP-Header-Einstellungen Sprache und User-Agent an das Proxy-Land an, sonst erhalten Sie falsche Sprachversionen.
- Zu viele Threads: Mehr parallele Verbindungen als das Modem trägt, erzeugen Timeouts statt Tempo.
- Keine Rotation bei großen Crawls: Ohne IP-Wechsel sammeln sich 429-Codes, und der Report bricht mittendrin ab.
- Captcha-Seiten nicht gefiltert: Legen Sie per Custom Search einen Filter auf typische Challenge-Texte an, damit verfälschte Seiten sofort auffallen und nicht in die Structured-Data-Auswertung einfließen.
- Unnötige Downloads: Große Video-Dateien und umfangreiche PDFs über einen Kanal mit 5–50 Mbit/s zu laden, kostet Stunden. Schließen Sie diese per Exclude aus, und der Crawl konzentriert sich auf HTML.
- Ein Port für alles: Laufen parallel Rank-Tracking und Audit über dasselbe Gerät, bremsen sich beide Aufgaben gegenseitig aus.
Wer diese Punkte beachtet, bekommt aus jedem gemieteten Tag vollständige, belastbare Crawl-Daten und muss Audits nicht mehr wegen gesperrter IPs wiederholen.