ScrapingBee Proxy im Überblick: Integrierte Rotation und ihre Grenzen
ScrapingBee übernimmt für Sie Headless-Browser, JavaScript-Rendering und IP-Rotation. Ein GET-Request an die API genügt, und zurück kommt fertiges HTML. Abgerechnet wird in Credits pro Anfrage. Jede Zusatzoption wie JavaScript-Rendering, Premium-Pool oder Stealth-Modus kostet pro Call ein Vielfaches. Bei Blogs, ungeschützten Katalogen und offenen APIs ist das bequem. Bei harten Targets entscheidet dagegen der passende Proxy für ScrapingBee, ob Ihr Credit-Budget Daten liefert oder für Fehlversuche draufgeht.
Wie der ScrapingBee Proxy-Modus Anfragen weiterleitet
Neben dem klassischen API-Aufruf bietet ScrapingBee einen Proxy-Modus. Ihr Scraper verbindet sich dabei wie mit einem gewöhnlichen Proxy: Der API-Key dient als Benutzername, Parameter wie render_js oder country_code stehen im Passwort. Mit forward_headers bleiben Cookies und User-Agent aus Ihrem Code erhalten. Bestehende Scrapy- oder Playwright-Projekte lassen sich so mit wenigen Zeilen Konfiguration anbinden, ohne dass Sie die Architektur umbauen müssen.
Für die Kostenplanung ist ein weiterer Punkt wichtig: Laut Dokumentation lässt sich über den Parameter own_proxy ein eigener Proxy einbinden. Damit bestimmen Sie selbst, aus welchem Netz die Requests kommen. Sie zahlen für das Rendering und nicht für Aufschläge auf den teuren Pool.
Grenzen bei stark geschützten Zielseiten wie Amazon oder LinkedIn
Amazon, LinkedIn, Booking.com und die Google-SERP erkennen geteilte Pools schnell. Das Ergebnis sind Captchas, 403-Fehler und leere Seiten, und jeder Retry kostet Zeit und Credits. Dort, wo Residential-Proxys unter 80 % Erfolgsquote fallen, erreichen mobile Proxys auf denselben Zielen 95–99 %. Diese Differenz entscheidet, ob eine Pagination über Tausende Produktseiten in einer Nacht durchläuft oder ob am Morgen die Hälfte der Daten fehlt.
Warum Scraping-Anfragen an Anti-Bot-Systemen scheitern
DataDome, Akamai Bot Manager, PerimeterX/HUMAN und Cloudflare prüfen Anfragen auf mehreren Ebenen. Für Ihr Projekt ist die Frage entscheidend, welche Ebene Sie mit welchem Werkzeug abdecken. Wer das falsch einschätzt, bezahlt für Infrastruktur, die an der falschen Stelle ansetzt.
IP-Reputation und ASN-Typ als erster Filter
Zuerst wird geprüft, aus welchem Netz eine Anfrage kommt. IP-Datenbanken ordnen jede Adresse einem ASN-Typ zu (hosting, isp oder mobile) und vergeben einen Fraud Score. Ein Rechenzentrums-IP liegt typischerweise bei 75–100 von 100 Punkten, ein mobiler IP bei 0–15. Mit einer mobilen Adresse kommt Ihr Request an diesem Filter vorbei, bevor Rendering-Credits verbraucht sind.
| Parameter | Datacenter-Proxys | Residential-Proxys | Mobile Proxys |
|---|
| ASN-Typ | hosting / business | isp | mobile / isp |
| Vertrauensniveau | niedrig | hoch | höchstes aller Typen |
| Blockrisiko | hoch | mittel | minimal (CGNAT-Effekt) |
| Geschwindigkeit | sehr hoch | hoch | mittel |
| Kosten | niedrig | mittel | hoch |
Browser-Fingerprinting und Verhaltensmuster als zusätzliche Hürde
Ein sauberer IP ist notwendig, reicht aber allein nicht aus. Ein Headless-Browser fällt über Canvas, WebGL, den TLS-Fingerprint (JA3/JA4) oder über Klicks ohne jede Pause auf. Wer einen mobilen IP mit einem Standard-Headless-Chrome kombiniert, der im Millisekundentakt feuert, verschenkt den Vorteil des Netzes.
Deshalb gehören realistische Verzögerungen, konsistente Header und ein gepflegter Fingerprint in jedes Setup. Einen Teil davon übernimmt bei ScrapingBee das Rendering-Backend. Investieren sollten Sie in genau die Ebene, an der Ihre Anfragen tatsächlich blockiert werden.
Der richtige Proxy für ScrapingBee: Wann mobile IPs die Erfolgsquote erhöhen
Pro Einheit kosten mobile Proxys mehr als andere Typen. Bei harten Targets rechnen sie sich trotzdem über die Erfolgsquote: weniger Retries, weniger verbrannte Credits und vollständigere Datensätze für Ihre Auswertung.
CGNAT-Effekt: Warum ein blockierter mobiler IP Tausende Nutzer betrifft
Mobilfunkbetreiber teilen eine öffentliche IPv4-Adresse per CGNAT unter 500 bis 5000 Teilnehmern auf. Würde eine Plattform diese Adresse sperren, wären Tausende zahlende Kunden ausgesperrt. Deshalb setzen Plattformen hier auf Captcha oder Rate Limit statt auf harte Bans. Für Ihren Scraper bedeutet das: Schlimmstenfalls wird er gebremst, und diese Bremse löst sich, sobald Sie das Tempo anpassen. Eine dauerhaft verbrannte Adresse bleibt Ihnen erspart.
Natürliche IP-Rotation durch Zellwechsel und PDP-Context
Im Mobilfunknetz wechselt die IP beim Zellwechsel oder bei einem neuen PDP-Context. Das ist normales Nutzerverhalten. In einer Modem-Farm dauert ein solcher Wechsel etwa 2–5 Sekunden. Für die Zielseite sieht die neue Adresse wie ein Smartphone aus, das gerade die Funkzelle gewechselt hat, und Ihr nächster Batch startet ohne Altlasten.
Wann Rechenzentrums- oder Residential-Proxys für ScrapingBee-Workflows ausreichen
Nicht jedes Ziel braucht mobile IPs. Mit dem passenden Typ für die jeweilige Aufgabe sparen Sie spürbar Budget:
- Rechenzentrums-Proxys: offene APIs, RSS-Feeds, HTML-Seiten ohne Bot-Schutz, große Downloads mit hohem Volumen.
- Residential-Proxys: Ziele mit mittlerem Schutz, auf denen die Erfolgsquote stabil über 80 % liegt.
- Mobile Proxys: Amazon, LinkedIn, Google-SERP, Flugpreise, also überall dort, wo jeder Block Geld kostet.
Pro-Tipp: Vergleichen Sie nicht den Preis pro Request, sondern die Kosten pro erfolgreichem Datensatz. Schicken Sie einen Testbatch von 200 URLs über zwei Proxy-Typen und teilen Sie die Gesamtkosten durch die Zahl der sauber geparsten Seiten. Oft zeigt sich erst so, dass der teurere Port am Ende weniger kostet.
Technische Voraussetzungen für die Integration mobiler Proxys in Scraping-Stacks
Ein mobiler Proxy bringt nur etwas, wenn er ohne Umwege in Ihren bestehenden Code passt. Drei Punkte entscheiden darüber.
HTTP(S) und SOCKS5 für Python-, Node.js- und Puppeteer-Setups
HTTP(S) deckt requests, Scrapy und die Einbindung über own_proxy ab. SOCKS5 arbeitet auf TCP/UDP-Ebene. Gebraucht wird es für Tools, die mehr als reinen Web-Traffic übertragen, etwa Puppeteer- oder Playwright-Setups mit WebRTC oder Go-Scraper mit Colly. Unterstützt ein Port beide Protokolle, läuft Ihr gesamter Stack über dieselbe Adresse und Sie müssen keine Zweitlösung pflegen.
Sticky Sessions und Rotation per Link, API oder Timer
- Sticky Session: Der IP bleibt stabil, ideal für Seiten mit Login, Warenkörbe und lange Pagination-Ketten. Sitzungen brechen nicht mitten im Durchlauf ab.
- Rotation per Link oder API: Ihr Code ruft bei einem 403-Fehler oder nach X Requests eine URL auf und bekommt einen neuen IP. Die Kontrolle bleibt bei Ihrer Logik.
- Rotation per Timer: automatischer Wechsel im festen Intervall. Nächtliche Läufe laufen so ohne manuelles Eingreifen weiter.
Login:Passwort oder IP-Whitelisting als Authentifizierungsmethode
Login:Passwort im Format ip:port:login:password funktioniert von jedem Server, in Docker-Containern und in Cloud-Funktionen mit wechselnder Adresse. IP-Whitelisting passt zu einem festen Server-IP, denn dann stehen keine Zugangsdaten im Code. Beide Varianten stehen zur Wahl, und Sie entscheiden je nach Infrastruktur statt nach den Vorgaben des Anbieters.
Mobile ScrapingBee-Proxys kaufen: Tarife und Ausstattung bei OnlineProxy
Bei OnlineProxy läuft der Traffic über Modems und SIM-Router mit echten SIM-Karten der Mobilfunkbetreiber. Land und Betreiber wählen Sie selbst aus, der Preis erscheint automatisch auf der Seite. Eine Anleitung zur Einrichtung in gängiger Software finden Sie unter onlineproxy.io/de/manual.
Lite-Tarif mit geteiltem Port und automatischer Rotation
Bei Lite teilen sich höchstens fünf Nutzer ein Gerät. Der IP wechselt automatisch alle 2–5 Minuten, steuern lässt sich die Rotation nicht, und ein Neustart des Geräts ist nicht verfügbar. Für anonyme Crawls ohne Login, bei denen ein regelmäßiger IP-Wechsel willkommen ist, ist das ein sinnvoller Einstieg.
Regular-Tarif mit exklusivem Gerät und voller IP-Kontrolle
Bei Regular gehört Ihnen das Gerät für die gesamte Mietdauer allein. Zur Verfügung stehen Sticky Session, Rotation per Link oder Timer, ein Neustart des Geräts und priorisierter Support. Ihre Scraping-Logik bestimmt, wann ein neuer IP kommt, und keine fremde Last bremst Ihre Pipeline.
Abrechnung pro Port statt nach verbrauchten Gigabyte
Bezahlt wird pro Port für 1, 7 oder 30 Tage, der kürzeste Abrechnungszeitraum beträgt 24 Stunden. Auf beiden Tarifen gibt es unbegrenzten Traffic ohne Abrechnung nach Gigabyte. Unbegrenzte Geschwindigkeit bedeutet das nicht: Üblich sind 50–300 ms Latenz und 5–50 Mbit/s, pro Modem laufen 1–5 parallele Threads. Gerade bei JavaScript-lastigen Seiten mit schweren Antworten bleiben die Kosten dadurch planbar.
Nach Ablauf einer bezahlten Miete wird Cashback als Promo-Guthaben auf Ihr internes Konto gebucht. Erstattungen richten sich nach der Refund-Policy: In der ersten Stunde nach Zugangsvergabe voll, danach abzüglich der genutzten Zeit. Bei technischen Problemen wird zuerst ein Ersatz-Proxy angeboten. Der Support ist rund um die Uhr erreichbar und strebt eine erste Antwort innerhalb von 4 Stunden an.
Typische Fehler beim Einsatz mobiler Proxys mit Scraping-Tools und ihre Kosten
Geo-Inkonsistenz zwischen IP, Sprache und Zeitzone
Ein deutscher mobiler IP zusammen mit Accept-Language en-US und der Zeitzone America/New_York ist ein sofortiges Warnsignal. Dazu kommt ein teurer Nebeneffekt: Viele Shops liefern dann Preise und Verfügbarkeiten für die falsche Region aus. Wenn IP, Locale, Zeitzone und Währung zum selben Land passen, erhalten Sie korrekte Daten und kassieren keine Blocks.
Fehlende Prüfung auf echten mobilen ASN vor dem Einsatz
Prüfen Sie jeden neuen Port vor dem ersten produktiven Lauf mit IPQualityScore, Scamalytics, Spur.us oder iphub.info. Der ASN-Typ muss mobile lauten, und der Fraud Score sollte unter 25 liegen. Zeigt die Prüfung hosting oder corporate, verkauft der Anbieter Rechenzentrums-IPs als mobil. Mit einem Check von fünf Minuten sparen Sie sich eine Woche verbrannter Credits.
Ein Proxy für mehrere Accounts ohne Berücksichtigung von CGNAT
Durch CGNAT ist ein mobiler IP schwer zu sperren. Beliebig viele eingeloggte Sessions verkraftet ein Port deshalb trotzdem nicht. Die Tausenden anderen Teilnehmer auf derselben Adresse sind echte Menschen mit unterschiedlichem Verhalten. Ihre zehn Accounts dagegen verhalten sich gleichzeitig identisch und lassen sich leicht miteinander verknüpfen. Halten Sie sich an die Regel »ein Port, eine eingeloggte Session«, dann bleiben Ihre Zugänge nutzbar und Ihre Datenpipeline läuft stabil weiter.