Aumente drásticamente la tasa de éxito de sus proyectos de web scraping implementando un proxy rotativo para evitar bloqueos de IP, errores 403 y CAPTCHAs.
Implementar un scrapy proxy es fácil con un Middleware. Con nuestra guía de scrapy rotating proxies, su python scrapy proxy estará listo para superar cualquier bloqueo, haciendo que su scrapy rotating proxy sea su mejor herramienta.
Seleccione proxies por país, con opciones para filtrar por operador móvil y tipo de proxy.
Perfecto para gestionar redes sociales, tablones de anuncios y redes publicitarias.
Las direcciones IP rotan automáticamente cada 2–5 minutos
Un solo dispositivo móvil se divide en cinco proxies compartidos
Sin cambio de IP a través de API o enlace
El único proxy en un dispositivo móvil
Configure la rotación automática entre 1 y 30 minutos, con opción de desactivarla.
Cambiar IP por API o enlace
Rotación automática de IP cada 2-5 minutos
Un dispositivo móvil se divide en 5 proxies compartidos
Sin cambio de IP a través de API o enlace
El único proxy en un dispositivo móvil
Setting up automatic rotation desde 1 to 30 minutes with the ability to turn off.
Cambiar IP por API o enlace
Rotación automática de IP cada 2-5 minutos
Un dispositivo móvil se divide en 5 proxies compartidos
Sin cambio de IP a través de API o enlace
El único proxy en un dispositivo móvil
Setting up automatic rotation desde 1 to 30 minutes with the ability to turn off.
Cambiar IP por API o enlace
Rotación automática de IP cada 2-5 minutos
Un dispositivo móvil se divide en 5 proxies compartidos
Sin cambio de IP a través de API o enlace
El único proxy en un dispositivo móvil
Setting up automatic rotation desde 1 to 30 minutes with the ability to turn off.
Cambiar IP por API o enlace
Nuestro scrapy proxy rotativo está diseñado para la alta velocidad de Scrapy, proporcionando una nueva IP móvil de confianza para cada solicitud que su spider realiza.
Deje de luchar con spiders bloqueados. Obtenga su endpoint de proxy rotativo, implemente nuestro Middleware y comience a extraer datos de forma fiable hoy.
Pedir un proxyConfigure cuentas de publicidad y pase la moderación en las principales plataformas como Google, Facebook e Instagram utilizando herramientas como Multilogin, VMLogin, Insomniac, GoLogin, AdsPower y Aezakmi, junto con los proxies móviles de OnlineProxy.io
Recopile datos de plataformas altamente seguras utilizando los proxies móviles de OnlineProxy.io con herramientas como Octoparse, Scrapebox, Webscrapper, Browse.ai, Webharvy y Selenium
Raspe los resultados de búsqueda de cualquier región o dispositivo con los proxies móviles de OnlineProxy.io, compatibles con herramientas como Ctr Booster, Zennoposter Pro, Ahrefs, Moz, Majestic SEO, Netpeak Spider, SE Ranking, Serpstat, Buzzsumo, SEOquake, Key Collector, Active Webtraffic, SEO PowerSuite Free, AIPRM for SEO, Ubersuggest, KDP/Amazon BSR & Keyword Research SEO Tool y SEnuke TNG
Compre zapatillas exclusivas con bots utilizando los proxies móviles de OnlineProxy.io, compatibles con Wrath AIO Bot, Prism AIO, Kodai AIO, MEKpreme, Balkobot, Ganesh Bot, Nike Shoe Bot, Project Enigma, MEKAIO, Sole AIO, Kodai y Velox.
Emule sin esfuerzo diferentes ubicaciones y dispositivos móviles mientras cambia su dirección IP. Compatible con herramientas esenciales como Proxifier, SwitchyOmega, GoLogin, Jarvee, Postern APP, AdsPower, AEZAKMI, Multi-Login y Foxyproxy, todo optimizado para funcionar sin problemas con los proxies móviles de OnlineProxy.io
Cree y gestione de forma segura cuentas de redes sociales con un riesgo mínimo de baneo. Integre los proxies móviles de OnlineProxy.io con potentes herramientas como All Social Networks, Follow Liker, Monstro, Followinglike, Useviral, Nextpost, Kenji, Followadder, Kicksta, Nitreo, Growthoid, Socialcaptain, Upleap y Instaccountsmanager para una seguridad y rendimiento óptimos de la cuenta
Controle la rotación de IP para proxies privados con solo un clic en nuestro panel de control o configure cambios automáticos a través de nuestra eficiente integración de API.
¡Use proxies sin limitaciones: garantizamos un funcionamiento ininterrumpido sin desconexiones, incluso con altos volúmenes de tráfico!
Nuestros proxies utilizan direcciones IP legítimas de redes móviles, lo que disminuye significativamente la probabilidad de ser baneado y de que aparezcan CAPTCHAs, asegurando que los sitios web lo reconozcan como un visitante auténtico.
La forma estándar es codificar sus credenciales (usuario:contraseña) en Base64 y pasarlas en la cabecera Proxy-Authorization en cada solicitud. El ejemplo de código proporcionado en esta guía implementa exactamente este método.
Librerías como scrapy-rotator o scrapy-proxy-pool son útiles si usted mismo gestiona una lista de proxies individuales. Nuestro método es más simple y robusto: usted se conecta a un único endpoint de un servicio de scrapy rotating proxies, y el servicio gestiona toda la complejidad de la rotación, la salud de los proxies y la selección de IPs por usted.
El Middleware de ejemplo funciona tanto para sitios HTTP como HTTPS. La clave está en el request.meta['proxy']. Scrapy es lo suficientemente inteligente como para establecer el túnel HTTPS a través del proxy HTTP especificado. Solo asegúrese de que la URL del proxy en meta comience con http://.
Esto suele deberse a un par de problemas comunes: 1) El Middleware no está activado correctamente en settings.py o su número de prioridad es incorrecto. 2) La cabecera de autenticación (Proxy-Authorization) no se está formando o enviando correctamente. 3) El User-Agent de Scrapy por defecto está siendo bloqueado (siempre establezca un User-Agent de navegador real).
El framework de Scrapy es muy flexible. Si necesita usar un proxy diferente para una solicitud particular, simplemente puede establecer request.meta['proxy'] y las cabeceras de autenticación directamente al crear la solicitud (yield scrapy.Request(...)) en lugar de hacerlo en el Middleware. El Middleware puede establecer un proxy por defecto, pero una solicitud individual puede anularlo.
Para el 95% de los casos de scraping a gran escala con Scrapy, los proxies rotativos (una nueva IP por solicitud) son la mejor opción para maximizar la velocidad y evitar el seguimiento. Los proxies de sesión son útiles solo en casos específicos donde necesita realizar una serie de acciones en un sitio que requiere iniciar sesión y mantener una sesión coherente (por ejemplo, navegar por un perfil).
Sí, inevitablemente añade una pequeña latencia a cada solicitud. Sin embargo, este efecto es mínimo con un proveedor de proxies de alta velocidad. La alternativa (no usar un proxy) resulta en que su spider sea bloqueado, lo que reduce su velocidad a cero. Por lo tanto, un buen proxy aumenta la velocidad efectiva y el rendimiento general de su proyecto.
Scrapy tiene un sistema de reintentos incorporado (Retry Middleware). Puede configurarlo en settings.py (ej. RETRY_TIMES = 5). Cuando una solicitud a través de un proxy falla (por ejemplo, un timeout), Scrapy la reintentará automáticamente. Si está usando un proxy rotativo, el reintento se hará con una nueva IP, lo que a menudo resuelve el problema.
Scrapy es uno de los frameworks de web scraping más potentes y eficientes disponibles, gracias a su arquitectura asíncrona que le permite realizar solicitudes concurrentes a una velocidad increíble. Sin embargo, esta misma velocidad es su talón de Aquiles. Un spider de Scrapy por defecto puede enviar cientos de peticiones por minuto desde una única dirección IP, un comportamiento que cualquier sistema de seguridad web moderno detectará y bloqueará de inmediato. Para cualquier proyecto de scraping serio, configurar un scrapy proxy no es una optimización, es un requisito fundamental desde el principio.
La integración de un proxy en Scrapy enruta todas las solicitudes salientes de su spider a través de un servidor intermediario, ocultando la IP de su servidor. Pero para igualar la velocidad de Scrapy, un solo proxy estático no es suficiente; también será bloqueado. La solución profesional es utilizar scrapy rotating proxies, un sistema que proporciona una nueva dirección IP en cada solicitud, haciendo que su spider parezca miles de usuarios diferentes.
La forma más limpia y recomendada de integrar un python scrapy proxy es a través de un Middleware personalizado. Esto le da un control total sobre cómo y cuándo se utiliza el proxy. A continuación se muestra un ejemplo completo y listo para usar.
En su proyecto de Scrapy, abra el archivo middlewares.py y añada la siguiente clase:
# myproject/middlewares.py
import base64
class MyProxyMiddleware(object):
@classmethod
def from_crawler(cls, crawler):
return cls(crawler.settings)
def __init__(self, settings):
self.proxy_user = settings.get('PROXY_USER')
self.proxy_pass = settings.get('PROXY_PASS')
self.proxy_endpoint = settings.get('PROXY_ENDPOINT')
self.proxy_auth = 'Basic ' + base64.b64encode(
f'{self.proxy_user}:{self.proxy_pass}'.encode()
).decode()
def process_request(self, request, spider):
# Asigna el proxy a cada solicitud
proxy_url = f'http://{self.proxy_endpoint}'
request.meta['proxy'] = proxy_url
# Añade la cabecera de autenticación si el proxy lo requiere
if self.proxy_user and self.proxy_pass:
request.headers['Proxy-Authorization'] = self.proxy_auth
Ahora, en su archivo settings.py, añada las credenciales de su proxy y active el Middleware.
# myproject/settings.py
# Credenciales de su proveedor de proxy
PROXY_ENDPOINT = 'su.proxy.endpoint:8000'
PROXY_USER = 'su_usuario'
PROXY_PASS = 'su_contraseña'
# Activar el Middleware
# Asegúrese de que el valor numérico sea inferior al del UserAgentMiddleware (543 por defecto)
DOWNLOADER_MIDDLEWARES = {
'myproject.middlewares.MyProxyMiddleware': 350,
}
¡Eso es todo! Ahora cada solicitud que su spider realice será enrutada a través del proxy que ha configurado. Si el endpoint proporcionado es un scrapy rotating proxy, su spider utilizará automáticamente una nueva IP en cada petición sin necesidad de cambiar el código.
Para los sitios web más difíciles de scrapear (plataformas de comercio electrónico, redes sociales, portales de viajes), la reputación de la IP es tan importante como la rotación. Si rota a través de miles de IPs de centros de datos, muchos de sus intentos seguirán siendo bloqueados. Aquí es donde los proxies móviles marcan la diferencia. Un scrapy rotating proxy que utiliza un pool de IPs móviles le da a cada una de sus solicitudes la máxima confianza posible. Para el servidor de destino, su spider de alta velocidad no parece un bot, sino miles de compradores o usuarios reales navegando desde sus teléfonos. Esto se traduce en una tasa de éxito drásticamente mayor, menos reintentos y datos más limpios y fiables.
En conclusión, Scrapy le proporciona el motor de un coche de carreras, pero un proxy rotativo es el combustible de alta calidad y los neumáticos de competición que necesita para ganar. La implementación de un scrapy proxy a través de un Middleware es un paso simple que transforma su spider de una herramienta frágil a una máquina de recolección de datos robusta y de nivel industrial, lista para enfrentarse a cualquier desafío de la web moderna.