istresearch/scrapy-cluster

This Scrapy project uses Redis and Kafka to create a distributed on demand scraping cluster.

distributedkafkapythonredisscrapingscrapy

Licencia y mantenimiento

MIT es una licencia permisiva: uso comercial libre con atribución.

Último cambio de código hace 2 años. Archivado: solo lectura, sin más actualizaciones.

	Repositorio	Estrellas	Lenguaje	Licencia	Actividad
1	rmax/scrapy-redisRedis-based components for Scrapy.	★ 5.6k	Python	MIT	Activo
2	SpiderClub/haipproxy:sparkling_heart: High available distributed ip proxy pool, powerd by Scrapy and Redis	★ 5.5k	Python	MIT	Sin cambios
3	celery/celeryDistributed Task Queue (development branch)	★ 29k	Python	Other	Activo
4	sogou/workflowC++ Parallel Computing and Asynchronous Networking Framework	★ 14.4k	C++	Apache-2.0	Activo
5	redis/redis-pyRedis Python client	★ 13.7k	Python	MIT	Activo
6	rq/rqSimple job queues for Python	★ 10.7k	Python	Other	Activo
7	taskforcesh/bullmqBullMQ - Message Queue and Batch processing for NodeJS, Python, .NET, Elixir, Rust and PHP based on Redis or PostgreSQL	★ 9.5k	TypeScript	MIT	Activo
8	samuelclay/NewsBlurNewsBlur is a personal news reader that brings people together to talk about the world. A new sound of an old instrument.	★ 7.7k	HTML	MIT	Activo