Alguien ha usado scrapy para hacer un servicio de scraping? Quiero
montar un servicio (REST) basado en scrapy, pero por defecto scrapy
procesa una cola de urls y termina y no creo que sea buena idea
levantar la aplicación cada vez que llega una url. Me gustaría que la
cola estuviera escuchando, pr
Hola,
yo no he utilizado scrapy pero creo que lo que dices lo podrías hacer
con Django+celery+scrapy. De hecho en [1] te dejo un enlace donde han
hecho algo así, te faltaría meter la interfaz rest.
[1]
http://stackoverflow.com/questions/11528739/running-scrapy-spiders-in-a-celery-task
Saludos,
E
Hola, lo que te recomiendo es almacenarlo en alguna base de datos, yo lo
almaceno en un mongodb y así no estoy ejecutando scrapy a cada rato :-), de la
base sacó las consultas.
Sent from my iPhone
> On May 19, 2014, at 4:45 AM, Luis Miguel Morillas wrote:
>
> Alguien ha usado scrapy para hace
Buenas, Esta mañana lei el correo y le he estado dando un par de
vueltas a la parte de que ventajas tiene levantar el servicio o
dejarlo a la escucha, y he llegado a la conclusion de que no tengo ni
idea :)
Asi que si pudierais decirme que ventajas o desventajas le veis.
Un abrazo!!!
On 5/19/14
Yo necesito que cada vez que se suministra una url, se vuelva a
parsear la página, porque la información es dinámica (precios de venta
o alquileres)
Saludos,
-- luismiguel (@lmorillas)
El día 19 de mayo de 2014, 12:50, Alex Parra escribió:
> Hola, lo que te recomiendo es almacenarlo en alguna
2014-05-19 17:53 GMT+02:00 Luis Miguel Morillas :
> Yo necesito que cada vez que se suministra una url, se vuelva a
> parsear la página, porque la información es dinámica (precios de venta
> o alquileres)
>
Te puedes morir de éxito. Puedes almacenar los datos en una base de datos
local que vas re
