web scraping en portales como idealista

makaveli_sano

Himbersor
Desde
18 Mar 2020
Mensajes
1.364
Fruta
2.565
Según sus normas o condiciones esta prohibido hacer scraping en su portal web, para extraer datos.

Mi idea es hacerlo para mostrar info(en un sitio web) sobre la evolución de precios de las viviendas en españa, sin dar muchos detalles.

¿es realmente ilegal? ¿voy pillando un abogado?
 
en qué parte dicen eso de que no es legal?
 
brent dijo:
en qué parte dicen eso de que no es legal?
Hacer clic para expandir...


"Acceder, controlar o copiar cualquier información incluida en esta Web y apps utilizando para ello cualquier tipo de robot, spider, scraper u otro medio automático o proceso manual para cualquier propósito, sin nuestro permiso expreso y por escrito. "


Tienes que estar registrado para ver este contenido
 
makaveli_sano dijo:
Según sus normas o condiciones esta prohibido hacer scraping en su portal web, para extraer datos.

Mi idea es hacerlo para mostrar info(en un sitio web) sobre la evolución de precios de las viviendas en españa, sin dar muchos detalles.

¿es realmente ilegal? ¿voy pillando un abogado?
Hacer clic para expandir...
saca datos de otras webs tambien.
 
No.

Vi una startup financiada por BBVA. Donde recogían datos de los precios de productos de todo un sector era tan bueno el software que te decían cuando hacian las ofertas y todo...encima con un histórico de precios y ofertas...

Eso si este software picaba un poco y dependiendo de cuanto pagaras te dejaban acceder al historico de precios de X empresas y X cantidad de productos.

Si fuera ilegal el BBVA no lo hubiera financiado...

Si la encuentro la startup esta te la paso por MP.
 
Cualquier cosa que está en Internet es de dominio público.

Ellos pueden decir misa. Otra cosa es que quieras copiar su web y comerciar con una réplica de idealista, y encima en un alojamiento de legislación europea.
 
tremenk dijo:
No.

Vi una startup financiada por BBVA. Donde recogían datos de los precios de productos de todo un sector era tan bueno el software que te decían cuando hacian las ofertas y todo...encima con un histórico de precios y ofertas...

Eso si este software picaba un poco y dependiendo de cuanto pagaras te dejaban acceder al historico de precios de X empresas y X cantidad de productos.

Si fuera ilegal el BBVA no lo hubiera financiado...

Si la encuentro la startup esta te la paso por MP.
Hacer clic para expandir...


gracias, por lo que comentan, sería ilegal si se trataría de un plagio como tal, pero en este caso, es solo para tema estadístico y ni mucho menos tumbar el servidor haciendo peticiones constantes.
 
Podrías explicar a grandes rasgos como se puede hacer lo que comentas? Estaría bien incluso para uso casero si no es demasiado complicado
 
makaveli_sano dijo:
Según sus normas o condiciones esta prohibido hacer scraping en su portal web, para extraer datos.

Mi idea es hacerlo para mostrar info(en un sitio web) sobre la evolución de precios de las viviendas en españa, sin dar muchos detalles.

¿es realmente ilegal? ¿voy pillando un abogado?
Hacer clic para expandir...

Yo intenté hacerlo y tienen protección, no dediqué mucho tiempo a intentar romperla porque, teniendo medidas expresas para evitar el scrapping, me parece que legalmente es bastante pantanoso. Luego vi que tienen una API pública, pedi acceso y me lo dieron, pero muy limitado (100 peticiones al mes si no recuerdo mal, que no me llega para lo que quería hacer).

Tienes que estar registrado para ver este contenido


Con fotocasa sí que funciona el scrapping. Les escribí para ver si tienen una API para controlar accesos o algo así para fastidiarles lo menos posible y me dijeron que no. Al final tampoco hice nada, pero bueno.
 
Rodolfo Langostino dijo:
Podrías explicar a grandes rasgos como se puede hacer lo que comentas? Estaría bien incluso para uso casero si no es demasiado complicado
Hacer clic para expandir...

¿Sabes programar?

Python tiene una librería muy famosa, scrappy, para estas cosas. Es lo que se usa hoy en día, pero no la controlo.

Pero bueno, se puede acceder con cualquier lenguaje que tenga una librería cliente para web (hoy en día, prácticamente todos). Básicamente el programa hace una petición a la web (como si fuera un navegador), y extrae los datos que interesen. es un porque en cuanto cambien el formato de la página se va todo tu trabajo a la fruta.
 
anonimocobarde dijo:
Yo intenté hacerlo y tienen protección, no dediqué mucho tiempo a intentar romperla porque, teniendo medidas expresas para evitar el scrapping, me parece que legalmente es bastante pantanoso. Luego vi que tienen una API pública, pedi acceso y me lo dieron, pero muy limitado (100 peticiones al mes si no recuerdo mal, que no me llega para lo que quería hacer).

Tienes que estar registrado para ver este contenido


Con fotocasa sí que funciona el scrapping. Les escribí para ver si tienen una API para controlar accesos o algo así para fastidiarles lo menos posible y me dijeron que no. Al final tampoco hice nada, pero bueno.
Hacer clic para expandir...
Necesitas cambiar de proxy con herramientas de pago

Tienes que estar registrado para ver este contenido


Tienes que estar registrado para ver este contenido
 
Máximo Décimo Hispanio dijo:
Necesitas cambiar de proxy con herramientas de pago

Tienes que estar registrado para ver este contenido


Tienes que estar registrado para ver este contenido
Hacer clic para expandir...
Te dedicas al tema de scrapping?
Ultimamente lo he estado mirando y de oidas se de algunas personas que supuestamente viven de ello, pero la verdad es que parece un poco dolido poder vivir de algo así.
 
Tienen un sistema de análisis de logs que detecta scrapping y banea las IPs. Lo sé porque tengo un excompañero de trabajo que actualmente trabaja allí y formó parte de ese desarrollo. Te lo banearán en poco tiempo.

Es decir, antes te caparán el bot que denunciarte y cosas así. No les compensa tanto.

Pasa igual en muchos otros sitios, como casas de apuestas, donde el scrapping está muy vigilado y algunos sites son realmente buenos detectándolo.
 
no lom permiten en su pollítica pero haces un puro script y te bajas todo 1 vez por semana o así y ya. no lo van a notar.
 
Los scrapers son vistos por la web como un navegador normal, si eres mínimamente hábil te bajas la información que quieras y no se entera nadie. Hablo de los cambios y datos más recientes, otra cosa es que quieras bajarte la web entera en 10min. (y pillo sitio a ver si decís algo interesante).

edito
Por cierto, os dejo este video que me parece muy ilustrativo, en este caso sobre como escrapear fotos de instagram con Selenium. Pero hay muchos más ejemplos.
NOTA: no saquéis una idea equivocada antes de ver el video A pesar del aspecto shorteen premium de la programadora la chica controla un cigot (y no es tan chortina como aparenta).
 
Última edición:
Idealista tiene un sistema comercial antiscrapping. Lo sé porque lo he investigado.

si quieres hacerlo tienes que simular un browser y comportamiento humano. Algo como puppeteer y tal
 
lowfour dijo:
Idealista tiene un sistema comercial antiscrapping. Lo sé porque lo he investigado.

si quieres hacerlo tienes que simular un browser y comportamiento humano. Algo como puppeteer y tal
Hacer clic para expandir...

Yo cuando hago escraping voy "navegando" con mi ratón por donde me interesa y según descargo se va guardándo todo en la base de datos (fotos incluidas). No me estoy bajando todo (está claro) pero guardo la información que me vale a mí y además con un histórico de años que eso vale su peso en oro.
 
Iniciar sesión o registrarte para responder aquí.

Estadísticas del foro

Temas
2.049.129
Mensajes
58.139.106
Miembros
190.822
Último miembro
brubire

El blog de burbuja.info

Volver