LlaveBot
LlaveBot reúne en un solo sitio los inmuebles en venta y alquiler que se publican en webs de la República Dominicana. Cada anuncio enlaza a su fuente original.
Cómo rastrea
- Se identifica siempre como
LlaveBot/1.0y cumple turobots.txt, que relee cada 24 horas. - Va a un ritmo moderado: por defecto, una página cada dos segundos por dominio; en los portales más grandes, unas pocas por segundo repartidas entre varias conexiones. Si tu
robots.txtfija unCrawl-delay, ese es el límite total. - Usa peticiones condicionales: si la página no cambió, no la vuelve a descargar.
- No evita bloqueos: si tu web responde 403, 429 de forma persistente o un reto antibot, deja de rastrearla.
Cómo pararlo
Añade a tu robots.txt:
User-agent: LlaveBot Disallow: /
Pedir la baja de un anuncio
Si eres el anunciante o el propietario y quieres que retiremos un anuncio, escríbenos. Lo resolvemos en un plazo máximo de 48 horas.