Crawlee
apify/crawlee
Crawlee es la librería con la que Apify construye sus scrapers, publicada como paquete de Node.js con tipos para TypeScript. Encapsula lo tedioso de un crawler serio: cola de URLs, reintentos, concurrencia, rotación de proxies y sesiones, y te deja elegir el motor según lo que necesites: HTTP y Cheerio para páginas estáticas, Playwright o Puppeteer para las que dependen de JavaScript.
También descarga archivos (HTML, PDF, imágenes) y guarda los resultados en datasets locales, así que sirve igual para alimentar un RAG que para un scraping puntual.
Relacionados
Firecrawl
firecrawl/firecrawl
API para buscar, rastrear y extraer webs como Markdown o JSON listos para LLM y agentes; open source y con servicio en la nube.
Steel Browser
steel-dev/steel-browser
API de navegador para agentes y apps de IA: sesiones, proxies y captura de datos en un servicio que despliegas tú.
Crawl4AI
unclecode/crawl4ai
Crawler y scraper en Python que convierte la web en Markdown listo para RAG, agentes y pipelines de datos; sin claves ni cuentas.
Playwright
microsoft/playwright
Automatiza y prueba Chromium, Firefox y WebKit con una sola API; la base de muchos scrapers y agentes que usan el navegador.
Actualizado el