Firecrawl
firecrawl/firecrawl
Firecrawl toma una URL y te devuelve la página como Markdown limpio o como JSON con la estructura que le pidas, resolviendo por ti JavaScript, proxies y límites de peticiones. Tiene endpoints para rastrear un sitio entero, buscar en la web, extraer contenido de PDF y DOCX alojados y ejecutar acciones (clic, scroll, escribir, esperar) antes de extraer. Se conecta a agentes y clientes MCP con un comando.
Puedes usar la nube de firecrawl.dev con clave de API o autoalojar el repositorio con Docker. Ten en cuenta la licencia AGPL-3.0 si lo integras en un producto que distribuyes o expones como servicio.
Relacionados
Crawl4AI
unclecode/crawl4ai
Crawler y scraper en Python que convierte la web en Markdown listo para RAG, agentes y pipelines de datos; sin claves ni cuentas.
Crawlee
apify/crawlee
Librería de Node.js para construir crawlers fiables con Playwright, Puppeteer, Cheerio o HTTP puro, con rotación de proxies.
Steel Browser
steel-dev/steel-browser
API de navegador para agentes y apps de IA: sesiones, proxies y captura de datos en un servicio que despliegas tú.
Dify
langgenius/dify
Plataforma visual para crear apps de IA: workflows agénticos, RAG y herramientas, con soporte para decenas de modelos.
Actualizado el