Crawl4AI
unclecode/crawl4ai
Crawl4AI nació para hacer una cosa muy concreta: pasar de una URL a Markdown que un modelo pueda leer bien, con encabezados, tablas y código conservados. Usa un pool de navegadores asíncrono, cachea, admite sesiones, proxies, cookies y hooks, y puede aprender la estructura de un sitio para rastrear solo lo que importa.
Se instala como librería de Python, tiene CLI y se despliega con Docker como servidor con API. Las versiones recientes se han centrado en la seguridad de ese servidor: autenticación activada por defecto y escucha solo en local si no le das un token.
Relacionados
Firecrawl
firecrawl/firecrawl
API para buscar, rastrear y extraer webs como Markdown o JSON listos para LLM y agentes; open source y con servicio en la nube.
AnythingLLM
Mintplex-Labs/anything-llm
App todo en uno para chatear con tus documentos y crear agentes, con modelos locales o en la nube; de escritorio o en servidor.
Crawlee
apify/crawlee
Librería de Node.js para construir crawlers fiables con Playwright, Puppeteer, Cheerio o HTTP puro, con rotación de proxies.
Dify
langgenius/dify
Plataforma visual para crear apps de IA: workflows agénticos, RAG y herramientas, con soporte para decenas de modelos.
Actualizado el