Cloudflares neuer `/crawl` Endpoint ermöglicht es dir, ganze Websites mit einem einzigen API-Aufruf zu crawlen. Er rendert Seiten in einem Headless Browser und gibt sie in HTML, Markdown oder JSON zurück, wobei er die robots.txt berücksichtigt.
Dieses Tool vereinfacht die Website-Datenerfassung, sodass du schnell Inhalte für Analysen, das Training von AI oder die Überwachung von Änderungen sammeln kannst, was dir viel Zeit und Mühe spart.