Ein Crawler, der speziell darauf ausgelegt ist, Inhalte fรผr den Einsatz in Kรผnstlicher Intelligenz (z. B. Large Language Models) aufzubereiten. Websites kรถnnen รผber spezielle Dateien wie llms.txt steuern, welche Inhalte fรผr KI-Systeme auslesbar sein sollen.