Ein Crawler, der speziell darauf ausgelegt ist, Inhalte für den Einsatz in Künstlicher Intelligenz (z. B. Large Language Models) aufzubereiten. Websites können über spezielle Dateien wie llms.txt steuern, welche Inhalte für KI-Systeme auslesbar sein sollen.