Transformer sind neuronale Netzwerke mit Self-Attention, die Kontextinformationen effizient verarbeiten. Sie bilden die Basis für Modelle wie GPT oder BERT.