Originalarbeiterreichbar

Wallace et al. (OpenAI), The Instruction Hierarchy: Training LLMs to Prioritize Privileged Instructions

Wallace und Mitautoren von OpenAI nennen im April 2024 als eine Hauptschwäche, dass Modelle die Systemanweisung oft so gewichten wie Text von Anwendern und Dritten. Sie schlagen ein Training auf eine Rangfolge der Anweisungen vor und erproben es an GPT-3.5. Im Schlussabschnitt der Druckfassung halten sie fest, dass auch so trainierte Modelle wahrscheinlich angreifbar bleiben.

geprüft 10.11.2026

Worauf sich diese Seite beruft, wörtlich, abgerufen am 28.10.2026:

we argue that one of the primary vulnerabilities underlying these attacks is that LLMs often consider system prompts (e.g., text from an application developer) to be the same priority as text from untrusted users and third parties.bestätigt 10.11.2026
Today's LLMs are susceptible to prompt injections, jailbreaks, and other attacks that allow adversaries to overwrite a model's original instructions with their own malicious prompts.bestätigt 10.11.2026

05 Der Prompt

Alle Quellen