Zero-Shot Prompting

Große LLMs (Language-Modelle) wie beispielsweise GPT-5, Claude 3 oder Qwen sind gegenwärtig darauf ausgelegt, Instruktionen zu befolgen, und wurden mit umfangreichen Datenmengen trainiert. Das groß angelegte Training befähigt diese Modelle dazu, bestimmte Aufgaben auf “Zero-Shot”-Weise zu bewältigen. Zero-Shot-Prompting bezeichnet einen Prompt, der keine Beispiele oder Demonstrationen enthält und das Modell direkt anweist, eine Aufgabe ohne zusätzliche Beispiele auszuführen.

Im Folgenden wird ein Beispiel für Zero-Shot-Prompting vorgestellt (Text-Klassifizierung):

Klassifizieren Sie den Text als neutral, negativ oder positiv.

Text: Ich finde den Urlaub okay.
Empfindung:

Neutral

Es ist zu beachten, dass im oben genannten Prompt keine Beispiele für Texte zusammen mit ihren Klassifizierungen enthalten sind; das LLM interpretiert den Begriff “Empfindung” bereits, dies veranschaulicht die Zero-Shot-Fähigkeiten in der Praxis.

Instruction Tuning hat sich als eine Verbesserung des Zero-Shot-Learnings erwiesen Wei et al. (2022)¹. Instruction Tuning bezeichnet im Wesentlichen das Feinabstimmen von Modellen anhand von Datensätzen, die durch Anweisungen beschrieben werden. Darüber hinaus wurde RLHF (Reinforcement Learning from Human Feedback) gemäß Christiano et al. (2023)² adaptiert, um das Instruction Tuning zu skalieren, wobei das Modell auf eine bessere Übereinstimmung mit menschlichen Präferenzen ausgerichtet wird. Diese jüngste Entwicklung bildet die Grundlage für Modelle wie ChatGPT. Die verschiedenen Ansätze und Methoden werden in den folgenden Abschnitten erläutert.

Erweist sich Zero-Shot-Prompting als unzureichend, empfiehlt es sich, Demonstrationen oder Beispiele im Prompt bereitzustellen, was zum Few-Shot-Prompting führt. Im anschließenden Abschnitt wird Few-Shot-Prompting vorgestellt.