Few-Shot Prompting

Obwohl Großsprachmodelle bemerkenswerte Fähigkeiten im Zero-Shot-Setting demonstrieren, zeigen sie bei komplexeren Aufgaben im Zero-Shot-Modus dennoch Schwächen. Few-Shot Prompting stellt eine Technik dar, die das Lernen im Kontext ermöglicht, indem Demonstrationen im Prompt bereitgestellt werden, um das Modell zu einer verbesserten Leistung zu führen. Die Demonstrationen dienen als Konditionierung für nachfolgende Beispiele, bei denen das Modell eine Antwort generieren soll.

Gemäß Touvron et al. (2023)¹ traten Few-Shot-Eigenschaften erstmals auf, als die Modelle auf eine ausreichende Größe skaliert wurden (Kaplan et al., 2020²). Few-Shot Prompting lässt sich anhand des folgenden Beispiels veranschaulichen, das in Brown et al. (2020)³ präsentiert wurde. Das Beispiel zeigt, wie ein neues Wort korrekt in einem Satz verwendet wird.

Ein "Whatpu" ist ein kleines, pelziges Tier, das in Tansania heimisch ist. Ein Beispiel für einen Satz, der das Wort Whatpu verwendet, ist:
Wir reisten in Afrika, und wir sahen diese sehr süßen Whatpus.
"farduddeln" bedeutet, sehr schnell auf und ab zu springen. Ein Beispiel für einen Satz, der das Wort farduddeln verwendet, ist:

Als wir das Spiel gewannen, begannen wir alle zu farduddeln, um zu feiern.

Es lässt sich beobachten, dass das Modell die Aufgabe zu erfüllen gelernt hat, obwohl nur ein Beispiel (d. h. 1-Shot) bereitgestellt wurde. Bei komplexeren Aufgaben kann experimentell untersucht werden, wie sich eine Erhöhung der Demonstrationen (z. B. 3-Shot, 5-Shot, 10-Shot usw.) auf die Leistung auswirkt.

Gemäß den Erkenntnissen von Min et al. (2022)⁴ sind folgende Aspekte bei Demonstrationen/Beispielen im Few-Shot Prompting relevant:

• „Der Label-Raum und die Verteilung des eingegebenen Texts, die durch die Demonstrationen spezifiziert werden, sind beide wichtig (unabhängig davon, ob die Labels für einzelne Eingaben korrekt sind).“
• Das verwendete Format spielt ebenfalls eine Schlüsselrolle für die Leistung; selbst bei zufälligen Labels ist dies deutlich besser als das vollständige Fehlen von Labels.
• Weitere Ergebnisse zeigen, dass das Auswählen zufälliger Labels aus einer echten Labelverteilung (anstatt einer gleichförmigen Verteilung) ebenfalls förderlich ist.

Anhand einiger Beispiele lässt sich dies verdeutlichen. Zunächst wird ein Beispiel mit zufälligen Labels präsentiert, bei dem die Labels „Negativ“ und „Positiv“ zufällig den Eingaben zugeordnet sind:

Das ist toll! // Negativ
Das ist schlecht! // Positiv
Wow, dieser Film war klasse! // Positiv
Was für eine fürchterliche Vorstellung! //

Negativ

Die korrekte Antwort wird weiterhin generiert, obwohl die Labels zufällig zugeordnet wurden. Dabei wird das Format beibehalten, was ebenfalls zur Leistung beiträgt. Neuere GPT-Modelle zeigen zudem eine zunehmende Robustheit gegenüber zufälligen Formaten. Ein Beispiel hierfür:

Positiv Das ist toll!
Das ist schlecht! Negativ
Wow, dieser Film war klasse!
Positiv
Was für eine fürchterliche Vorstellung! --

Negativ

Obwohl im obigen Beispiel keine Konsistenz im Format vorliegt, sagt das Modell dennoch das korrekte Label voraus. Eine umfassendere Analyse ist erforderlich, um zu bestätigen, ob dies für verschiedene und komplexere Aufgaben sowie unterschiedliche Prompt-Variationen gilt.

Limitationen des Few-Shot Prompting

Standardmäßiges Few-Shot Prompting funktioniert für viele Aufgaben zufriedenstellend, stellt jedoch keine perfekte Technik dar, insbesondere bei komplexeren Denkaufgaben. Die nachfolgende Demonstration verdeutlicht diese Einschränkung. Das folgende Beispiel beschreibt die Aufgabe:

Die ungeraden Zahlen in dieser Gruppe addieren sich zu einer geraden Zahl: 15, 32, 5, 13, 82, 7, 1.

A:

Wird dies erneut getestet, gibt das Modell folgende Antwort aus:

Ja, die ungeraden Zahlen in dieser Gruppe addieren sich zu 107, was eine gerade Zahl ist.

Diese Antwort ist nicht korrekt, was nicht nur die Grenzen der Systeme aufzeigt, sondern auch den Bedarf an fortgeschrittenerem Prompt Engineering verdeutlicht.

Durch Hinzufügen einiger Beispiele wird geprüft, ob Few-Shot Prompting die Resultate verbessert:

Die ungeraden Zahlen in dieser Gruppe addieren sich zu einer geraden Zahl: 4, 8, 9, 15, 12, 2, 1.
A: Die Antwort ist falsch.

Die ungeraden Zahlen in dieser Gruppe addieren sich zu einer geraden Zahl: 17, 10, 19, 4, 8, 12, 24.
A: Die Antwort ist wahr.

Die ungeraden Zahlen in dieser Gruppe addieren sich zu einer geraden Zahl: 16, 11, 14, 4, 8, 13, 24.
A: Die Antwort ist wahr.

Die ungeraden Zahlen in dieser Gruppe addieren sich zu einer geraden Zahl: 17, 9, 10, 12, 13, 4, 2.
A: Die Antwort ist falsch.

Die ungeraden Zahlen in dieser Gruppe addieren sich zu einer geraden Zahl: 15, 32, 5, 13, 82, 7, 1.
A:

Die Antwort ist wahr.

Das Ergebnis zeigt, dass Few-Shot Prompting in diesem Fall nicht ausreicht, um zuverlässige Antworten für diese Art von Denkaufgabe zu generieren. Das Beispiel liefert grundlegende Informationen zur Aufgabe. Eine genauere Betrachtung verdeutlicht, dass die Aufgabe zusätzliche Denkschritte erfordert. Eine mögliche Verbesserung besteht darin, das Problem in Teilschritte zu zerlegen und diese dem Modell zu demonstrieren. In diesem Zusammenhang wurde jüngst das sogenannte Chain-of-Thought (CoT) Prompting⁵ populär, das komplexere arithmetische, alltagsbezogene und symbolische Denkaufgaben adressiert.

Zusammenfassend lässt sich feststellen, dass das Bereitstellen von Beispielen hilfreich sein kann, um bestimmte Aufgaben zu lösen. Wenn Zero-Shot Prompting und Few-Shot Prompting nicht ausreichen, deutet dies darauf hin, dass das im Modell gespeicherte Wissen für die jeweilige Aufgabe nicht hinreichend ist. In solchen Fällen wird empfohlen, das Fine-Tuning der Modelle in Betracht zu ziehen oder fortgeschrittene Prompting-Techniken zu nutzen. Im Folgenden wird eine der populären Methoden, das Chain-of-Thought Prompting, näher erläutert.