Zum Inhalt springen

Generiertes Wissens-Prompting

Generiertes Wissens-Prompting nach Liu et al.
Liu et al. (2022)

Große Sprachmodelle (LLMs) werden kontinuierlich weiterentwickelt, wobei eine verbreitete Technik darin besteht, Wissen oder Informationen einzubinden, um die Genauigkeit der Vorhersagen zu verbessern.

Es stellt sich die Frage, ob das Modell mit einer ähnlichen Idee genutzt werden kann, um Wissen zu generieren, bevor eine Vorhersage getroffen wird. Genau dies wird im Paper von Liu et al. (2022)1 untersucht: Wissen zu generieren, das als Bestandteil des Prompts verwendet wird. Die Fragestellung betrifft insbesondere die Nützlichkeit dieser Methode für Aufgaben wie Schlussfolgerungen auf Basis von gesundem Menschenverstand.

Zur Veranschaulichung dient der folgende einfache Prompt:

Prompt
Teil des Golfspiels ist es, eine höhere Punktzahl als andere zu erzielen. Ja oder Nein?
Ausgabe
Ja.

Diese Art von Fehlern verdeutlicht die Grenzen von LLMs bei Aufgaben, die ein tiefergehendes Weltwissen erfordern. Wie kann dieses Defizit durch Wissensgenerierung überwunden werden?

Zunächst werden exemplarisch einige “Wissensstände” generiert:

Ausgabe
Eingabe: Griechenland ist größer als Mexiko.
Wissen: Griechenland ist ungefähr 131.957 Quadratkilometer groß, während Mexiko ungefähr 1.964.375 Quadratkilometer groß ist. Mexiko ist daher 1.389% größer als Griechenland.

Eingabe: Brillen beschlagen immer.
Wissen: Kondensation tritt auf Brillengläsern auf, wenn Wasserdampf aus Ihrem Schweiß, Atem und der umgebenden Feuchtigkeit auf eine kalte Oberfläche trifft, abkühlt und sich dann in winzige Flüssigkeitströpfchen verwandelt und einen Film bildet, den Sie als Beschlag wahrnehmen. Ihre Gläser werden im Vergleich zu Ihrem Atem relativ kühl sein, besonders wenn die Außenluft kalt ist.

Eingabe: Ein Fisch ist in der Lage zu denken.
Wissen: Fische sind intelligenter, als sie scheinen. In vielen Bereichen, wie beispielsweise dem Gedächtnis, stehen ihre kognitiven Fähigkeiten denen von 'höheren' Wirbeltieren, einschließlich nichtmenschlicher Primaten, in nichts nach. Die Langzeitgedächtnisse der Fische helfen ihnen, komplexe soziale Beziehungen im Überblick zu behalten.

Eingabe: Eine häufige Wirkung des Rauchens vieler Zigaretten im Laufe des Lebens ist eine überdurchschnittlich hohe Wahrscheinlichkeit, Lungenkrebs zu bekommen.
Wissen: Diejenigen, die konstant weniger als eine Zigarette pro Tag im Laufe ihres Lebens geraucht haben, hatten ein neunmal höheres Risiko an Lungenkrebs zu sterben als Nichtraucher. Bei Personen, die zwischen einer und 10 Zigaretten pro Tag rauchten, war das Risiko an Lungenkrebs zu sterben fast 12 Mal höher als bei Nichtrauchern.

Eingabe: Ein Stein ist genauso groß wie ein Kiesel.
Wissen: Ein Kiesel ist ein Gesteinsfragment mit einer Partikelgröße von 4 bis 64 Millimetern nach der Udden-Wentworth-Skala der Sedimentologie. Kiesel werden allgemein als größer als Granulate (2 bis 4 Millimeter Durchmesser) und kleiner als Gerölle (64 bis 256 Millimeter Durchmesser) angesehen.

Eingabe: Teil des Golfspiels ist es, eine höhere Punktzahl als andere zu erzielen.
Wissen:
Wissen 1
Das Ziel des Golfs ist es, eine Reihe von Löchern mit möglichst wenigen Schlägen zu spielen. Eine Golfrunde besteht typischerweise aus 18 Löchern. Jedes Loch wird in der Runde auf einem Standardgolfplatz einmal gespielt. Jeder Schlag wird als ein Punkt gezählt, und die Gesamtzahl der Schläge wird verwendet, um den Gewinner des Spiels zu bestimmen.
Wissen 2
Golf ist eine Präzisionssportart mit Schläger und Ball, bei der konkurrierende Spieler (oder Golfer) viele Arten von Schlägern verwenden, um Bälle in einer Reihe von Löchern auf einem Kurs mit der geringsten Anzahl von Schlägen zu treffen. Das Ziel ist es, den Kurs mit der niedrigsten Punktzahl zu beenden, die durch das Zusammenzählen der Gesamtzahl der Schläge auf jedem Loch berechnet wird. Der Spieler mit der niedrigsten Punktzahl gewinnt das Spiel.

Der im Paper von Liu et al. (2022)1 verwendete Prompt wird anschließend eingesetzt.

Der nächste Schritt besteht in der Integration des generierten Wissens und der Erstellung einer Vorhersage. Die Frage wurde in ein QA-Format überführt, um das Antwortformat zu steuern.

Prompt
Frage: Teil des Golfspiels ist es, eine höhere Punktzahl als andere zu erzielen. Ja oder Nein?

Wissen: Das Ziel des Golfs ist es, eine Reihe von Löchern mit möglichst wenigen Schlägen zu spielen. Eine Golfrunde besteht typischerweise aus 18 Löchern. Jedes Loch wird in der Runde auf einem Standardgolfplatz einmal gespielt. Jeder Schlag wird als ein Punkt gezählt, und die Gesamtzahl der Schläge wird verwendet, um den Gewinner des Spiels zu bestimmen.

Erkläre und antworte:
Antwort 1 (Vertrauen sehr hoch)
Nein, das Ziel des Golfs besteht nicht darin, eine höhere Punktzahl als andere zu erzielen, sondern eine Reihe von Löchern mit möglichst wenigen Schlägen zu spielen. Die Gesamtzahl der Schläge wird verwendet, um den Gewinner des Spiels zu bestimmen, nicht die Gesamtzahl der Punkte.
Prompt
Frage: Teil des Golfspiels ist es, eine höhere Punktzahl als andere zu erzielen. Ja oder Nein?

Wissen: Golf ist eine Präzisionssportart mit Schläger und Ball, bei der konkurrierende Spieler (oder Golfer) viele Arten von Schlägern verwenden, um Bälle in einer Reihe von Löchern auf einem Kurs mit der geringsten Anzahl von Schlägen zu treffen. Das Ziel ist es, den Kurs mit der niedrigsten Punktzahl zu beenden, die durch das Zusammenzählen der Gesamtzahl der Schläge auf jedem Loch berechnet wird. Der Spieler mit der niedrigsten Punktzahl gewinnt das Spiel.

Erkläre und antworte:
Antwort 2 (Vertrauen deutlich niedriger)
Ja, ein Teil des Golfspiels ist es, zu versuchen eine höhere Punktzahl als andere zu erzielen. Jeder Spieler versucht, den Kurs mit der niedrigsten Punktzahl zu beenden, die durch das Zusammenzählen der Gesamtzahl der Schläge auf jedem Loch berechnet wird. Der Spieler mit der niedrigsten Punktzahl gewinnt das Spiel.

Das Beispiel illustriert mehrere interessante Aspekte. Die erste Antwort zeigt eine hohe Zuversicht des Modells, während die zweite Antwort eine deutlich geringere Zuversicht widerspiegelt. Der dargestellte Prozess wurde zu Demonstrationszwecken vereinfacht; im Originalpapier werden weitere Details erläutert, die für die endgültige Antwortfindung relevant sind.


  1. Liu, J., Liu, A., Lu, X., Welleck, S., West, P., Bras, R. L., Choi, Y., & Hajishirzi, H. (2022). Generated Knowledge Prompting for Commonsense Reasoning (No. arXiv:2110.08387). arXiv. https://doi.org/10.48550/arXiv.2110.08387 ↩︎ ↩︎

Zuletzt aktualisiert am