Zum Inhalt springen
Wiki zur Einführung
Künstliche Intelligenz
Grundlagen & Begriffe
Natural Langugage Processing (NLP)

Natural Langugage Processing (NLP)

Natural Language Processing (NLP) bezeichnet den Teilbereich der Künstlichen Intelligenz, der sich mit der automatisierten Verarbeitung, Interpretation und Generierung menschlicher Sprache befasst. Ziel ist es, Maschinen in die Lage zu versetzen, natürliche Sprache zu verstehen und zu erzeugen.1 Die Entwicklung leistungsfähiger NLP-Systeme ist eng mit Fortschritten im maschinellen Lernen, insbesondere im Deep Learning, verbunden. Durch die Einführung von Wort-Embeddings wie word2vec2, GloVe3 oder Kontextrepräsentationen wie BERT4 wurde es möglich, sprachliche Bedeutungen in Vektorräumen zu modellieren. Dies ermöglicht Maschinen semantisches Schließen und kontextsensitives Verständnis.

Mit dem Aufkommen transformerbasierter Architekturen wie GPT1 5 hat NLP eine neue Qualität erreicht. Solche Modelle bewältigen Aufgaben wie Fragebeantwortung, Zusammenfassung, Übersetzung oder Textklassifikation mit hoher Genauigkeit, teils ohne spezifisches Fine-Tuning.6 7 Modelle wie GPT-4 zeigen, wie sich generative Sprachverarbeitung mit Retrieval-gestützten Methoden kombinieren lässt, um Textverständnis zu verbessern.8 Moderne NLP-Systeme profitieren zudem von RAG-Ansätzen, bei denen externe Wissensquellen in den Generierungsprozess eingebunden werden. Dies erhöht die Verlässlichkeit bei komplexen, wissensintensiven Fragen. Aufbauend auf diesen Methoden lassen sich generative KI-Systeme weiter differenzieren, wie im nächsten Abschnitt beschrieben.

  1. Yenduri, G., Ramalingam, M., Selvi, G. C., Supriya, Y., Srivastava, G., Maddikunta, P. K. R., Raj, G. D., Jhaveri, R. H., Prabadevi, B., Wang, W., Vasilakos, A. V., & Gadekallu, T. R. (2024). GPT (Generative Pre-Trained Transformer)—A Comprehensive Review on Enabling Technologies, Potential Applications, Emerging Challenges, and Future Directions. IEEE Access, 12, 54608–54649. https://doi.org/10.1109/ACCESS.2024.3389497 ↩︎ ↩︎

  2. Mikolov, T., Chen, K., Corrado, G., & Dean, J. (2013). Efficient Estimation of Word Representations in Vector Space (No. arXiv:1301.3781). arXiv. https://doi.org/10.48550/arXiv.1301.3781 ↩︎

  3. Pennington, J., Socher, R., & Manning, C. D. (2014). GloVe: Global Vectors for Word Representation. Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, 1532–1543. https://doi.org/10.3115/v1/D14-1162 ↩︎

  4. Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (No. arXiv:1810.04805). arXiv. https://doi.org/10.48550/arXiv.1810.04805 ↩︎

  5. Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., & Polosukhin, I. (2023). Attention Is All You Need (No. arXiv:1706.03762). arXiv. https://doi.org/10.48550/arXiv.1706.03762 ↩︎

  6. Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., Küttler, H., Lewis, M., Yih, W., Rocktäschel, T., Riedel, S., & Kiela, D. (2021). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (No. arXiv:2005.11401). arXiv. https://doi.org/10.48550/arXiv.2005.11401 ↩︎

  7. Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., Neelakantan, A., Shyam, P., Sastry, G., Askell, A., Agarwal, S., Herbert-Voss, A., Krueger, G., Henighan, T., Child, R., Ramesh, A., Ziegler, D. M., Wu, J., Winter, C., … Amodei, D. (2020). Language Models are Few-Shot Learners (No. arXiv:2005.14165). arXiv. https://doi.org/10.48550/arXiv.2005.14165 ↩︎

  8. OpenAI, Achiam, J., Adler, S., Agarwal, S., Ahmad, L., Akkaya, I., Aleman, F. L., Almeida, D., Altenschmidt, J., Altman, S., Anadkat, S., Avila, R., Babuschkin, I., Balaji, S., Balcom, V., Baltescu, P., Bao, H., Bavarian, M., Belgum, J., … Zoph, B. (2024). GPT-4 Technical Report (No. arXiv:2303.08774). arXiv. https://doi.org/10.48550/arXiv.2303.08774 ↩︎

Zuletzt aktualisiert am
Deep Learning (DL)Generative AI (GenAI)