Deep Learning (DL)
Deep Learning (DL) ist ein Teilgebiet des maschinellen Lernens, das auf künstlichen neuronalen Netzen mit vielen versteckten Schichten basiert. Es erlaubt die automatische Extraktion komplexer Merkmale direkt aus Rohdaten und wird insbesondere bei großen, hochdimensionalen Datensätzen eingesetzt. Typische Architekturen sind Convolutional Neural Networks (CNNs) für Bildverarbeitung und Transformer-Modelle nach Vaswani et al.1 für sequenzielle Daten wie Sprache oder Text.1 2 3 Die hohe Leistungsfähigkeit tiefen Lernens bildet heute die Grundlage zahlreicher KI-Anwendungen. Moderne generative KI, etwa GPT‑44, basiert auf tiefen Netzen, die Texte, Bilder oder multimodale Inhalte erzeugen können.1
Die Eingabeschicht nimmt Rohdaten wie Pixelwerte oder numerische Variablen auf. In den verborgenen Schichten transformieren künstliche Neuronen die Eingaben durch Gewichtung und Aktivierungsfunktionen, wobei zunehmend abstrakte Merkmale gelernt werden. Die Ausgabeschicht liefert schließlich das Ergebnis, etwa eine Klassenzuordnung oder einen numerischen Wert, und dient als Grundlage für die Fehlerberechnung im Training.2 Damit schafft Deep Learning die methodische Basis für generative KI-Systeme, die eigenständig Inhalte erzeugen. Auf dieser Grundlage lassen sich auch Verfahren der natürlichen Sprachverarbeitung verstehen, wie im nächsten Abschnitt beschrieben.
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., & Polosukhin, I. (2023). Attention Is All You Need (No. arXiv:1706.03762). arXiv. https://doi.org/10.48550/arXiv.1706.03762 ↩︎ ↩︎ ↩︎
Taulli, T. (2023). Grundlagen der Künstlichen Intelligenz: Eine nichttechnische Einführung (1. Aufl. 2022). Springer Berlin Heidelberg. https://doi.org/10.1007/978-3-662-66283-0 ↩︎ ↩︎
Yenduri, G., Ramalingam, M., Selvi, G. C., Supriya, Y., Srivastava, G., Maddikunta, P. K. R., Raj, G. D., Jhaveri, R. H., Prabadevi, B., Wang, W., Vasilakos, A. V., & Gadekallu, T. R. (2024). GPT (Generative Pre-Trained Transformer)—A Comprehensive Review on Enabling Technologies, Potential Applications, Emerging Challenges, and Future Directions. IEEE Access, 12, 54608–54649. https://doi.org/10.1109/ACCESS.2024.3389497 ↩︎
OpenAI, Achiam, J., Adler, S., Agarwal, S., Ahmad, L., Akkaya, I., Aleman, F. L., Almeida, D., Altenschmidt, J., Altman, S., Anadkat, S., Avila, R., Babuschkin, I., Balaji, S., Balcom, V., Baltescu, P., Bao, H., Bavarian, M., Belgum, J., … Zoph, B. (2024). GPT-4 Technical Report (No. arXiv:2303.08774). arXiv. https://doi.org/10.48550/arXiv.2303.08774 ↩︎