Human-Centred Natural Language Processing

Winter

HC-NLP

(in German: Human-Centred Natural Language Processing )

Intended learning outcomes:
English: The Human-Centered Natural Language Processing (HCNLP) course provides an in-depth exploration of how human language understanding can be modeled and enhanced through state-of-the-art Deep Learning techniques. By the end of the course, participants will be able to critically evaluate state-of-the-art language models, understand their inner mechanisms, and design novel approaches for human-centereder students with a background in machine learning and Python programming, the course offers a well-balanced combination of interactive lectures, seminars, and a hands-on project. Students will learn the essential concepts that underpin NLP models, from language representation and tokenization to transformers, large language models (LLMs), and multimodal AI architectures that combine text, vision, and reasoning. The course begins with foundational topics such as distributional semantics, sequence modeling, and deep architectures for text understanding. It then moves toward more advanced concepts including self-attention mechanisms, prompt optimization, fine-tuning, and reinforcement learning from human feedback (RLHF). The curriculum also highlights human-AI collaboration and the social, ethical, and interpretative aspects of generative systems. Students will apply these methods in a team project, where they design and implement an NLP system addressing a real-world research or industry-relevant problem. Each team develops a functional prototype, writes a scientific-style technical report (approx. 10–12 pages), and presents their results through a 30-minute oral presentation. This work allows them to connect theoretical knowledge with practical experimentation and innovation. The course emphasizes active participation: attendance is compulsory (at least 75% of sessions), and the final grade is based equally on the project implementation and the presentation. By the end of the course, participants will be able to critically evaluate state-of-the-art language models, understand their inner mechanisms, and design novel approaches for human-centered applications, empowering the next generation of NLP researchers and practitioners. German: Der Kurs Human-Centered Natural Language Processing (HCNLP) bietet eine tiefgehende Untersuchung, wie menschliche Sprachverarbeitung mithilfe modernster Deep-Learning-Methoden modelliert und verbessert werden kann. Er schafft Verbindungen zwischen Sprache, Kognition und Computertechnologien und vermittelt sowohl theoretische Grundlagen als auch praktische Anwendungen im Bereich der modernen Sprachverarbeitung (NLP). Das Lehrangebot richtet sich an Bachelor- und Masterstudierende mit Vorkenntnissen in Machine Learning und Python. Es kombiniert interaktive Vorlesungen, Seminare und ein praxisorientiertes Projekt, um ein umfassendes Verständnis aktueller NLP-Ansätze zu fördern. Themen sind unter anderem sprachliche Repräsentationen, Tokenisierung, Transformer-Modelle, Large Language Models, sowie multimodale KI-Systeme, die Text, Bild und Logik kombinieren. Der Kurs beginnt mit grundlegenden Konzepten wie distributionaler Semantik und Sequenzmodellierung und führt anschließend zu fortgeschrittenen Themen wie Self-Attention, Prompt-Design, Feintuning und Reinforcement Learning from Human Feedback (RLHF). Darüber hinaus werden Fragen der menschzentrierten KI-Kollaboration, der Erklärbarkeit und der ethischen Verantwortung moderner Sprachmodelle diskutiert. Im Abschlussprojekt wenden die Studierenden ihr Wissen praktisch an, indem sie ein NLP-System zu einem selbst gewählten oder vorgegebenen Thema entwickeln. Dabei erstellen sie ein funktionsfähiger Prototyp, verfassen einen technisch-wissenschaftlichen Bericht (ca. 10–12 Seiten) und präsentieren ihre Ergebnisse in einer 30-minütigen Präsentation. Dieses Projekt verbindet Forschung, Kreativität und angewandte Technik. Die Teilnahme an den Veranstaltungen ist verpflichtend (mindestens 75 % Anwesenheit). Die Endnote setzt sich zu gleichen Teilen aus der praktischen Umsetzung und der mündlichen Präsentation zusammen. Nach erfolgreichem Abschluss verfügen die Studierenden über das Wissen und die Fähigkeiten, moderne Sprachmodelle kritisch zu bewerten, zu verstehen und kreativ weiterzuentwickeln – eine ideale Vorbereitung auf zukünftige Tätigkeiten in Forschung und Industrie.

Content:
What is Human-Centered Natural Language Processing Traditional Natural Language Processing: Rule-based and Count-based Models Modern Natural Language Processing: Prediction-based Models Language Engineering Dataset Creation Dataset Curation with Human Values in Mind Human-Computer Interaction Human-Centered Evaluation of NLP Systems Human-Centered Design of NLP Systems Human-Centered NLP Applications: Digital Humanities, Legal Artificial Intelligence, Recommender Systems Human-AI Collaboration and Future Directions

Workload:
56 h contact time + 94h independent study + 30h project work

Comments: