NFS "IM2 – Interaktives multimodales Informationsmanagement" (2001-2013)

​NFS-Leiter: Prof. Hervé Bourlard (2001-2013)

Heiminstitution: Idiap, Martigny

Forschung des NFS und wichtigste Resultate

Der NFS IM2 befasste sich mit den zahlreichen Aspekten des "interaktiven, multimodalen Informationsmanagements". Das Ziel bestand darin, multimodale Schnittstellen zu entwickeln, die sich flexibel an eine breite Vielfalt von Nutzern, Aufgaben und Umgebungen anpassen können, für welche ein einzelner Modus (Text, Ton, Bild, Gestik usw.) nicht genügen würde. IM2 gehörte zu den Pionieren in der Entwicklung der fortgeschrittenen multimodalen Informationsverarbeitung sowie in der Indexierung und der Suche von multimodalen Dokumenten. Der NFS lieferte auch bedeutende Beiträge zu neuen Trends in Modellierung und Verständnis der Mensch-zu-Mensch-Kommunikation, zur multimodalen sozialen Signalverarbeitung und zur Evaluation der daraus entstehenden komplexen Systeme. Die wichtigsten Forschungsgebiete von IM2 waren Spracherkennung, Computer Vision, Browsing und Sitzungsanalyse, Dialogmanagement, Dokumentenrecherche und Multimodalität im Allgemeinen. Der "Intelligente Sitzungsraum" (Smart Meeting Room) – die Demo-Anwendung von IM2 – bildete einen guten Schnittpunkt für all diese verschiedenen Forschungsfelder.

Übersicht NFS-Projekte und beteiligte Forschungsgruppen