Für den verantwortungsvollen Umgang mit KI in der Forschung
Die rasante Entwicklung der Künstlichen Intelligenz ermöglicht in der Forschung und ihrer Förderung neben Effizienzgewinn auch neue Wege zu wissenschaftlichen Erkenntnissen. Aber auch die Risiken im Umgang mit KI sind zu berücksichtigen.
Forschende und Förderorganisationen setzen zunehmend Werkzeuge ein, die auf Künstlicher Intelligenz (KI) basieren. KI-Anwendungen helfen Forschenden, grosse Datenmengen zu verarbeiten, neue Zusammenhänge zu erkennen und Aufgaben wie Recherchen, redaktionelle Arbeiten oder Übersetzungen effizienter zu erledigen. Der transformative Charakter von KI kann in der Wissenschaft zahlreiche Disziplinen betreffen.
Der SNF ist sich nicht nur des Potenzials von KI-Systemen bewusst, sondern auch noch ungeklärten Fragen und Risiken ihrer Nutzung in der Wissenschaft. Dazu gehören beispielsweise die Wahrung der guten wissenschaftlichen Integrität und die Nachvollziehbarkeit und Reproduzierbarkeit der mit KI erzielten Resultate. Das Beantworten dieser Fragen ist selbst Gegenstand auch durch den SNF geförderter Forschung.
KI als Überbegriff
Künstliche Intelligenz beschreibt ein breites Spektrum an Technologien und Methoden. Darunter fallen Ansätze und Verfahren, die seit Jahrzehnten intensiv erforscht werden, wie beispielsweise das maschinelle Lernen (statistische Methoden, die Zusammenhänge in Datensätzen erkennen, um darauf aufbauend Vorhersagen zu treffen), neuronale Netze (Ansätze, die die Funktionsweise des menschlichen Gehirns nachahmen) oder das Natural Language Processing (Verarbeitung und Verständnis menschlicher Sprache). Die Simulation menschlicher Intelligenz ist dabei nur eines von vielen möglichen Zielen bzw. nur ein Anwendungszweck.
Aktuell stehen vor allem generative KI-Technologien im Fokus der öffentlichen Debatte. Sie erzeugen Inhalte wie Texte, Bilder oder Videos mittels Textbefehlen, sogenannte Prompts. Auch Forschende setzen die genannten Methoden in unterschiedlichen Disziplinen für die Datenanalyse und -verarbeitung, die Identifikation von Mustern und Zusammenhängen in Datensätzen, sowie für viele weitere Aufgaben ein.
Verantwortung bleibt bei Forschenden und Gutachtenden
Der SNF begrüsst es, wenn Forschende das Potenzial von KI für ihre Arbeit erschliessen. Wer KI in der Forschung einsetzt, bleibt für die erzielten Resultate verantwortlich und muss die Grundsätze der wissenschaftlichen Integrität sowie den Schutz vertraulicher Daten einhalten.
Das gilt auch für Fördergesuche und deren Begutachtung: Forschende und Gutachtende bleiben verantwortlich für Inhalte, Einschätzungen und Entscheide, die mit Unterstützung von KI entstehen.
Für interne und externe Gutachtende hat der SNF die Richtlinien angepasst. Sie halten fest, für welche Zwecke Gutachtende KI nutzen dürfen und welche Voraussetzungen dabei gelten.
Zuerst bilden sich die Gutachtenden eine eigene, unabhängige Meinung. Sie beurteilen die Qualität eines Gesuchs und die Fähigkeiten der Gesuchstellenden. Anschliessend kann die KI beispielsweise dabei helfen, das Gutachten sprachlich zu optimieren oder die Literaturrecherche zu unterstützen. Gutachtende müssen die Vertraulichkeit der ihnen anvertrauten Inhalte wahren. Sie dürfen nur KI Werkzeuge einsetzen, deren Einstellungen und Optionen sicherstellen, dass eingegebene Inhalte weder dauerhaft gespeichert noch für Trainingszwecke verwendet werden. Wenn Gutachtende ihre Bewertungen einreichen, müssen sie dem SNF offenlegen, ob und wie sie KI eingesetzt haben.
Der SNF nutzt bereits heute zwei Schlüsseltechnologien der KI für die Bearbeitung von Fördergesuchen: Natural Language Processing und Machine-Learning-Verfahren. Das Data-Team des SNF hat einen Ansatz entwickelt, um Mitarbeitende dabei zu unterstützen, Fördergesuche an Gutachtende zuzuweisen, die über die notwendige Expertise verfügen. Die Anwendung, die wir zurzeit testweise im Tagesgeschäft einsetzen, analysiert die Textähnlichkeit zwischen Ausschnitten der Gesuche und den Fachpublikationen der Gutachtenden. Auf dieser Basis schlägt das System dann Gutachtende vor. Die Vorschläge werden anschliessend von Mitarbeitenden des SNF überprüft und gegebenenfalls angepasst.
Der SNF tauscht sich ausserdem mit internationalen Förderungsorganisationen über Möglichkeiten aus, wie KI eingesetzt werden kann, um die Verarbeitung von Gesuchen zu optimieren. Ein Beispiel dafür ist das Projekt GRAIL («Getting Responsible about AI and machine learning in research funding and evaluation») des Research on Research Institute (RoRI). Das Mitte 2023 gestartete Projekt endete 2025 mit der Veröffentlichung eines Handbuchs zur verantwortungsvollen Nutzung von KI in der Forschungsförderung.
Links
- Research on Research Institute (Englisch)
- GRAIL-Projekt (Englisch)
- Handbuch zur verantwortungsvollen Nutzung von KI in der Forschungsförderung (Englisch)
Jahr
FAQ
Interne und externe Begutachtende tragen weiterhin die volle Verantwortung für ihre Beurteilungen. Diese müssen auf ihrem eigenen Fachwissen sowie auf einer sorgfältigen Prüfung des Gesuchs beruhen; für die internen Gutachtenden gilt dies gleichermassen in Bezug auf die externen Gutachten. KI-Tools dürfen ausschliesslich zur Unterstützung eingesetzt werden, nachdem die Gutachtenden das Gesuch sorgfältig gelesen und sich eine eigene (vorläufige) Meinung gebildet haben. In der Praxis darf KI eingesetzt werden, um die eigene Beurteilung des Gesuchs zu präzisieren und zu ergänzen. Es ist nicht zulässig, KI zu benutzen, um einzelne Teile oder die gesamte Beurteilung des Gesuchs zu generieren.
Unter «massgeblicher Nutzung von KI» ist jede Form der KI-Nutzung zu verstehen, bei der wesentliche Bestandteile des Gutachtens – etwa die kriterienbasierte Beurteilung, die Darstellung von Stärken und Schwächen oder die Gesamtbeurteilung des Gesuchs – ohne eigene Reflexion seitens der Gutachtenden generiert werden. Es ist nicht zulässig, wesentliche Teile eines Gutachtens zu verfassen, ohne dass die Gutachtenden eine eigenständige Beurteilung vorgenommen haben. Beispielsweise gilt es als unzulässige massgebliche Nutzung, ein KI-System damit zu beauftragen, das vollständige Gutachten eines Gesuchs oder wesentlicher Teile davon zu generieren.
Die zulässige KI-Nutzung beschränkt sich auf unterstützende Aufgaben, wie etwa die sprachliche Überarbeitung und Übersetzung, die Strukturierung eigener und/oder von Gutachtenden verfasster Notizen, die Unterstützung bei der Literaturrecherche sowie die Überarbeitung, Überprüfung und/oder Ergänzung eigener Bewertungsnotizen. Der inhaltliche Leistung der Beurteilung muss stets von den Gutachtenden selbst erbracht werden.
Ja. Jede Nutzung von KI-Tools bei der Erstellung einer Evaluation muss bei der Einreichung des Gutachtens offengelegt werden – auch dann, wenn die KI ausschliesslich in einer zulässigen, unterstützenden Funktion eingesetzt wurde.
Nur wenn das KI-Tool gemäss den Evaluationsrichtlinien des SNF (PDF) vollständige Vertraulichkeit und Datenschutz gewährleistet und einen Zugriff durch Dritte ausschliesst. Das KI-Tool darf die Inhalte der Gesuchsunterlagen weder zum Training von Modellen verwenden noch die Daten auf unbestimmte Zeit speichern. Die meisten öffentlich zugänglichen KI-Tools erfüllen diese Anforderungen standardmässig nicht und müssen manuell angepasst werden.
Institutionell gehostete KI-Tools dürfen verwendet werden, sofern sie strenge Anforderungen an Vertraulichkeit und Datenschutz erfüllen. Das KI-Tool darf – unabhängig davon, ob es intern oder institutionell gehostet wird – die Inhalte der Gesuchsunterlagen weder zum Training von Modellen verwenden noch Daten auf unbestimmte Zeit speichern. Das entscheidende Kriterium ist nicht die Art des Tools, sondern ob der vollständige Schutz der sensiblen Daten gewährleistet ist und diese nur für die Gutachtenden zugänglich sind.
Ja. Sofern sie den Evaluationsrichtlinien des SNF entsprechen, dürfen lokal gehostete KI-Tools ohne Internetzugang unterstützend eingesetzt werden, etwa zur sprachlichen Überarbeitung, für Übersetzungen, zur Unterstützung bei der Literaturrecherche sowie zur Verfeinerung und Ergänzung eigener Bewertungsnotizen. Die Gutachtenden tragen weiterhin die volle Verantwortung für das Ergebnis.
Zu den Hauptrisiken zählen der fachlichen Kontrolle über die Beurteilung sowie mögliche Verstösse gegen die Vertraulichkeit. Beides würde die Integrität des Evaluationsverfahrens untergraben.
Nein. Auch wenn die Arbeit anschliessend geprüft wird, ist es nicht zulässig, wesentliche Teile der Beurteilung mithilfe von KI zu erstellen, bevor eine eigene Begutachtung durch die Gutachtenden vorgenommen wurde (z. B. in Form von Stichpunkten). Die Evaluation muss vollständig unter der fachlichen Kontrolle der Gutachtenden bleiben. So ist beispielsweise der Einsatz von KI zulässig, um die eigene Beurteilung des Gesuchs zu präzisieren und zu ergänzen. Es ist nicht gestattet, mithilfe von KI eine vollständige Beurteilung des Gesuchs oder wesentlicher Teile davon zu generieren.
Ja, dies ist zulässig, sofern das KI-Tool gemäss den Evaluationsrichtlinien des SNF (PDF) vollständige Vertraulichkeit und Datenschutz gewährleistet und einen Zugriff durch Dritte ausschliesst.
Dies ist zulässig, sofern das KI-Tool gemäss den Evaluationsrichtlinien des SNF (PDF) vollständige Vertraulichkeit und Datenschutz gewährleistet und einen Zugriff durch Dritte ausschliesst.
Nein, das ist nicht erlaubt. Die Beurteilung muss sich ausschliesslich auf die von den Gesuchstellenden eingereichten Informationen sowie auf die vom SNF bereitgestellten Unterlagen stützen. Die bei den Gesuchstellenden angeforderten und in den offiziellen Unterlagen für das Gutachten enthaltenen Informationen sind ein wesentlicher Bestandteil des Evaluationsverfahrens.
Ja, dies ist zulässig, sofern KI-Tools dazu eingesetzt werden, das Fachwissen der Gutachtenden zu ergänzen, und nicht dazu, deren Beurteilung zu ersetzen. Eine zulässige Anwendung generativer KI könnte beispielsweise darin bestehen, ein KI-Tool damit zu beauftragen, bereits veröffentlichte Forschungsergebnisse zu suchen, die einen Bezug zu den im eingereichten Gesuch behandelten Fragestellungen aufweisen.