Titelcorona-auswahlverfahren
BeschreibungCorona Auswahlverfahren
Startdatum11.05.2020 00:00
Enddatum11.05.2070 00:00


Teaser Titel Deutsch
Auswahlverfahren
Teaser Content Deutsch

Der SNF hat die Sonderausschreibung Coronaviren mit hoher Dringlichkeit lanciert, um Forschungsresultate zur Bekämpfung der gesundheitlichen Notlage zu generieren: Die Ausschreibung dauerte nur 19 Tage, die Gesuche wurden innert sechs Wochen formell geprüft, wissenschaftlich begutachtet und vom Forschungsrat genehmigt. Dank dieser straffen Planung können die Projekte am 1. Juni 2020 starten, also weniger als drei Monate nach der Ausschreibung.

Die schnelle Umsetzung war möglich dank einem an die spezielle Situation angepassten Begutachtungsverfahren und neuen Ansätzen in der Evaluation. Dies betrifft namentlich die Auswahl der Expertinnen und Experten, die Art, wie ihnen die Gesuche zugeteilt wurden, sowie die Einstufung der Projekte

  • Formelle Prüfung: Die Geschäftsstelle prüfte wie üblich die eingereichten Gesuche auf Erfüllung der Voraussetzungen und informierte die Gesuchstellenden über das Ergebnis. Auf Gesuche, die gegen die Regeln der wissenschaftlichen Integrität oder der guten wissenschaftlichen Praxis verstossen, tritt der SNF nicht ein.
    Details
  • Auswahl der Expertinnen und Experten: Anders als bei anderen Ausschreibungen wurde ein passender Pool von Begutachtenden für die Sonderausschreibung bereits vor dem Eingang der Gesuche aus den verschiedenen relevanten Forschungsbereichen rekrutiert. Diese wurden vom Nationalen Forschungsrat empfohlen. An die 200 Expertinnen und Experten stellten sich zur Verfügung. Sie begutachteten meist mehrere Gesuche, wodurch Quervergleiche möglich wurden.
  • Zuordnung der Gesuche: Alle Expertinnen und Experten haben Keywords zu ihrem Forschungsprofil zur Verfügung gestellt. Diese Keywords sowie die Publikationsdaten der Expertinnen und Experten von Scopus (inklusive Titel, Keywords, Abstracts und Themenbereiche) wurden mittels eines Algorithmus auf der Grundlage von Text-Mining-Techniken mit den Gesuchen (Titeln, Keywords, Abstracts und Disziplinen) verglichen. Gleichzeitig glich er anhand eines Optimierungsverfahrens die Anzahl der Gesuche auf fünf bis sieben pro Person aus. Die so gewonnenen Zuordnungen wurden von der Geschäftsstelle des SNF abschliessend geprüft. Wo nötig, wurden zusätzliche Expertinnen oder Experten gesucht.
  • Rangierung und Bewilligung: Im Kontext von Covid-19 war das Standardverfahren nicht durchführbar, bei dem die Einzelbegutachtungen in einem SNF-internen Evaluationsgremium zu einem Quervergleich zwischen Projekten zusammengeführt werden. Der SNF musste daher die Projekte direkt auf Grundlage von durchschnittlich drei externen Gutachten rangieren. Dazu wandte er eine Mixed-Model-Regressionsanalyse an. Diese statistische Methode berücksichtigt bei der Bewertung von Unterschieden und bei der Etablierung einer Rangliste die Varianz in den Daten, die zufällig entsteht, beispielsweise durch unterschiedlich strenge Begutachtende oder durch unterschiedliche disziplinäre Bewertungskulturen. Solche Regressionsverfahren werden beispielsweise auch für Qualitätsvergleiche im Gesundheitsbereich verwendet. Das Präsidium des Forschungsrates bewilligte die bestrangierten Gesuche.
    Beispiel für eine Regressionsanalyse
Teaser Image Deutsch
Bildlegende Deutsch
Teaser URL Deutsch
 
URL Target Deutsch
Link im aktuellen Fenster öffnen

Teaser Titel Französisch
Procédure de sélection
Teaser Content Französisch

Le FNS a lancé un appel spécial coronavirus en urgence afin de générer des résultats de recherche pour lutter contre la crise sanitaire. Le délai de soumission était limité à 19 jours, et les demandes ont été examinées formellement, évaluées scientifiquement et approuvées par le Conseil de la recherche en l’espace de 6 semaines. Grâce à cette planification rigoureuse, les projets pourront démarrer le 1er juin 2020, moins de 3 mois après avoir été sollicités.

Pour permettre cette mise en œuvre rapide, la procédure de sélection a été adaptée à la spécificité de la situation et de nouvelles approches ont été adoptées en matière d’évaluation. Cela concerne en particulier la sélection des expert·es, la manière dont les requêtes leur ont été attribuées et la classification des projets.

  • Examen formel : le Secrétariat contrôle si les requêtes remplissent les conditions requises pour le dépôt de requêtes. Le FNS n’entre pas en matière sur les requêtes qui enfreignent les règles de l’intégrité ou des bonnes pratiques scientifiques.
    Détails
  • Sélection des expert·es : contrairement à ce qui est le cas pour les autres mises au concours, une équipe d’expert·es ad hoc a été recrutée dans les différents domaines de recherche concernés avant même que des requêtes ne soient soumises dans le cadre de cet appel spécial. Recommandés par le Conseil national de la recherche, quelque 200 expert·es ont répondu présents. Ils ont généralement examiné plusieurs demandes, ce qui a permis de procéder à des comparaisons croisées.
  • Répartition des requêtes : les expert·es ont complété leur profil de recherche avec des mots clés. Ceux-ci, ainsi que leurs données de publication Scopus, ont été comparés aux requêtes grâce à un algorithme basé sur des techniques d’exploration de texte (titre, mots clés, résumés et domaines thématiques). Couplé à une procédure d’optimisation, cet algorithme a parallèlement permis d’attribuer entre cinq et sept requêtes à chaque expert·e. La répartition obtenue a ensuite été contrôlée par le Secrétariat du FNS, qui a le cas échéant fait appel à des expert·es supplémentaires.
  • Classement et approbation : la procédure standard – qui prévoit que les expertises individuelles sont réunies afin qu’un organe d’évaluation interne du FNS puisse procéder à une comparaison croisée des projets – n’était pas applicable dans le contexte du Covid-19. Le FNS a donc dû procéder directement au classement des projets en se basant en moyenne sur trois évaluations externes. Pour ce faire, il a appliqué une analyse de régression à modèle mixte. Pour évaluer les différences et établir un classement, cette méthode statistique tient compte de la variance des données qui survient de manière aléatoire, par exemple du fait d’expertises plus ou moins rigoureuses ou de cultures d’évaluation différentes selon les disciplines. De telles procédures de régression sont également utilisées pour comparer la qualité des prestations dans le secteur de la santé. La présidence du Conseil national de la recherche a ensuite approuvé les requêtes les mieux classées.
    Exemple d’une analyse de régression (en anglais)
Teaser Image Französisch
Bildlegende Französisch
 
Teaser URL Französisch
 
URL Target Französisch
Link im aktuellen Fenster öffnen

Teaser Titel Englisch
Evaluation procedure
Teaser Content Englisch

The SNSF launched the special call on coronaviruses with high urgency in order to generate research results to remedy the current public health crisis. The call was open for only 19 days, and the applications were formally verified, scientifically evaluated and approved by the Research Council in only six weeks. Thanks to this tight schedule, the funded projects will be able to start on 1 June 2020, i.e. less than three months after the call was launched.

This rapid completion was possible thanks to a modified evaluation process - adjusted to the special situation - and new assessment techniques. The changes mainly concerned the selection of experts, the way applications were assigned to them, and the rating of projects.

  • Formal verification: as usual, the Administrative Offices checked that the applications met the participation requirements and informed the applicants accordingly. The SNSF does not consider applications that do not comply with the rules of scientific integrity or of sound scientific practice.
    Details
  • Selection of experts: In contrast to other calls, a pool of suitable experts from the relevant research areas was recruited for the special call already prior to the receipt of applications. The experts were recommended by the National Research Council. Around 200 experts made themselves available. Most of them assessed more than one application, which made comparisons possible.
  • Assignment of applications: All experts described their research profile in keywords. Applying an algorithm and text-mining techniques, the SNSF compared these keywords and the publication data of the experts in Scopus (incl. titles, keywords, abstracts and subject areas) with the applications (titles, keywords, abstracts and disciplines). At the same time, it applied an optimisation procedure to ensure that experts were assigned five to seven applications each. The assignments were subsequently checked by the Administrative Offices of the SNSF and, where necessary , the help of further experts was enlisted.
  • Ranking and approval: In the context of Covid-19, it was not possible to follow the standard procedure, in which the individual expert reviews are consolidated in an SNSF-internal evaluation body and the projects then compared with each other. The SNSF had to rank the projects directly on the basis of, on average, three external reviews. For this purpose, it applied a mixed-model regression analysis. When rating differences and establishing a ranking, this method takes into account any data variance generated by coincidence, e.g. due to more or less strict marking or different disciplinary assessment cultures. Such regression procedures are for example also used to make qualitative comparisons in the health sector. The highest ranking applications were approved by the National Research Council.
    Example of a regression analysis
Teaser Image Englisch
Bildlegende Englisch
 
Teaser URL Englisch
 
URL Target Englisch
Link im aktuellen Fenster öffnen

Teaser Titel Italienisch
 
Teaser Content Italienisch
Teaser Image Italienisch
Bildlegende Französisch
 
Teaser URL Italienisch
 
URL Target Italienisch
Link im aktuellen Fenster öffnen