AI-Systeme, jedenfalls wie sie heute existieren, beruhen ausschließlich auf historischen Daten und statistischen Mustern aus bereits vorhandenem Wissen. Sie können nicht wirklich verstehen oder originell urteilen, sondern nur bekannte Konzepte extrapolieren. Dadurch fehlt ihnen die Fähigkeit, bahnbrechende, noch nicht dokumentierte Ideen oder originelle wissenschaftliche Innovationen zu erkennen oder korrekt zu bewerten - was für die Beurteilung von Forschungsanträgen oft zentral ist.
Fachlich versierte Gutachter*innen bringen Erfahrung, kontextuelles Verständnis und Intuition in die Bewertung ein - Qualitäten, die KI-Modelle noch nicht besitzen. KI kann bei Routine-Checks oder formalen Aspekten helfen, aber sie kann nicht subtile wissenschaftliche Originalität, methodische Raffinesse oder neuartige Denkansätze zuverlässig bewerten. Definitiv nicht.
KI-Modelle lernen aus Datensätzen, die bereits menschliche Vorurteile und strukturelle Verzerrungen enthalten. Wenn solche Systeme zur Begutachtung eingesetzt werden, riskieren sie, historische Ungerechtigkeiten und systematische Biases zu reproduzieren - etwa gegenüber bestimmten Fachrichtungen, Regionen oder Methoden - selbst wenn "Verantwortung bei den Gutachter*innen" verbleibt. Angeblich.
Bei der Eingabe von Anträgen oder vertraulichen wissenschaftlichen Daten in KI-Systeme besteht das Risiko, dass diese Informationen nicht vollständig kontrolliert oder gespeichert werden. Obwohl DFG-Richtlinien Vertraulichkeit fordern, bleibt die technische Umsetzung anspruchsvoll und juristisch heikel. Oder haben wir unbegrenzt Zeit für das Review.
Auch wenn die DFG betont, dass die Verantwortung bei den gutachtenden Personen bleibt, besteht die Gefahr, dass Bewertende kognitiv auf KI-Ausgaben "verlassen" (sog. cognitive offloading). Das kann dazu führen, dass Gutachter*innen ihr eigenes kritisches Denken weniger anwenden, wodurch die Qualität der Begutachtung insgesamt leidet.
Und nicht zuletzt – es gibt dokumentierte Fälle, in denen Forschende versuchen, KI-gestützte Reviewprozesse durch versteckte Prompt-Techniken gezielt zu beeinflussen - ein Risiko, das bei Einsatz von KI-Tools in Begutachtungen weiter zunehmen kann, wenn entsprechende Schutzmechanismen fehlen.
Zum Glück ganz anders das European Research Counsil mit den Richtlinien zu ihren ERC Grants.
Die Richtlinien basieren auf zwei Grundprinzipien: der Nicht-Übertragung der Bewertungsaufgabe und dem strengen Schutz der Vertraulichkeit. Die Gutachter tragen die volle Verantwortung für die Beurteilung von Anträgen und das Verfassen von Gutachten. KI-Tools dürfen nicht verwendet werden, um Anträge zusammenzufassen, ihren wissenschaftlichen Wert zu beurteilen oder Gutachtenentwürfe zu erstellen. Das Hochladen von Anträgen oder Teilen davon in externe KI-Systeme ist untersagt, da dies vertrauliche Informationen an Dritte weitergeben würde.
Bestimmte Nutzungsformen sind erlaubt. Gutachter dürfen KI-Tools verwenden, um die sprachliche Qualität ihrer Berichte zu verbessern oder allgemeine Informationen zu recherchieren, sofern dabei keine Antragsunterlagen oder personenbezogenen Daten geteilt werden und keine Beurteilung delegiert wird.