Refine
Document Type
- Part of a Book (2)
- Book (1)
- Conference Proceeding (1)
Has Fulltext
- yes (4)
Is part of the Bibliography
- yes (4)
Keywords
Publicationstate
Reviewstate
- (Verlags)-Lektorat (2)
- Peer-Review (2)
Publisher
The actual or anticipated impact of research projects can be documented in scientific publications and project reports. While project reports are available at varying level of accessibility, they might be rarely used or shared outside of academia. Moreover, a connection between outcomes of actual research project and potential secondary use might not be explicated in a project report. This paper outlines two methods for classifying and extracting the impact of publicly funded research projects. The first method is concerned with identifying impact categories and assigning these categories to research projects and their reports by extension by using subject matter experts; not considering the content of research reports. This process resulted in a classification schema that we describe in this paper. With the second method which is still work in progress, impact categories are extracted from the actual text data.
Beyond Citations: Corpus-based Methods for Detecting the Impact of Research Outcomes on Society
(2020)
This paper proposes, implements and evaluates a novel, corpus-based approach for identifying categories indicative of the impact of research via a deductive (top-down, from theory to data) and an inductive (bottom-up, from data to theory) approach. The resulting categorization schemes differ in substance. Research outcomes are typically assessed by using bibliometric methods, such as citation counts and patterns, or alternative metrics, such as references to research in the media. Shortcomings with these methods are their inability to identify impact of research beyond academia (bibliometrics) and considering text-based impact indicators beyond those that capture attention (altmetrics). We address these limitations by leveraging a mixed-methods approach for eliciting impact categories from experts, project personnel (deductive) and texts (inductive). Using these categories, we label a corpus of project reports per category schema, and apply supervised machine learning to infer these categories from project reports. The classification results show that we can predict deductively and inductively derived impact categories with 76.39% and 78.81% accuracy (F1-score), respectively. Our approach can complement solutions from bibliometrics and scientometrics for assessing the impact of research and studying the scope and types of advancements transferred from academia to society.
Linguistisches Impact-Assessment: Maschinelle Prognose mit Realitätsabgleich im Projekt TextTransfer
(2024)
Empirische Ansätze halten zunehmend Einzug in die Methodik und Herangehensweise geisteswissenschaftlicher Forschung. Die Sprachwissenschaften stützen sich zunehmend auf Forschungsdaten und Sprachmodelle, um ein digitales Bild natürlicher Sprachen zu erzeugen. Auf dieser Grundlage wird es möglich, entlang nutzerspezifischer Suchanfragen des distant reading automatisiert semantische Muster in Texten zu erkennen. Seit mithilfe solcher Modelle, etwa in Suchmaschinen, webbasierten Übersetzungs- oder Konversationstools, sprachliche Informationen maschinell in sinnhaften Zusammenhängen reproduziert werden können, sind die Implikationen sogenannter Künstlicher Intelligenz (KI) zu einem Thema im gesamtgesellschaftlichen Diskurs avanciert. Vielen Linguisten ist es deshalb ein Anliegen, ihre Erkenntnisse für neue Anwendungsfelder jenseits ihrer unmittelbaren disziplinären Umgebung zu öffnen und zu einer fundierten Debatte beizutragen. Dieser Feststellung gegenüber steht die Einsicht, dass Forschungsergebnisse aller Disziplinen zwar archiviert, aber mangels gezielter Interpretierbarkeit großer und komplexer Datenmengen häufig für diesen breiten Diskurs nicht genutzt werden. Ein nachweisbarer Impact bleibt aus. An dieser Schnittstelle erarbeitet das vom Bundesministerium für Bildung und Forschung (BMBF) finanzierte Projekt TextTransfer einen Ansatz, um per distant reading auf Art und Wahrscheinlichkeit eines gesellschaftlichen, wirtschaftlichen oder politischen Impacts textgebundenen Forschungswissens zu schließen. Zu diesem Zweck baut TextTransfer ein maschinelles Lernverfahren auf, das auf empirischem Erfahrungswissen zu Impacterfolgen von Forschungsprojekten fußt. Als wesentlicher Baustein dieses Erfahrungsgewinns gilt die Verifizierbarkeit der Lernergebnisse. Der vorliegende Artikel zeigt einen ersten Ansatz im Projekt, ein Sprachmodell in einem gesteuerten Lernverfahren mit belastbaren Lerndaten zu trainieren, um möglichst hohe Präzision im Impact-Assessment zu erreichen.
Das vom BMBF geförderte Verbundprojekt CLARIAH-DE, an dem über 25 Partnerinstitutionen mitwirken, unter ihnen auch das IDS, hat zum Ziel, mit der Entwicklung einer Forschungsinfrastruktur zahlreiche Angebote zur Verfügung zu stellen, die die Bedingungen der Forschungsarbeit mit digitalen Werkzeugen, Diensten sowie umfangreichen Datenbeständen im Bereich der geisteswissenschaftlichen Forschung und benachbarter Disziplinen verbessern. Die in CLARIAH-DE entwickelte Infrastruktur bietet den Forschenden Unterstützung bei der Analyse und Aufbereitung von Sprachdaten für linguistische Untersuchungen in unterschiedlichsten Anwendungskontexten und leistet somit einen Beitrag zur Entwicklung der NFDI.