Cedric Degrange
Auf der Suche nach Referenzen
Zu Beginn einer Recherche zu einem neuen Thema stellt sich die Frage: Wer sind die Fachleute hierzu? Was sagen sie? Welche Probleme wurden in der Vergangenheit diskutiert? Wie sind bestimmte Begriffe, Konzepte oder Standards zu verstehen? Diese Fragen, die Liste ist nicht vollständig, zielen darauf ab, eine ausreichende Kenntnis des Themas zu erlangen, um die Herausforderungen zu verstehen, eine Bestandsaufnahme zu machen und damit zu beginnen, selbst Stellung zu beziehen. Diese Phase der Recherche, in der es viel zu entwirren und zu entdecken gibt, ist eine wichtige Aufgabe, die jedoch viel Zeit und Energie in Anspruch nimmt.
Hilfsmittel für die Suche
Um bei der „Durchforstungsarbeit“ des jeweiligen Literaturbestands zu helfen, sind Programme entstanden, um die bibliographische Suche mit Hilfe von KI oder Sprachanalyse unterstützen [1]. Die hier untersuchten Fragen sind, welche Hilfe diese Programme leisten können und wo ihre Grenzen liegen. Zu diesem Zweck habe ich den Beitrag des Programms Elicit für die Literaturrecherche untersucht. Elicit beschreibt sich selbst als „research assistant using language models like GPT-3 to automate parts of researchers’ workflows. Currently, the main workflow in Elicit is Literature Review. If you ask a question, Elicit will show relevant papers and summaries of key information about those papers in an easy-to-use table.“ [2]. Das Programm besteht also aus einem Teil, der für die Suche nach bibliografischen Ressourcen zuständig ist, und einem anderen, dessen Aufgabe es ist, die Schlüsselelemente herauszufiltern, um deren Bedeutung zu erfassen.
Die Verwendung von Elicit
Die Nutzung dieses Programms beginnt mit der Formulierung einer Frage im Suchfeld. Die Suchanfrage besteht dabei anders als in den meisten Bibliothekskatalogen oder Fachdatenbanken nicht aus Schlagworten, sondern wird in natürlicher Sprache eingegeben. Als Antwort liefert Elicit eine Auswahl von Artikeln zurück, wobei jeder mit der Anzahl der Zitate und einer kurzen Zusammenfassung versehen ist. Die ersten vier Artikel werden zu einem Text in natürlicher Sprache zusammengefasst, wobei die Zusammenfassung (Summary of the 4 Top Papers) eine nuancierte Antwort auf die ursprüngliche Frage liefert. Grundsätzlich gibt es drei Typen von Antworten : Die gefundenen Artikel beantworten die Frage, die Artikel stehen in Verbindung mit der Frage, beantworten sie aber nicht direkt, und die Artikel beantworten die Frage nicht, geben aber einen Einblick in das Thema, auf das sich die Frage bezieht. Auch wenn keine relevanten Artikel gefunden werden, liefert Elicit auf diese Weise einen möglichen Mehrwert für Nutzende.
Elicit im Test
Um den Nutzen von Elicit im Rahmen von Literaturrecherchen zu untersuchen, habe ich einen Test durchgeführt Meine Fragen bezogen sich auf meine Arbeitsgebiete: archivalische Bewertung und semantisches Web sowie auf einen weiteren Bereich, der mich schon während meines Studiums sehr interessierte, die Philosophie des Geistes, und in Verbindung damit das Ergebnis einer fünfundzwanzig Jahre alten Wette zwischen einem Philosophen und einem Neurowissenschaftler, worüber vor kurzem die New York Times berichtet hatte[3]. Zu den ersten beiden Punkten konnte ich konkrete Fragen stellen, während ich mich beim letzten Bereich, den ich seit einiger Zeit aus den Augen verloren hatte, für allgemeinere Informationen interessierte.
Die erste Frage befasste sich mit der Bewertung von Archiven und besonders, ob sie neutral oder parteiisch sein sollten, wobei letztere Position seit etwa zehn Jahren in der angelsächsischen wissenschaftlichen Gemeinschaft diskutiert wird. Die erwarteten Anhaltspunkte sind die Daten der Artikel, das Auftauchen des Begriffs „Advocacy“ und möglicherweise die wichtige Referenz zu diesem Thema in Terry Cooks Artikel „We are what we keep; we keep what we are“ (2011) [4].
Einfluss der gewählten Sprache auf das Suchergebnis
Die Frage auf Englisch lautete: „What influence do moral biaises have on moral archivistic evaluation? “ Die Formulierung war hier absichtlich vage gehalten. Wenn man die Ergebnisse mit PDF nach Datum und Quellen sortiert, sind die Ergebnisse ziemlich relevant. Der englische Begriff für Bewertung, „Appraisal”, tauchte auf, sowie Diskussionen zu verschiedenen ethischen Fragen. Diese Diskussionen sind mit den Archiven verbunden und befassen sich tatsächlich mit den moralischen Implikationen der Archivbewertung, jedoch aus recht unterschiedlichen Perspektiven: die Verantwortung der Institutionen, das Vokabular der Beschreibung oder die Aufwertung von Sammlungen als Instrument zur Sensibilisierung für moralische Fragen. Es gab auch einen Artikel, der eine parteiische Bewertung thematisiert und verteidigt. Die Ergebnisse waren trotz des etwas vagen Aspekts der Frage von Bedeutung. Sie wurden genauer untersucht, um ihre Relevanz zu bewerten und die Formulierung der eingegebenen Fragen zu präzisieren.
Die gleiche Frage auf Deutsch („Welchen Einfluss haben moralische Vorurteile auf die archivarische Bewertung?“) führte zu ernüchternden Ergebnissen. Es wurden nur zwei deutschsprachige Artikel mit PDF angegeben, die beide mehr als 20 Jahre alt sind. Englischsprachige Artikel fehlten im Suchergebnis. Benutzte man den Begriff „Erschließung“ anstelle von „Bewertung”“, änderte sich das Ergebnis kaum: Aufgeführt wurden zwei deutschsprachige Artikel, darunter ein kürzlich erschienener, der sich mit der Gerechtigkeitstheorie des amerikanischen Philosophen John Rawls befasst – einer 1971 formulierten Theorie der politischen Philosophie. Eine Zuordnung zum Themenbereich Philosophie des Geistes erscheint hier überraschend
Wenn man den Begriff Moral in den Fragen auf Englisch und Deutsch verwendet, werden die Ergebnisse sowohl durch seine starke Polysemie als auch durch seine wissenschaftlichen Konnotationen in der verwendeten Sprache beeinflusst. So erstreckt sich die Auswahl der Artikel sowohl im Englischen als auch im Deutschen auf die Bereiche der Philosophie, der Archäologie oder der Soziologie durch eine Diskussion von Durkheims Position. So taucht im Deutschen schnell ein Verweis auf einen aktuellen Artikel auf, der Kants Moraltheorie diskutiert, während er im Englischen fehlt. Die Artikel zu ein und derselben Frage, in verschiedenen Sprachen gestellt, unterscheiden sich voneinander und spiegeln somit bestimmte, mit der Sprache verbundene Reflexionsrichtungen wider.
Frage nur mit Stichwörtern
Die Such nach einfachen Stichwörtern („moral, biases, archiv, evaluation“ oder “Moral, Vorurteile, archivarische, Erschließung”) erwies sich als nicht fruchtbringend. So betraf hier eine der vorgeschlagenen Quellen eine medizinische Studie. Die Formulierung der Frage in natürlicher Sprache gibt dem Programm also wichtigen Input, ohne den das Ergebnis der Suche sehr zweifelhaft wird.
Antworten auf eine bestimmte Frage
Der Begriff „Advocacy“ ist bei meinen verschiedenen Versuchen nicht aufgetaucht. Als ich ihn jedoch in die Frage einbrachte, wurde der Verweis auf den Artikel von Terry Cook hervorgehoben. Es scheint, dass man ziemlich präzise Fragen zu dem Thema stellen muss, um die wichtigen Verweise zu erhalten. Das bedeutet auch, dass man ein gewisses Vorwissen haben muss, um die vom Programm vorgeschlagenen Quellen kritisch beurteilen zu können.
Je spezifischer die Frage ist, desto mehr scheinen die Ergebnisse bis zu einem gewissen Grad an Relevanz zu gewinnen. So konnte Elicit mit der Frage „What is Francesco Beretta theory of modelling social life as an extension of CIDOC CRM?” eine Erklärung des Akronyms CIDOC CRM sowie eine Literaturreferenz liefern: “Doerr (2003) explains that the CIDOC CRM is a high-level ontology that enables information integration for cultural heritage data and their correlation with library and archive information.” [5] Es ist jedoch erstaunlich, dass kein Verweis auf Franseco Beretta gemacht wurde, obwohl seine Webseite zahlreiche Artikel zu Ontologiefragen in den Geisteswissenschaften erwähnt. Dies legt nahe, dass wichtige Referenzen nicht unbedingt auftauchen, und unterstreicht die Notwendigkeit von Vorwissen und kritischer Vorsicht im Umgang mit den Suchergebnissen.
Antworten auf eine allgemeine Frage
Die allgemeine Frage bezieht sich auf die Philosophie des Geistes, ein sehr aktives Gebiet, das aufgrund des Ergebnisses einer Wette zwischen zwei Wissenschaftlern Gegenstand eines Artikels in der New York Times war (siehe Fußnote 3). Die Frage in Elicit war: „What are the current issues in philosophy of mind?”. Die acht vorgeschlagenen Quellen reichen von 1990 bis 2016 (drei davon stammen aus den 1990er Jahren). Für ein Gebiet, das eine bedeutende Entwicklung und Debatten zwischen Neurowissenschaftlern und Philosophen erlebt hat, spiegelt das Ergebnis nicht dessen Dynamik und die vielen diskutierten Fragen wider. Dennoch diskutiert der Artikel aus dem Jahr 2016 eine These von David Chalmers, einem der Autoren der Wette. Als ich die gleiche Frage zwei Tage später noch einmal stellte, war dieser Hinweis jedoch nicht mehr in der Liste zu finden, ebenso wenig wie der Name Chalmers. Es ist also bemerkenswert, dass die Ergebnisse für die gleiche Frage nicht immer gleich sind.
Was allgemeine Fragen betrifft, so scheint mir die Verwendung des Programms weniger relevant zu sein als die Suche in einem Katalog einer akademischen Bibliothek nach einem Buch, das eine Einführung in das betreffende Gebiet bietet. Wahrscheinlich ist dies auch nicht sein Hauptzweck, sondern vielmehr die Möglichkeit, sich in der Masse der jährlich veröffentlichten wissenschaftlichen Artikel zurechtzufinden.
Zusammenfassung des Tests
Ein sehr interessantes Werkzeug, das vom Elicit-Programm angeboten wird (und auch auf anderen Plattformen zu finden ist), ist, einen Text in einer Liste von Schlüsselsätzen zusammenzufassen. So kann man sich schnell und ziemlich genau ein Bild vom Inhalt einer Quelle machen, um deren Relevanz zu bestimmen. Bei einer großen Menge von Texten hilft dieses Werkzeug, einen relevanten Korpus zu erhalten, indem es eine hinreichend genaue Vorstellung davon vermittelt, wie man ihn schnell analysieren und sich effektiv auf ihn beziehen kann.
Persönliche Eindrücke
Auf den ersten Blick fand ich die Arbeitsergebnisse des Elicit-Programms beeindruckend. Die Tatsache, dass man eine kurze Auswahl von Artikeln zu einem Thema mit einer Hervorhebung ihrer Schlüsselelemente und einer zusammenfassenden Antwort auf die gestellte Frage erhält, scheint mir eine gute Möglichkeit zu sein, sich einen Überblick über das Thema und die Artikel zu verschaffen.
Die Auswahl der Artikel wirft jedoch bei näherer Betrachtung Fragen auf. Um sich zu positionieren, scheint es mir notwendig zu sein, bereits mit dem Thema einer Recherche vertraut zu sein, nicht nur, um eine Vorstellung von den Referenzautoren zu haben, sondern auch, um die Schlüsselbegriffe zu kennen, die bei der Formulierung der Frage verwendet werden müssen. Wenn Sie also keine Vorkenntnisse haben, ist es sinnvoll, zunächst ein Einführungsbuch aus der Bibliothek auszuleihen.
Außerdem finde ich es erstaunlich, dass einige Namen wichtiger Autoren und Autorinnen nicht in den Ergebnissen auftauchen. Vielleicht ist dies ein Mangel im Programm, der behoben werden kann. Oder vielleicht sind einige Wissenschaftler schlicht nicht in den Dokumentsammlungen, auf die Elicit zugreift, enthalten. Wie auch immer, die Antworten sind mit Vorsicht zu genießen. Dennoch muss ich sagen, dass das Programm mir ermöglicht hat, durchaus relevante und interessante Quellen zu entdecken.
Um die Bedeutung einer Quelle zu beurteilen, ist das Tool, das einen Text zusammenfasst und die Schlüsselelemente herausarbeitet, besonders willkommen. Es hat sich als sehr effektiv erwiesen, um mir schnell ein Bild vom Inhalt eines Artikels und seiner Bedeutung für meine Forschung zu machen.
Letztendlich kann man das Programm gut nutzen, wenn man Vorwissen über ein Themengebiet besitzt und das Werkzeug zum Zusammenfassen verwendet. So erhält man schnell einen Einblick in ein bestimmtes Gebiet. Allerdings sind nicht alle Verweise von Bedeutung, und es werden nicht alle relevanten Verweise zu Literatur gegeben. Schließlich braucht die Verwendung dieses Tools nicht wenig Zeit. Ich verbrachte mehrere Stunden damit, Suchanfragen neu zu starten, um eine, wie ich fand, gute Auswahl an zu lesenden Artikeln zu erhalten. So wird die Literaturrecherche zwar erleichtert, aber man muss immer wieder Zeit investieren. Das erscheint mir auch als Kennzeichen der Forschung und der Entdeckung neuer Analysewege.
Verweise
- [1] Zum Beispiel die Programme: SciSpace, Scholarcy, Scite oder SemanticScholar auf dem das Elicit-Programm basiert.
- [2] „What is Elicit ?“ Webseite aktualisiert April 2022, abgerufen am 21.07.2023. https://elicit.org/faq
- [3] Carl Zimmer„2 Leading Theories of Consciousness Square Off“, in The New-York Times, 1 july 2023. Die freundschaftliche Wette bestand zwischen dem Philosophen David Chalmers und dem Neurowissenschaftler Christof Koch. https://www.nytimes.com/2023/07/01/science/consciousness-theories.html
- [4] Terry Cooks Artikel “We are what we keep; we keep what we are”“: Archival appraisal Past, Present and Future, in Journal of the Society of Archivists, Vol 32, 2011.
- [5] Martin Doer, „The CIDOC CRM – An ontological Approach to Semantic Interporlarity of Medata, Institute of Computer Science – Foundation for Research and Technology, Heraklion, Crete, Greece. Elicit: The AI Research Assistant berätet am 21.07.2023. https://elicit.org/search?q=what+are+the+interets+of+CIDOC+CRM+%3F&token=01H5WBMME7FY509PF9XBBZHB1E
Zum Autor
Cedric Degrange hat Philosophie, Logik und Französische Literatur studiert und im Anschluss an der Universität Neuchâtel zur Logik und Philosophie der Mathematik geforscht. Als Gymnasiallehrer hat er Philosophie und französische Literatur unterrichtet. Aktuell durchläuft er das Programm zum Master of Advanced Studies in Archival, Library and Information Science (MAS ALIS) an den Universitäten Bern und Lausanne. Sein Forschungsinteresse gilt Metadaten, Ontologien sowie Advocacy im Archivwesen. Bei einem Praktikum am DIPF I Leibniz-Institut für Bildungsforschung und Bildungsinformation hat er sich mit AI Research Assistants auseinandergesetzt, worüber er in diesem Blogbeitrag berichtet.