Semantic Scholar

Was ist Semantic Scholar?

Semantic Scholar ist eine kostenlose Plattform für wissenschaftliche Suchen und das Finden von Artikeln, die vom Allen Institute for Artificial Intelligence entwickelt wurde. Sie nutzt Natural Language Processing, maschinelles Lernen sowie wissenschaftliche Netzwerke, um Wissenschaftlern dabei zu helfen, Artikel zu finden, Zusammenfassungen zu verstehen, Zitate nachzuvollziehen, Leselisten zu verwalten und ständig personalisierte Empfehlungen zu erhalten.

Es handelt sich nicht um ein Werkzeug zur Erstellung von generativen, detaillierten Forschungsberichten, sondern um eine akademische Infrastruktur, die auf den Metadaten sowie Zitierbeziehungen echter wissenschaftlicher Artikel beruht. Auf der offiziellen Produktseite werden derzeit mehr als 214 Millionen Artikel aus verschiedenen Disziplinen, 2,49 Milliarden Zitierbeziehungen sowie 79 Millionen Autoren angegeben.

Suche nach interdisziplinären Arbeiten

Die Nutzer können nach dem Titel der Veröffentlichung, Schlüsselwörtern, Autoren und Themen suchen und die Ergebnisse mithilfe von Filterkriterien wie Zeitschrift oder Konferenz, Autor, Publikationsart und Zeitraum eingrenzen. In den Suchergebnissen werden Autor, Jahr, Zitierungen, Zusammenfassung, Status als Open Access sowie ein Link zum verfügbaren PDF angezeigt.

Eine umfassende Suche bedeutet nicht, dass jede Eintragung vollständig ist. Die Artikel können ohne Zusammenfassung, vollständigen Text, Angaben zu den Zitierarten oder korrekte Autorenangaben sein;

Formale Übersichten müssen weiterhin mit Web of Science, Scopus, PubMed und Fachdatenbanken ergänzt werden.

TLDR-Einzel-Satz-AI-Zusammenfassung

TLDR ist eine von Semantic Scholar automatisch für wissenschaftliche Artikel erstellte Satz-Zusammenfassung, die die Forschungsziele und Hauptergebnisse in sehr kurzen Worten zusammenfasst, damit Nutzer in den Suchergebnissen schnell beurteilen können, ob ein Artikel relevant ist.

Derzeit umfasst TLDR fast 60 Millionen Artikel aus den Bereichen Informatik, Biologie und Medizin und ist über eine API zugänglich. Er wird durch NLP-Modelle erzeugt und kann daher Methoden, Beispiele sowie Einschränkungen weglassen; er ersetzt somit weder Zusammenfassungen noch den vollständigen Text.

Einflussreiche Zitate

Highly Influential Citations nutzt maschinelles Lernen, um den Kontext der Zitate, die Anzahl der Zitierungen sowie die Beziehungen zwischen den Artikeln zu analysieren und so diejenigen Zitate zu identifizieren, die einen wichtigen Einfluss auf die aktuelle Forschung haben. Bei Hunderten von Referenzen hilft es den Nutzern dabei, sich auf die wichtigsten Arbeiten zu konzentrieren.

„Hoher Einfluss“ ist eine Klassifizierung von Modellen und steht nicht für die Qualität der wissenschaftlichen Arbeit, die Richtigkeit der Schlussfolgerungen oder die Notwendigkeit, Quellen anzuführen. Die Gewohnheiten bezüglich der Zitierungen unterscheiden sich in den verschiedenen Disziplinen erheblich; Forscher müssen daher selbst eine Beurteilung vornehmen.

Referenztypen und Referenzkontexte

Auf einigen Seiten wissenschaftlicher Arbeiten werden die Zitierbeziehungen in Kategorien wie Hintergrund, Methoden und Ergebnisse unterteilt, wobei entsprechende Zitatausschnitte angezeigt werden. So können Nutzer schneller verstehen, warum eine Arbeit eine andere zitiert, anstatt sich nur auf Zahlen zu verlassen.

Die automatische Klassifizierung kann den Tonfall des Autors sowie negative Beziehungen falsch interpretieren. Bei der formalen Beurteilung von Unterstützungs-, Erweiterungs- oder Zweifelbeziehungen sollte der vollständige Kontext des ursprünglichen Artikels gelesen werden.

Seiten mit Details zum Paper

Die Seiten des Papers zeigen den Titel, die Autoren, den Verlag, das Erscheinungsjahr, eine Zusammenfassung, einen TLDR, das Thema, die Referenzen, zitierte Arbeiten sowie Diagramme und relevante Studien. Die Benutzer können die weiteren Literaturverzeichnisse nach Jahr, PDF-Status und Zitierhäufigkeit filtern.

Semantic Scholar bündelt verschiedene wissenschaftliche Quellen, wodurch gelegentlich doppelte Einträge, falsche Jahresangaben oder zusammengeführte Autoren auftreten können. DOI, Jahrgang und Seitenzahl des Journals sollten mit der Seite des Verlags abgeglichen werden.

Semantic Reader

Semantic Reader ist ein verbessertes Tool zum Lesen von wissenschaftlichen Artikeln, das derzeit für die meisten arXiv-Artikel verwendet werden kann. Es versteht die Struktur der Artikel und verbindet den Text mit dem akademischen Netzwerk von Semantic Scholar. Beim Lesen werden Inhaltsverzeichnisse, Zitatenkarten, TLDR-Auszüge sowie Kontextinformationen bereitgestellt.

Lesegeräte verbessern hauptsächlich das Lesevergnügen im Online-Bereich, doch es wird nicht garantiert, dass alle PDFs verfügbar sind. Komplexe Formatierungen, Scans, Zusatzmaterialien sowie vollständige Texte, die durch Urheberrechte eingeschränkt sind, erfordern weiterhin die Quelle selbst.

Hervorhebung von Ziel, Methode und Ergebnis

Für die meisten englischsprachigen arXiv-Papiere im Bereich Informatik kann Semantic Reader automatisch die Forschungsziele, Methoden und Ergebnisse hervorheben, um den Nutzern ein schnelles Überfliegen zu ermöglichen. Die Nutzer können die Anzahl sowie die Transparenz der Hervorhebungen anpassen.

Hervorhebungen dienen der Klassifizierung durch KI und können die Gestaltung der Studie sowie die Interpretation der Ergebnisse nicht ersetzen. Die Einschränkungen der Studie, die Festlegung der Baseline sowie statistische Details müssen in der Regel vollständig gelesen werden.

Kontextdefinition

Der Leser kann für mit Markierungen versehene Begriffe und Abkürzungen Definitionen auf der Grundlage des Kontexts des jeweiligen Artikels anbieten, wodurch die Zeit, die mit dem Wiederholten Verlassen der Seite zur Suche nach Begriffen verbracht wird, reduziert wird. Dies ist insbesondere beim Lesen interdisziplinärer Texte sehr praktisch.

Die automatische Definition kann von den speziellen Verwendungsweisen des Autors abweichen; für Schlüsselbegriffe sollten die Definitionen im Artikel, die zitierten Quellen oder autoritäre Lehrbücher herangezogen werden.

Zitierkarte

Beim Lesen des Haupttextes können Benutzer direkt die grundlegenden Informationen sowie eine Zusammenfassung des zitierten Artikels einsehen, um zu entscheiden, ob dieser geöffnet werden soll. Falls der zitierte Artikel bereits in der persönlichen Bibliothek gespeichert ist, kann das System die Zusammenhänge im Einklang mit den individuellen Forschungsaktivitäten hervorheben.

Hervorhebung und Notizen

Semantic Reader unterstützt durch die Integration mit Hypothesis das Hervorheben von Texten sowie das Anfertigen von Notizen. Benutzer benötigen ein Konto, um Anmerkungen zu speichern und zu verwalten, können aber auch über Hypotheses Teilen-Funktion zusammenarbeiten.

Der Inhalt der Anmerkungen wird durch die Daten von Drittanbieterdiensten sowie durch die öffentliche Sichtbarkeit bestimmt. Bevor unveröffentlichte Forschungsideen aufgezeichnet werden, sollten die Datenschutz-Einstellungen überprüft werden.

Bibliotheksdokumentensammlung

Nach dem Anmelden können Arbeiten in der Online-Bibliothek gespeichert werden, eigene Ordner erstellt werden sowie Zitate in großer Menge exportiert werden. Offene Ordner können mit Kollegen geteilt werden, sodass diese sie in ihre eigene Literaturliste übernehmen können.

Library eignet sich zum Finden und zur einfachen Organisation, ersetzt aber nicht vollständig Referenzverwaltungsprogramme wie Zotero oder EndNote in Bezug auf die PDF-Verwaltung, Zitierfunktionen und die Entfernung doppelter Einträge.

Research Feeds

Nachdem der Research Feed im Ordner Library aktiviert wurde, empfiehlt das System automatisch neue Studien auf der Grundlage der gespeicherten Artikel. Es wird empfohlen, zunächst mindestens 5 relevante Artikel hinzuzufügen und auf unpassende Empfehlungen zu reagieren, um die Qualität der Empfehlungen zu verbessern.

Es wird empfohlen, ab dem nächsten Tag kontinuierlich Aktualisierungen durchzuführen – die Informationen können auch per E-Mail erhalten werden. Je zentrierter das Thema der Ordner ist, desto relevanter sind in der Regel die Ergebnisse.

Das Mischen in mehrere Bereiche verringert die Genauigkeit der Empfehlungen.

Arbeiten, Autoren und Empfehlungen

Benutzer können neue Zitierhinweise für Artikel erstellen, sich über neue Artikel und Zitate der Autoren informieren lassen sowie E-Mails aus dem Research Feed erhalten. Das Research Dashboard zeigt alle diesen Forschungsaktualisierungen zusammen.

Die Kombination von Autorennamen und Informationen kann zu störenden Hinweisen führen. Vor der Betrachtung sollte man Institution, Fachgebiet sowie die Homepage des Autors überprüfen.

Autor-Seite und Anmeldung

Semantic Scholar erstellt für Autoren eine zentrale Übersichtsseite, auf der Veröffentlichungen, Zitate sowie Mitautoren aufgeführt sind. Forscher können ihre eigene Autorenseite verwalten, die Zugehörigkeit ihrer Veröffentlichungen festlegen und Benachrichtigungen über Zitate erhalten.

Die persönliche Bewertung sollte nicht allein auf der Gesamtzahl der Zitate beruhen. Fachgebiet, Berufsstand, Reihenfolge der Autoren sowie die Abdeckung der Daten beeinflussen alle diese Zahlen.

Zitat exportieren

Die Dokumentenseiten sowie die Suchergebnisse unterstützen Zitierformate wie BibTeX, MLA, APA und Chicago. Die Bibliothek ermöglicht außerdem die Massenexportierung von Daten. Sie eignet sich hervorragend dazu, bereits gefundenen Artikeln in den Schreib- oder Literaturverwaltungsprozess einzubinden.

Die automatische Formatierung kann Seitennummern, Band- und Ausgabeangaben oder Sonderzeichen enthalten. Vor der Einreichung muss sie mit dem Format des ursprünglichen Papers sowie der Zeitschrift abgeglichen werden.

Offener Zugang und PDF

Die Plattform zeigt den Status des legalen Open Access sowie die verfügbaren PDF-Links an; einige Informationen stammen von Quellen wie Unpaywall. Semantic Scholar umgeht nicht die Zahlungsschranken der Verlage und garantiert auch nicht, dass für jeden Eintrag der vollständige Text vorhanden ist.

Wenn ein Download nicht möglich ist, kann man auf eine Abonnementlösung der zugehörigen Institution, den interbibliothekarischen Austausch, das Autorenarchiv oder eine legal verfügbare Version zurückgreifen.

Kostenlose Politik

Die Website Semantic Scholar, die Funktionen zur Suche nach Artikeln, die Bibliothek, die Feeds sowie die wichtigsten Lesefunktionen sind alle kostenlos. Es gibt keine kostenpflichtigen Mitgliedspläne für gewöhnliche Forscher. Der Service wird von der gemeinnützigen Forschungseinrichtung AI2 betrieben.

Kostenlos bedeutet nicht, dass es keine Beschränkungen hinsichtlich der Geschwindigkeit, des Zugriffs und der Datenmengen gibt. Für den großflächigen Datenerhalt sollten offizielle APIs sowie Datensätze verwendet werden, anstatt automatisierten Zugriff auf Webseiten.

Academic Graph API

Die Academic Graph API bietet Artikel, Autoren, Zitierungen, Referenzen, Fachzeitschriften und Konferenzen sowie SPECTER2-Vektoren und Open-Access-Informationen. Entwickler können nach Schlüsselwörtern suchen, über Corpus ID oder DOI abfragen und bestimmte Felder in Bündeln abrufen.

Man sollte nur die tatsächlich benötigten Felder anfordern und Pagen, Caching sowie Backoff-Strategien nutzen, um unnötige, große Anzahl an wiederholten Aufrufen zu vermeiden.

Recommendations API

Die Recommendations-API kann auf der Grundlage einer Gruppe positiver Artikel sowie optionaler negativer Artikel ähnliche Studien empfehlen und eignet sich zur Erstellung von Literaturfindungstools, Lese-Listen und Produkten zur Themenverfolgung.

Empfehlungsalgorithmen sind keine Beweise für die Vollständigkeit einer Systemübersicht. Die Anwendung sollte die Begründungen für die Empfehlungen anzeigen, es dem Benutzer ermöglichen, Feedback zu geben, und Zugang zu professionellen Datenbanken bieten.

Datasets API

Die Datasets-API ermöglicht die batchweise Veröffentlichung, das Herunterladen sowie den Vergleich von Änderungen im Semantic Scholar-Akademischen Graphen. Sie eignet sich dafür, dass Institutionen und Entwicklerteams Daten lokal speichern und eigene Abfragen ausführen können.

Die Datenmenge ist sehr groß; vor dem Herunterladen sollten die Kosten für Speicherung, Aktualisierung, Lizenzen sowie die Entfernung von Doppelungen bewertet werden. Verschiedene Teile der Datensätze können jeweils eigene Lizenzen sowie Einschränkungen bezüglich des gesamten Textes aufweisen.

Leitfaden für Semantic Scholar

Eine grundlegende Aufgabe erledigen

1. Definieren Sie das Problem, den Zeitraum, den Bereich, die Priorität der Quellen sowie das Ausgabeformat;
2. Laden Sie in Semantic Scholar Materialien hoch, für die Sie Nutzungsrechte haben, oder geben Sie Suchanfragen ein;
3. Zuerst wird ein Rahmen durch die Suche nach interdisziplinären Artikeln geschaffen, anschließend werden Beweise durch kurze AI-Zusammenfassungen in Form von TLDR-Sätzen ergänzt.
4. Es ist erforderlich, Quellenfakten, die Ansichten des Autors und KI-Erkenntnisse voneinander zu unterscheiden.
5. Jeweils die Daten, Zahlen, den ursprünglichen Textort sowie widersprüchliche Beweise überprüfen;
6. Die Ergebnisse werden manuell überarbeitet, das Überprüfungsdatum wird aufgezeichnet, und anschließend veröffentlicht.

Erstellung wiederverwendbarer professioneller Workflows

1. Komplexe Themen in vier Kategorien von Fragen aufteilen: Hintergrund, Daten, Vergleiche und Schlussfolgerungen;
2. Die Kombination aus der Suche nach interdisziplinären Artikeln, AI-Zusammenfassungen in TLDR-Form sowie zitierbaren Arbeiten mit hoher Wirkungskraft bildet feste Forschungsschritte.
3. Zuerst sollten die offiziellen Webseiten, wissenschaftliche Arbeiten, regulatorische Dokumente und Rohdaten verwendet werden;
4. Für Schlussfolgerungen mit hohem Risiko wird eine zweite Überprüfung durchgeführt;
5. Abfragen, Beweise, Versionen und ungelöste Probleme speichern;
6. Nach Änderungen der Daten erneut ausführen und die Schlussfolgerungen aktualisieren;

API-Schlüssel und Geschwindigkeitsbeschränkungen

• Die meisten Endpunkte können ohne Authentifizierung aufgerufen werden, doch unauthentifizierte Benutzer teilen den öffentlichen Datenverkehr, wodurch die Stabilität geringer ist.
• Nach der Anfrage nach einer kostenlosen API-Key gibt die offizielle Anleitung an, dass standardmäßig eine Rate von einer Anfrage pro Sekunde gewährt wird. Bei Bedarf kann man sich an den Anbieter wenden, um eine höhere Obergrenze zu beantragen.
• Bei einem 429-Fehler sollte die Geschwindigkeit verringert und exponentiell verzögert werden;
• APIKey darf nicht in öffentlichen Frontends oder Code-Repositories platziert werden;

S2ORC – Offenes Forschungskorpus

S2ORC ist das Semantic Scholar Open Research Corpus – es stellt Metadaten zu wissenschaftlichen Artikeln, Zitierbeziehungen sowie teilweise vollständige Texte zur Verfügung, die für die Analyse wissenschaftlicher Texte und Forschungen im Bereich NLP genutzt werden können. Es wird empfohlen, die ständig aktualisierten Versionen über die Datasets API zu erhalten.

Die S2ORC-Daten unterliegen Lizenzen wie ODC-By 1.0; ihre Verwendung und Weiterverbreitung erfordern eine Quellenangabe sowie die Einhaltung der Bestimmungen für die jeweiligen Datenteile. Open Research Corpus bedeutet nicht, dass der vollständige Text aller Artikel frei weiterveröffentlicht werden kann.

PDF- und LaTeX-Parser-Tools

AI2 hat auf GitHub s2orc-doc2json veröffentlicht, mit dem PDF-, JATS- und LaTeX-Dateien mithilfe von Komponenten wie Grobid in die S2ORC-JSON-Struktur umgewandelt werden können. Es eignet sich für Forscher und Entwickler, um Prozesse zur Verarbeitung wissenschaftlicher Dokumente zu erstellen.

Analysetools erfordern eine separate Installation von Abhängigkeiten, und es können Fehler bei Formeln, Tabellen sowie Referenzlinks auftreten; sie sind daher nicht mit hostbasierten Suchprodukten vergleichbar.

Semantic Reader – offene Forschungsplattform

Forschungen im Zusammenhang mit dem Semantic Reader haben Bibliotheken und Prototypen wie PaperMage und PaperCraft bereitgestellt, damit Entwickler intelligente Interfaces für das Lesen von wissenschaftlichen Artikeln erforschen können. Diese Komponenten zeigen einige technische Ansätze, sind aber nicht der vollständige Quellcode der Website Semantic Scholar.

Open-Source-Zustand

Der Gesamtsuchdienst von Semantic Scholar, das Online-Wissenschaftsgraphen-System sowie die Infrastruktur für die Datenverarbeitung sind keine vollständig open-source-basierten Anwendungen. AI2 hingegen stellt S2ORC, Dokumentanalysatoren, Forschungskomponenten wie Semantic Reader sowie Ressourcen für Modelle und wissenschaftliche Artikel zur Verfügung.

Daher sollte der Katalog als „Plattform ist nicht vollständig open source, Teile der Daten, Modelle und Tools sind open source“ gekennzeichnet werden. Vor der Verwendung eines bestimmten Repositoriums muss man die jeweilige Lizenz prüfen.

Unterschiede zu Google Scholar

Google Scholar hat einen breiten Umfang und ist gut darin, akademische Versionen auf Webseiten zu finden; Semantic Scholar legt mehr Wert auf eine strukturierte akademische Karte, TLDRs, Einflusszitate, personalisierte Feeds und offene APIs.

Die Ergebnisse beider sind unterschiedlich, daher ist es am besten, wichtige Suchanfragen kombiniert zu verwenden.

Unterschiede zu ResearchRabbit und Litmaps

Semantic Scholar ist eine umfangreiche Such- und Dateninfrastruktur; ResearchRabbit und Litmaps legen mehr Wert auf die visuelle Erforschung von Netzwerken sowie auf die Erstellung von Übersichtsartikeln anhand von Ausgangspapieren.

Die letzten beiden nutzen ebenfalls häufig die Semantic Scholar API oder Daten als Quelle.

Eignet sich es für eine Systematische Übersichtsarbeit?

• SemanticScholar eignet sich zur Ergänzung von Paper-Funden, Zitatenverfolgung und Schlüsselwortsuche, sollte aber nicht als einzige Datenbank für Systematische Übersichtsarbeiten verwendet werden;
• Eine umfassende Übersicht erfordert die Dokumentation von reproduzierbaren Suchanfragen, der Abdeckung mehrerer Datenbanken, der Entfernung von Doppelungen, der Filterung sowie der Qualitätseinschätzung.

Für welche Nutzer geeignet?

• Studenten und Forscher, die nach Artikeln, Autoren sowie Zitierbeziehungen suchen;
• Benutzer, die eine schnelle Filterung einer großen Anzahl an Suchergebnissen benötigen;
• Wissenschaftler, die kontinuierlich personalisierte Empfehlungen für wissenschaftliche Arbeiten erhalten möchten;
• Personen, die ArXiv-Papiere lesen und Kontextzitatenkarten benötigen;
• Team zur Entwicklung von Tools für wissenschaftliches Suchen, Empfehlungen und Literaturrecherche;
• Einrichtungen, die Open Academic Graph für NLP-Forschung nutzen.

Vorteile des Produkts

• Umfasst mehr als 214 Millionen interdisziplinäre Artikel;
• TLDR und hochwirksame Zitate steigern die Effizienz der Filterung;
• Library, Feeds und Alerts bilden einen kontinuierlichen Entdeckungsprozess;
• Semantic Reader verbessert das Lesen von Online-Artikeln;
• Die Website sowie die wichtigsten APIs können kostenlos genutzt werden;
• Offene Daten, Analysetools und Forschungskomponenten sind umfangreich.

Einschränkungen und Hinweise

• Metadaten der Veröffentlichung, Autoridentifizierung, Zitierarten und KI-Zusammenfassungen können Fehler aufweisen, und die Vollständigkeit der Textabdeckung ist ebenfalls unvollständig.
• TLDR, Einfluss-Labels und Empfehlungen können keine professionelle Beurteilung ersetzen;
• Die Standardrate der API ist begrenzt, und für Batch-Daten sind größere Speicherkapazitäten sowie eine umfassende Compliance-Verwaltung erforderlich.
• Systematische Übersichtsarbeiten müssen mit anderen Datenbanken kombiniert werden;

Häufige Fragen

Ist Semantic Scholar kostenlos?

Kostenlos. Für Suchfunktionen auf der Website, die Bibliothek, Research Feeds, Erinnerungen sowie die wichtigsten API-Anbindungen fallen keine Abonnementsgebühren für normale Nutzer an.

Wie viele Artikel gibt es bei Semantic Scholar?

Auf der offiziellen Produktseite werden derzeit über 214 Millionen Artikel, 2,49 Milliarden Zitate sowie 79 Millionen Autoren angezeigt.

Ist TLDR zuverlässig?

TLDR eignet sich zur schnellen Selektion, wird aber von KI automatisch erzeugt und kann Einschränkungen übergehen; für wissenschaftliche Arbeiten muss man den Zusammenfassungstext sowie den vollständigen Text lesen.

Bietet Semantic Scholar eine API?

Es werden drei Arten von APIs angeboten: Academic Graph, Recommendations und Datasets. Die kostenlose API-Schlüssel haben eine Standardrate von etwa einer Anfrage pro Sekunde.

Kann man alle Daten herunterladen?

Masse an Daten aus akademischen Graphen sowie inkrementelle Aktualisierungen können über die Datasets-API abgerufen werden, wobei jedoch Lizenzbedingungen, Urheberrechtshinweise und Einschränkungen hinsichtlich der vollständigen Verwendung einzuhalten sind.

Ist Semantic Scholar Open Source?

Die vollständige Online-Plattform ist nicht vollständig open source, doch Ressourcen wie S2ORC, Dokumentparser und die Forschungskomponenten Semantic Reader sind öffentlich zugänglich.