Die meisten von uns nutzen Suchmaschinen mehrmals täglich, doch oft müssen wir uns durch viele nutzlose Suchresultate wühlen. Am liebsten würden wir jedoch die Informationen finden, die wir nicht kennen – noch nicht. Was, wenn intelligente Suchmaschinen dieses Bedürfnis verstehen und uns mit den ergänzenden Informationen versorgen könnten? Das Research Studio Data Science der RSA FG arbeitet an genau dieser Frage.
Ob bei der Recherche für eine wissenschaftliche Arbeit oder in einer Diskussion, in der wir unserem Gegenüber einfach nur das Gegenteil beweisen wollen – heutzutage verlassen wir uns oft auf Suchmaschinen, um unser Wissen zu erweitern und bestimmte Informationen zu finden. Diese sogenannten Information Retrieval (IR)-Systeme – wie etwa intelligente Suchmaschinen – werden jeden Tag besser. Aber was, wenn sie verstehen könnten, was wir bereits über ein Thema wissen, und so unser Wissen gezielt ergänzen könnten, während wir nach etwas Neuem suchen?
Eine beträchtliche Anzahl von Studien untersucht die Fortschritte bei verschiedenen Aspekten dieser -IR-Systeme. Einige dieser Studien konzentrieren sich auf das Wissen der Nutzer als Schlüsselfaktor bei der Suche: Die meisten davon untersuchen die Modellierung des Wissens der Benutzer*innen, um Verhaltenseffekte während der Suche zu erforschen, die sich aus dem Wissen der Benutzer*innen und/oder der Veränderung ihres Wissens aufgrund der Konfrontation mit neuen Ressourcen während der Suche ergeben.
Was entgeht mir? Vorhandenes Wissen nutzen, um hilfreichere Suchergebnisse zu liefern
Im DoSSIER-Projekt Knowledge Delta (KD) untersucht das Research Studio Data Science der RSA FG, wie das Wissen von Webnutzer*innen am besten genutzt werden kann, um deren Sucherfahrung zu verbessern. Das Projekt konzentriert sich darauf, sowohl das Wissen der Nutzer*innen als auch ihr Suchziel zu modellieren – anhand dieser Daten werden dann den jeweiligen Nutzer*innen passende Informationen entsprechend ihrem Ziel und ihrem bereits vorhandenen Hintergrundwissen angeboten. Der Unterschied zwischen dem, was ein Benutzer oder eine Benutzerin weiß oder nicht weiß, wird als Wissensdelta („Knowledge Delta“) definiert. Das Wissensdelta ist für alle Benutzer*innen und jeden Bereich spezifisch, wie das folgende Beispiel zeigt:
Nehmen wir an, dass eine Informatikstudentin und ein Jurastudent etwas über ein Konzept wie „Deep Learning“ lernen wollen. Höchstwahrscheinlich verfügt die Informatikstudentin über mehr Kenntnisse in den Grundlagen des „Deep Learning“ wie Statistik, allgemeine Informatikkonzepte und Algorithmen. Im Gegensatz dazu wird der andere Student, der einen juristischen Hintergrund hat, mit den genannten Themen weniger vertraut sein. Hier wird das Wissensdelta für die Informatikstudentin kleiner sein als das Wissensdelta für den Jurastudenten. Wäre die Zieldomäne ein Thema im Zusammenhang mit „Bürgerrechten“ gewesen, wäre das Wissensdelta anders ausgefallen, da die beiden umgekehrte Voraussetzungen zu diesem Thema gehabt hätten.
Evaluierung von IR-Systemen für den Wissenserwerb
In Übereinstimmung mit den Zielen des DoSSIER-Projekts veröffentlichte ein Forschungsteam aus dem Data Science Studio (Yasin Ghafourian, Petr Knoth und Prof. Allan Hanbury) kürzlich eine Publikation, die sich mit den Bewertungsmethoden eines Systems befasst, das durch Wissen gestärkt wird.
In der Publikation wird erörtert, warum die bestehenden Evaluierungsmethoden nicht ausreichen, um einen Einblick in die Leistung eines Systems zu geben, das das Wissen der Benutzer*innen während des Such- und Abrufprozesses berücksichtigt. Darüber hinaus werden drei mögliche Evaluierungsmethoden vorgeschlagen, deren Vor- und Nachteile diskutiert werden, um einen tieferen Einblick in die Evaluierung von intelligenten Suchmaschinen zu ermöglichen, die das Wissen der Nutzer*innen nutzen.
Diese Veröffentlichung wird als Grundlage für weitere Entwicklungen im DoSSIER-Projekt dienen, um experimentelle Methoden für die Evaluation eines wissensbasierten Suchsystems zu implementieren, das im Rahmen des DoSSIER-Projekts entwickelt wird. Sie kann auch als Ausgangspunkt für künftige Arbeiten dienen, die sich mit Aufgaben der Wissenserfassung und deren Bewertung befassen – und uns alle damit schlauer machen.