AI-stödd informationssökning

Så funkar AI-stödda vetenskapliga söktjänster

I takt med de senaste årens utveckling på AI-området har även nya typer av söktjänster för vetenskapligt material vuxit fram, tjänster som Scopus AI, Elicit, Undermind, Keenious, SciSpace, Google Scholar Labs, Web of Science Research Assistant, Consensus och Asta. Dessa tjänster skiljer sig från traditionella databaser och söktjänster genom att frågan ställs på naturligt språk och svaret består inte bara av en träfflista, utan också av en sammanfattning av hur de framsökta artiklarna faktiskt besvarar sökfrågan.

De AI-stödda tjänsterna ser olika ut och betonar olika funktioner, men bygger i grunden på liknande tekniker kombinerade på olika sätt. Teknikerna är inte unika för vetenskapliga söktjänster, samma metoder används på många håll där information ska sökas fram och sammanfattas, men i dessa tjänster tillämpas de på samlingar av vetenskaplig information. Här beskrivs på ett översiktligt sätt centrala tekniker. I flera av stegen nedan spelar stora språkmodeller (LLM:er) en central roll och ofta används då varianter från de stora leverantörerna som OpenAI, Google eller Anthropic.

Sökfrågan

En uppenbar skillnad mot traditionell informationssökning är att frågan formuleras på naturligt språk, i stället för att en söksträng med nyckelord konstrueras. Till exempel kan man skriva What factors influence students’ motivation in distance learning?

Vissa tjänster använder en språkmodell redan inledningsvis för att analysera sökfrågan och komma med förslag på precisering eller förtydliganden, i andra fall utförs sökningen direkt. Sökningen kan göras på lite olika sätt, men vanligt är att klassisk nyckelordssökning kombineras med s.k. semantisk sökning. Denna kombination kallas ibland för hybridsökning.

Nyckelordssökningen görs genom att en språkmodell översätter frågan till en ”vanlig” söksträng. Frågan ovan om studenters motivation kan då bli något i stil med

((factors OR determinants OR variables OR elements) AND (students OR learners) AND (motivation OR engagement OR drive OR incentive) AND (distance learning OR online learning OR remote education OR e-learning))

som körs mot ett sökindex och relevansrankas på liknade sätt som i traditionella söktjänster.

Vid semantisk sökning analyseras sökfrågans faktiska innebörd och matchas mot artiklar som har liknande innebörd, oavsett vilka ord som används. Det finns flera sätt att göra det på och den vanligaste tekniken i AI-stödda söktjänster är så kallad vektorsökning. Sökfrågan och artiklarna omvandlas till talserier (s.k. vektorer), som representerar deras betydelse. Vektorer som handlar om liknande saker hamnar nära varandra och sökfrågans vektor jämförs med artiklarnas för att finna dokument som handlar om samma sak. Sökningen görs här mot ett index som har byggts upp genom att text från miljontals artiklar har omvandlats till sådana vektorer. Vanligen är det titlar, abstract och ämnesord som används, men det kan även vara hela artikelns text.

Anledningen till att båda söktyperna används är att de kompletterar varandra:

• Nyckelordssökning är en tekniskt effektiv metod som enkelt returnerar en stor mängd träffar. Den funkar bra för specifika namn och begrepp, men kan missa resultat som använder andra ord än de i söksträngen.
• Semantisk sökning är beräkningsmässigt tyngre och hanterar ofta färre träffar, men kan i gengäld hitta relevanta artiklar även när artikelns ordval inte överensstämmer med sökfrågan. Den kan dock ändå missa exakta träffar (t.ex. en sökning efter en specifik artikel) eller tolka sökningen för brett.

Rankning

Resultaten från de båda sökningarna vägs samman genom att varje artikel ges poäng utifrån dess placering i respektive träffmängd och genom att den poängen kombineras till en samlad ranking.

Ytterligare steg i rankningen kan också vara att skicka sökfrågan och de hittills högst rankade artiklarna tillsammans till en AI-modell (t.ex. en LLM, men andra varianter förekommer) för ytterligare rankning (s.k. reranking). Detta kan förbättra relevansrankningen, men är beräkningsmässigt ännu mer krävande än vektorsökning och tillämpas därför normalt bara på en delmängd kandidater, till exempel de 100 första träffarna.

Citeringskedjor

En ytterligare sökvariant som kan förekomma är citeringskedjor (citation snowballing) där tjänsten tittar på referenser från redan framsökta artiklar för att upptäcka ytterligare relevanta artiklar.

I detta sammanhang kan nämnas att det även finns söktjänster som primärt arbetar med citeringskedjor för sökning, till exempel Litmaps, Research Rabbit och Connected Papers, utan att de för den delen är AI-baserade.

Sökresultatet

Typiskt för AI-stödda tjänster är att sökresultaten presenteras både som en träfflista med publikationer och en text som sammanfattar vad sökresultaten säger om din fråga.

Sammanfattningarna kan vara allt från kortfattade översikter av sökresultaten till mer omfattande rapporter och litteraturöversikter. I samtliga fall bygger det genererade svaret på en metod som kallas Retrieval Augmented Generation (RAG).

RAG innebär att artiklarna från sökningen (oftast titlar och sammanfattningar) skickas till en stor språkmodell (LLM) tillsammans med den ursprungliga sökfrågan samt en prompt om att modellen enbart ska svara utifrån de bifogade artiklarna. Språkmodellen skriver en sammanfattning av artiklarnas innehåll i relation till frågan med hänvisningar till vilka artiklar som stöder vilka påståenden.

RAG-metoden innebär alltså att AI:n baserar svaret på sökfrågan på de faktiskt framsökta texterna och att du själv kan kontrollera källorna. Metoden minimerar även risken för att AI:n hittar på (hallucinerar) referenser till artiklar som inte finns, vilket kan vara ett problem med vanliga AI-chattbottar som svarar fritt ur sin träningsdata.

Träfflistorna i de AI-stödda tjänsterna kan likna vanliga träfflistor eller vara mer berikade med AI-sammanfattningar, information om rankningsvärde m.m.

Vidare sökning

Kombination av teknikerna ovan innebär att tjänsten också kan hjälpa dig att förbättra din sökning. I en traditionell söktjänst omformulerar och förfinar du själv sökningen i takt med att du utvärderar sökresultaten, medan en AI-stödd tjänst ofta ställer följdfrågor eller ger förslag på vidare sökning utifrån resultatet. Även detta drivs av en språkmodell som har tillgång till både din ursprungliga fråga och de hämtade artiklarna och som utifrån det försöker identifiera aspekter och infallsvinklar som kan vara aktuella att utforska vidare.

Fördjupad sökning och analys - “Deep research”

Vissa tjänster nöjer sig inte med en enda sökomgång med en enkel träfflista och sammanfattning som svar, utan lägger mer tid och resurser på att bearbeta sökfrågan för att söka bredare och att producera mer genomarbetade resultat. Detta görs med hjälp av så kallad agentbaserad AI, vilket innebär att en språkmodell arbetar mer självständigt och genomför processen i flera omgångar. Denna typ av funktionalitet kallas ibland deep research, även om benämningarna varierar.

För sökningen kan systemet göra en första sökning, analysera resultaten med hjälp av en språkmodell, identifiera luckor eller aspekter som inte täckts tillräckligt, formulera nya sökfrågor och söka igen. Det vi nämnde ovan om att följa citeringskedjor och att låta en språkmodell utföra noggrannare relevansrankning hör ofta hemma här.

Även sammanfattningen av resultaten är mer ambitiös. De hämtade artiklarna används som underlag för att producera längre, mer genomarbetade rapporter, ofta flera sidor långa. Framställningen av rapporten kan innefatta flera steg, inklusive validering av citeringar mot den underliggande databasen, kodexekvering för att skapa tabeller och visualiseringar samt specialiserade sektioner som tidslinjer, nyckelartiklar, forskningsluckor och evidenstabeller. Det ska dock påpekas att det är sökningen som är det mest avgörande steget: om den inte hittar de relevanta artiklarna kan inte heller rapporten bli bra.

Dessa mer kraftfulla tekniker är resurs- och tidskrävande och kan ta flera minuter, men resultatet kan bli påtagligt bättre i fråga om både relevans och täckning.

Bland de vetenskapliga söktjänsterna erbjuder exempelvis Undermind, Elicit, Asta (AI2), Web of Science Research Assistant, Scopus AI och Consensus olika varianter av detta.

Datakällor

Oavsett teknik så kan förstås ingen tjänst hitta publikationer som den inte har tillgång till i sina egna datakällor. Datakällorna varierar mellan tjänsterna. Scopus AI och Web of Science Research Assistant söker i sina egna leverantörsspecifika databaser och Google Scholar Labs bygger på Google Scholars indexering.

Alla de andra allmänna vetenskapliga AI-söktjänsterna (Elicit, Undermind, Keenious, Asta AI2 etc.) bygger vad vi vet primärt sina index på Semantic Scholar eller OpenAlex, två stora öppna samlingar av akademisk metadata. Dessa kan i sin tur hämta data från andra bakomliggande källor som Crossref, PubMed med mera.

Tjänsterna söker primärt i metadata (titlar, abstract och ibland ämnesord) snarare än i fulltexter. Det innebär att även de genererade sammanfattningarna oftast bygger på abstract, inte på hela artikeln. Vissa tjänster indexerar fulltexter, men i begränsad omfattning, t.ex. uppger Asta (AI2) att de söker i drygt 12 miljoner fulltextartiklar vilket kan jämföras med att de indexerar över 100 miljoner abstracts.

I praktiken innebär detta att tjänsterna ger olika resultat både utifrån hur tekniken tillämpas och utifrån att tjänsterna söker i olika datasamlingar.

AI-stödd informationssökning kontra traditionella söktjänster och AI-chattbottar

AI-stödda vetenskapliga söktjänster, traditionella databaser och allmänna AI-chattbottar har olika styrkor och svagheter när det gäller informationssökning. Som användare behöver du begrunda hur du utifrån dina behov kan använda dem.

Nedan beskrivs de olika typernas styrkor och begränsningar. Det ska också sägas att gränserna mellan de olika typerna av tjänster är något flytande: etablerade databaser bygger in allt fler AI-funktioner, de allmänna chattbottarna får alltmer ”söklika” förmågor och AI-stödda vetenskapliga söktjänster baseras delvis på samma tekniker som traditionella söktjänster.

AI-stödda söktjänster för informationssökning

En fördel med AI-stödda vetenskapliga söktjänster är att de ofta har en låg tröskel för att komma igång: du behöver inte formulera en perfekt söksträng eller känna till rätt ämnesord, utan kan ställa sökfrågan direkt på naturligt språk. Tjänsterna använder tekniker för att förstå meningen bakom frågan, vilket gör att de kan hitta relevanta artiklar även när artiklarna använder andra termer än du gör i din sökfråga. De termer som du sen upptäcker i sökresultat kan du dessutom återanvända för att bygga bättre sökningar i traditionella söktjänster.

Utöver själva träfflistan genererar de flesta AI-söktjänster ett sammanfattande svar utifrån sökfrågan, med källhänvisningar till den framsökta litteraturen. Detta kan ge en snabb överblick över vad forskningen säger och vara särskilt värdefullt i en tidig, utforskande fas. Tjänsterna inkluderar ofta möjlighet till dialog för att ställa följdfrågor och få förslag på nya infallsvinklar, vilket också passar bra när frågeställningen ännu inte är helt klar.

Vissa tjänster som Undermind, Elicit och Asta (Ai2) har agentliknande, iterativa flöden och tar detta ett steg längre genom att mer självständigt arbeta med sökfrågan: de kan göra flera sökningar i följd, följer citeringar och justerar söktermerna utifrån vad de hittar. På så sätt kan de hitta nyckelartiklar kring specifika frågeställningar, även ur mycket stora databaser.

En av motorerna bakom dessa funktioner är i regel en stor språkmodell som GPT, Claude eller Gemini. Skillnaden mot att vända sig direkt till dessa leverantörers chattbottar (se nedan) är dels att de vetenskapliga AI-tjänsterna söker i en förutbestämd vetenskaplig informationsmängd och att de har ett specialiserat, förprogrammerat arbetsflöde för hur språkmodellen används och vilka instruktioner den får.

Styrkorna har en baksida: De AI-baserade tjänsterna är inte helt ”deterministiska” i sin bearbetning av sökfråga och rankning, vilket gör att samma fråga kan ge olika resultat vid olika tillfällen. Detta är särskilt en brist i sammanhang där reproducerbarhet krävs, som t.ex. för systematiska översikter. Det är sällan möjligt att i detalj förstå varför ett visst dokument rankats som relevant. Tjänsterna visar dessutom endast ett urval av träffarna utan att urvalsprocessen är helt transparent och du kan inte själv kontrollera det som väljs bort.

Datakällorna skiljer mellan tjänsterna och dokumenteras inte alltid tydligt, men många tjänster bygger på de öppna indexen Semantic Scholar eller OpenAlex. Användningen av dessa datakällor innebär därmed en viss likriktning och ger även en svagare täckning av t.ex. böcker och humaniora. Vanligt är också att tjänsterna bara har tillgång till artiklarnas abstract, inte hela artikeltexten.

Även om de underliggande källorna är kvalitativa är det fortfarande möjligt att tjänsternas sammanfattningar inte är helt korrekta: de kan feltolka eller förenkla vad artiklarna faktiskt säger och det välformulerade svaret med citeringar kan lätt uppfattas som mer auktoritativt än det är. Du behöver alltså själv granska och följa upp.

En allmän kommentar kring dessa tjänster är att de utvecklas och förändras i hög takt. Nya funktioner tillkommer, underliggande modeller byts ut och index utökas, vilket förstås också påverkar förutsägbarheten i deras funktion.

Traditionella söktjänster

I traditionella söktjänster och databaser bestämmer du själv exakt vad som söks och hur. Du kan använda kontrollerade ämnesord, bygga booleska söksträngar med AND/OR och avgränsa på fält som författare, tidskrift eller publikationsår och du vet i efterhand vilka termer som faktiskt matchade. Samma söksträng ger också samma resultat varje gång den körs (givet att databasen inte har uppdaterats), vilket är en förutsättning för t.ex. systematiska litteraturöversikter och andra sammanhang där reproducerbarhet krävs. Traditionella söktjänster visar dessutom samtliga träffar och låter dig bläddra igenom dem. När du behöver vara säker på att inte missa relevanta studier är de fortfarande det pålitligaste valet.

Denna kontroll kan dock innebära en högre tröskel för att få riktigt bra och heltäckande resultat. Sökfrågan behöver formuleras om till fungerande söksträngar, vilket kan kräva boolesk logik och att man känner till relevanta ämnesord och facktermer. Sökmotorn matchar i grunden teckensträngar och förstår inte direkt innebörden av din fråga. Även om det kan finnas visst stöd för expansion av synonymer, så behöver du ofta själv leta fram, tänka ut och testa flera synonymer och varianter på begrepp. Du får heller ingen automatisk sammanfattning eller syntes som hjälp för överblick, utan behöver öppna och läsa abstracts till ett stort antal artiklar.

För vissa typer av enklare sökningar är de traditionella söktjänsterna ett givet val, t.ex. när du snabbt vill söka fram och kolla specifika titlar för referenslistan eller se hur du kan få tag på en viss publikation.

I de traditionella söktjänsterna finns ofta rikare filtreringsmöjligheter och du kan enklare avgränsa i enlighet med dina behov.

De traditionella söktjänsterna som biblioteket abonnerar på är oftare förberedda för snabbare åtkomst via biblioteket i och med integrationer mot länk- och proxyserver, även om det kan finns lösningar för detta även i de nya AI-tjänsterna.

De AI-stödda vetenskapliga söktjänsterna är ofta begränsade till vissa breda, artikelfokuserade datasamlingar. Motsvarande breda söktjänster finns även bland de vanliga söktjänsterna (så som Scopus, Web of Science och Google Scholar), men därutöver finns ett brett utbud av innehåll: specialdatabaser, statistikkällor, bok- och bibliotekskataloger, nationella källor, digitaliserat material med mera. I dessa tjänster är det vanligen också tydligt vilken data som ingår, hur materialet indexeras och vilka urvalskriterier som gäller.

Allmänna chattbottar

Allmänna chattbottar (ChatGPT, Claude, Gemini, Copilot) är generella språkmodeller tränade på enorma mängder text från internet. Deras primära uppgift är att konversera och generera text och svar, inte att fungera som sökmotorer för vetenskap.

I ett informationssöknings-sammanhang kan chattbottarna fungera som allsidiga assistenter att be om förklaringar, bolla idéer med eller för att hitta sökbegrepp för forskningsområden, men när det gäller ren informationssökning har de brister.

En chattbot har inga akademiska index. Om den söker letar den på den öppna webben, och svaret kan bygga på allt från nyhetsartiklar och blogginlägg till Wikipedia och enstaka vetenskapliga artiklar. Det är inte givet att svaret vilar på vetenskaplig litteratur. Till skillnad från en AI-stödd vetenskaplig söktjänst, som alltid söker i sin akademiska databas, avgör chattboten själv om den överhuvudtaget behöver söka eller om den kan svara direkt ur sin träningsdata, en träningsdata som dessutom har en fastställd sluttid och därmed saknar den allra senaste forskningen.

När modellen försöker ”gissa” fram ett svar utan ordentlig förankring kan den även fabricera referenser till studier som ser helt äkta ut, men som inte existerar. Läget har förbättrats, men risken är fortfarande betydligt högre än för dedikerade AI-söktjänster kopplade till vetenskapliga databaser. De litteraturreferenser som man kan få är alltså mindre förankrade och kräver större vaksamhet vid granskning än de som returneras från en dedikerad vetenskaplig tjänst. Chattbottarna saknar även forskningsanpassade funktioner som avgränsningsmöjligheter, referensexport, analys av artikelsamband etc.

Det ska samtidigt sägas att utvecklingstakten är hög och att flera tjänster numera har särskilda lägen för djupare sökning, som mer systematiskt söker på webben och sammanställer underlag. Dessutom börjar det genom MCP-standarden bli möjligt att koppla en allmän AI-chattjänst till vetenskapliga datakällor. Gränsen mot dedikerade vetenskapliga söktjänster kan komma att minska över tid.