Human in the loop

28 MAJ 2026

// INLÄGG 01 · RAG-PROCESS

Human in the loop i min RAG-process

Jag har börjat förstå att den stora vinsten med AI i kvalitativ analys inte bara handlar om att få snabbare sammanfattningar. Den verkliga vinsten ligger i att bygga ett arbetssätt där stora mängder material kan göras sökbara, strukturerade och möjliga att granska utan att jag tappar kontrollen över vad slutsatserna faktiskt bygger på.

Det är här human in the loop blir centralt.

I min RAG-process använder jag AI för att analysera ett större intervjumaterial. Materialet består av cirka 50 kvalitativa intervjuer. I stället för att låta modellen läsa allt på en gång, eller att bara ställa generella frågor till en stor textmassa, delar jag upp materialet i mindre delar. Varje del kan sedan indexeras, sökas fram och användas som underlag när jag ställer frågor till modellen.

En stor fördel med att dela upp materialet på det här sättet är att varje steg i analysen kan granskas av en människa. Jag kan titta på råmaterialet, citaten, observationerna, tolkningarna, insikterna och rekommendationerna var för sig. Det gör att analysen inte blir en svart låda där AI kommer fram till något, utan ett spårbart arbetsflöde där jag hela tiden kan gå tillbaka och kontrollera vad en slutsats faktiskt bygger på.

För mig är det viktigt att hålla isär olika analysnivåer. Ett citat är inte samma sak som en observation. En observation är inte samma sak som en tolkning. En tolkning är inte automatiskt en insikt. Och en insikt är inte automatiskt en rekommendation.

Råmaterial

Det deltagaren faktiskt har sagt. Det ska inte förändras.

Citat

Utvalda formuleringar från materialet som kan stödja en analys.

Observationer

Beskriver vad citatet eller situationen visar.

Tolkningar

Handlar om vad observationen kan betyda i sitt sammanhang.

Insikter

Mönster som återkommer i flera delar av materialet.

Rekommendationer

Förslag på vad vi kan göra utifrån insikterna.

Det här låter kanske självklart, men i AI-stödd analys är det lätt att nivåerna glider ihop. Modellen kan formulera ett svar som låter rimligt, sammanhängande och övertygande, men där det inte alltid är tydligt om svaret bygger på stark evidens, en enskild formulering eller en tolkning som modellen själv har fyllt i.

Därför behöver jag kunna granska varje nivå.

Tema

Vilka citat stödjer detta? Finns det flera deltagare som beskriver samma sak? Finns det motexempel?

Insikt

Vilka observationer ligger bakom? Hur har tolkningen gjorts? Saknas det något perspektiv?

Rekommendation

Följer rekommendationen faktiskt av materialet, eller saknar den tillräckligt stöd?

När AI föreslår ett tema behöver jag kunna fråga om detta är ett återkommande mönster eller bara något som råkade formuleras starkt i en intervju.

När AI föreslår en insikt behöver jag kunna gå tillbaka och se vilka observationer som ligger bakom, hur tolkningen har gjorts och om den är rimlig utifrån sammanhanget.

Och när AI föreslår en rekommendation behöver jag kunna avgöra om rekommendationen faktiskt följer av materialet, eller om det är en lösning som låter logisk men saknar tillräckligt stöd.

Det är detta jag menar med human in the loop. Människan finns inte bara med på slutet för att läsa igenom ett färdigt AI-svar. Människan behöver finnas med i hela analyskedjan.

Jag behöver kontrollera vad modellen hämtar fram. Jag behöver bedöma om svaret är rimligt. Jag behöver jämföra med min egen förståelse av intervjuerna. Jag behöver se om viktiga nyanser har tappats bort. Och jag behöver ta ansvar för vilka slutsatser som faktiskt används vidare i designarbetet.

Kollegor som verifieringspunkt

Kollegorna som har genomfört intervjuerna får vara med och tolka materialet och bedöma om AI:s slutsatser stämmer med deras förståelse.

Kontext från intervjusituationen

De har hört tonfall, följdfrågor, tvekan, pauser och sådant som inte alltid syns fullt ut i transkriberad text.

En annan viktig del i min process är att jag inte gör detta ensam. Jag har byggt in en form av verifiering med kollegor i workshopformat. Kollegorna som har genomfört intervjuerna får vara med och tolka materialet och bedöma om det AI har kommit fram till faktiskt stämmer med deras förståelse av intervjuerna.

Det är en viktig kvalitetssäkring.

AI kan hitta mönster i text, men kollegorna bär på kontext från själva intervjusituationen. De kan reagera på om en tolkning känns rimlig, förenklad eller felriktad. De kan också se om AI lyfter fram något som faktiskt är viktigt, men som vi själva kanske inte hade uppmärksammat tillräckligt.

På så sätt blir workshopen en mänsklig verifieringspunkt i processen. AI tar fram möjliga mönster, teman eller insikter. Vi granskar dem tillsammans. Vi diskuterar vad som håller, vad som behöver nyanseras och vad som bör undersökas vidare.

Det gör att AI inte blir en ersättning för analysgruppen, utan ett stöd för att skapa bättre samtal kring materialet.

Jag ser också en tydlig skillnad mellan att använda AI för att bekräfta det jag redan tror och att använda AI för att utmana analysen. I min process vill jag kunna be modellen leta efter motsägelser, svaga belägg och alternativa tolkningar.

Om jag har formulerat en insikt vill jag kunna fråga: vad i materialet talar emot detta? Finns det deltagare som beskriver något annat? Finns det roller eller situationer där mönstret inte gäller?

Det är kanske där AI kan bli som mest användbart. Inte som en motor för snabba svar, utan som ett sätt att pröva analysens hållfasthet.

Samtidigt är det jag, tillsammans med kollegorna, som måste avgöra om invändningarna är relevanta. AI kan föreslå en motsägelse, men vi behöver bedöma om det faktiskt är en motsägelse eller bara en annan aspekt av samma problem. AI kan hitta ett citat som sticker ut, men vi behöver avgöra om det ska påverka hela analysen eller bara noteras som en avvikelse.

Det här gör analysen långsammare än att bara acceptera ett AI-svar, men betydligt mer trovärdig.

För mig handlar RAG-processen därför inte bara om retrieval, alltså att hämta rätt textstycken. Den handlar om att bygga en kedja från råmaterial till beslut där varje steg kan kontrolleras:

Råintervju → citat → observation → tolkning → tema → insikt → rekommendation → designbeslut

Om någon frågar varför vi drar en viss slutsats ska jag kunna gå tillbaka i kedjan. Jag ska kunna visa vilket material slutsatsen bygger på, hur den har tolkats och var människor har granskat den.

Det här är särskilt viktigt när materialet blir stort. Med 50 intervjuer är det lätt att drunkna i text. Det är också lätt att skapa snygga teman som ser övertygande ut, men där kopplingen till råmaterialet blir svag. AI kan förstärka båda dessa saker. Den kan hjälpa mig att hitta struktur, men den kan också skapa en falsk känsla av tydlighet.

Därför behöver processen designas för kontroll.

Min viktigaste lärdom hittills är att AI-stödd analys inte bara är en teknisk fråga. Det är en designfråga. Det handlar om hur arbetsflödet byggs, hur ansvar fördelas, hur källor granskas och hur människor involveras i rätt steg.

AI kan göra analysen snabbare. Men human in the loop gör den användbar.

Det är först när jag kan kombinera modellens förmåga att söka, sortera och föreslå mönster med människans förmåga att förstå kontext, bedöma rimlighet och ta ansvar, som AI verkligen börjar skapa värde i tjänstedesignprocessen.