Testa AI-minnet på sju dagar: metod, poäng och rättelser

Ett AI-sällskap kan komma ihåg en favoritfärg efter tre meddelanden men ändå tappa bort samma uppgift nästa vecka. Därför säger en snabb demonstration nästan ingenting om hur minnet fungerar i vardagen. Med det här sjudagarstestet kan du jämföra tjänster på ett mer rättvist sätt – utan att dela privata uppgifter.

Börja med fem påhittade uppgifter

Välj fakta som är ofarliga att lämna till en tjänst: ”Jag brukar ta tåget till den fiktiva staden Lärköping”, ”min favoritdryck är päronte”, ”jag kallar min röda cykel för Nova”, ”vi planerar en bokklubb på torsdagar” och ”jag undviker koriander i våra låtsasrecept”. Byt namn och detaljer så att de inte råkar beskriva ditt verkliga liv.

Tre uppgifter ska vara enkla och direkta. Två ska bilda ett sammanhang, exempelvis att cykeln Nova användes på utflykten där bokklubben kom på tal. En sådan koppling visar om assistenten hämtar mer än en lös nyckelordsmatchning. Spara en privat kontrollista utanför tjänsten med exakt vad du berättade och när.

Dag 1: skapa ett tydligt utgångsläge

Ge de fem uppgifterna i naturlig konversation, inte som en lång lista som ber modellen att memorera allt. Fråga sedan, i samma chatt, efter tre av dem. Anteckna om svaren är korrekta, osäkra eller påhittade. Den här mätningen är en kontroll av omedelbart sammanhang, inte av långtidsminne. En tjänst som misslyckas redan här behöver knappast en lång provperiod för att avslöja problemet.

Dag 2–3: ändra ämne och korrigera en detalj

Prata om två helt andra saker, exempelvis en fiktiv filmlista och ett påhittat resmål. Återvänd sedan till cykeln eller bokklubben utan att upprepa svaret. Testa både en öppen fråga – ”Vad hette cykeln vi talade om?” – och en ledtråd – ”Minns du cykeln från vår utflykt?”. Ett system kan klara ledtråden men inte den öppna frågan. Det är användbar information, inte nödvändigtvis ett fel.

På dag tre rättar du en uppgift: bokklubben har flyttats från torsdag till onsdag. Skriv uttryckligen att den gamla dagen inte längre gäller. Be assistenten återge den senaste planen direkt efter korrigeringen, men avvakta med att testa igen. Om du själv upprepar onsdag varje gång går det inte att bedöma om uppdateringen sparats.

Dag 4–5: testa återkallelse, inte bara upprepning

Starta en ny konversation eller använd tjänstens avsedda funktion för att återvända efter ett avbrott. Gör däremot ingen permanent återställning om du vill mäta kontinuitet: vissa tjänster skiljer mellan att börja en ny chatt och att radera sitt minne. Fråga om bokklubben på ett nytt sätt: ”Vilken kväll passar för vår grupp nästa vecka?”. Notera om svaret blir onsdag, torsdag eller något helt annat.

Gör även ett test som kombinerar två fakta: ”Vilken cykel skulle jag ta om jag cyklade till klubben?” Ett korrekt svar kräver inte ordagrann reproduktion; assistenten bör kunna använda namnet Nova i rätt sammanhang och gärna markera osäkerhet om den inte hittar minnet.

Dag 6–7: lägg in svenska språkskiften

Upprepa en fråga på vardaglig svenska med böjningar: ”Vad var det nu min hoj hette?” och återvänd senare med ”Kan du påminna mig om vår bokklubbskväll?”. Gör gärna en neutral sidodiskussion på engelska mellan frågorna om det motsvarar hur du faktiskt använder appen. Bedöm inte en svensk fråga som godkänd bara för att svaret låter flytande: den måste också ge rätt uppgift.

Den sista dagen ber du modellen sammanfatta vad den vet med tydlig uppdelning mellan säkra fakta och osäkra antaganden. En assistent som säger ”jag vet inte” när den saknar underlag kan vara mer pålitlig än en som uppfinner detaljer i en självsäker ton.

Ge poäng utan att lura dig själv

Poängsätt tio förutbestämda kontrollfrågor: 2 poäng för korrekt svar utan hjälp, 1 poäng för korrekt svar efter en neutral ledtråd och 0 poäng för fel svar, gissning eller uteblivet svar. Maxpoängen blir 20. För journal över fråga, tid, språk, ledtråd och svar. Prova samma upplägg i två tjänster med ungefär lika mycket samtalstid och jämför mönster i stället för att utropa vinnare från en enda siffra.

Håll också isär sådant som var uttryckligen inskrivet i minnesfält från sådant tjänsten skulle lära sig i samtalet. Om du manuellt lägger till uppgiften i ett journalfält är det ett test av den funktionen – inte av automatisk långtidsinlärning.

Hur Nomi och Kindroid beskriver minnet

Nomi AI beskriver återkallelse som mer ämnesstyrd än datumstyrd. ”Vad hände på vår fjällresa?” kan därför vara lättare än ”Vad gjorde vi för fem dagar sedan?”. Kindroid dokumenterar separata system för beständiga uppgifter, medellångt samtalsminne, automatiskt långtidsminne och journalposter som kan aktiveras av nyckelord. Det är produktbeskrivningar, inte en oberoende jämförelse av träffsäkerhet.

Integritet och rimlig slutsats

Skapa inte provuppgifter om ditt riktiga hem, sjukdomar, arbetsplats, barn eller betalningsinformation. Läs först inställningarna för historik, radering och minnesfunktioner. Ett test ska vara lätt att avbryta och dess data ska kunna tas bort enligt tjänstens egna verktyg och villkor.

Om en tjänst klarar omedelbara frågor men fallerar dag fem är den kanske bra för korta rollspel men mindre lämplig för en pågående relation. Om den minns gammal information men inte accepterar korrigeringar kan resultatet bli direkt störande. Läs vidare om minne kontra kontextfönster och den bredare guiden till AI-minne.

Källor och vad vi inte har testat

För metodens produktavsnitt: Nomi: hur långt bak minnet kan nå, Kindroid: minnessystem och journal samt Kindroid: vad en chattbrytning påverkar. Vi har inte genomfört poängtestet själva, så inga poängtal i denna guide är ett faktiskt prestandabetyg.