Tekoälykumppanin muistitesti: seitsemän päivän käytännön koe

Tekoälykumppani voi muistaa nimesi saman keskustelun aikana ja silti unohtaa sovitun asian parin päivän päästä. Markkinoinnin ”pitkä muisti” ei kerro, miten luotettavasti vanha tieto palautuu. Alla on seitsemän päivän kokeilu, jolla voit vertailla palveluja omassa käytössäsi ilman oikeiden henkilötietojen jakamista.

Laadi viisi fiktiivistä muistettavaa asiaa

Valitse kaksi helppoa faktaa, kaksi tarinan yksityiskohtaa ja yksi myöhemmin korjattava tieto. Esimerkiksi: lempijuomasi on kuvitteellinen katajatee, polkupyörän nimi on Tähti, kirjastokerho tapaa torstaisin, keksityn majakan nimi on Silta ja tapasitte tarinan hahmon juuri majakan luona. Tässä ei ole tarkoitus kouluttaa mallia todellisilla muistoillasi, vaan luoda samanlainen vertailutehtävä kahdelle eri palvelulle.

Kirjaa tiedot itsellesi erilliseen muistiinpanoon, johon myös merkitset päivämäärän ja sanatarkat korjaukset. Älä lisää kaikkea palvelun pysyvään muistitoimintoon, jos haluat tutkia sen automaattista muistamista. Jos vertaat nimenomaan erillisiä muistikirjoja, tee niistä oma testiosionsa.

Päivä 1: tarkista lyhyt keskustelukonteksti

Juttele luontevasti ja ujuta viisi asiaa keskusteluun. Kysy saman istunnon lopussa kolme helppoa kysymystä: ”Minkä nimen annoin pyörälle?” tai ”Minkä juoman mainitsin?”. Jos vastaus on väärä jo nyt, ongelma ei välttämättä liity pitkäkestoiseen muistiin, vaan siihen mitä malli ymmärsi tai mitä sille oli näkyvissä juuri sillä hetkellä.

Varmista, että et vahingossa kerro oikeaa vastausta kysymyksessä. Kysymys ”Muistatko Tähti-pyöräni?” mittaa huonosti muistamista, koska vastaus sisältyy kysymykseen. Parempi on käyttää neutraalia muotoa ”Mikä pyörän nimi oli?”.

Päivät 2–3: lisää häiriötekijä ja muuta suunnitelmaa

Keskustele seuraavana päivänä täysin muusta aiheesta, vaikka kuvitteellisesta elokuvasta ja retkieväistä. Kysy sitten majakkaan liittyneestä kohtaamisesta antamatta nimeä valmiiksi. Tee kaksi versiota: ensin avoin kysymys, sitten tarvittaessa pieni vihje. Jos oikea vastaus löytyy vasta vihjeen jälkeen, anna siitä vähemmän pisteitä mutta merkitse havainto muistiin.

Kolmantena päivänä korjaa kerhon kokoontuminen torstaista keskiviikkoon. Kerro selvästi, että uusi päivä korvaa aiemman. Älä kuitenkaan toista keskiviikkoa jokaisessa seuraavassa viestissä. Tärkeä kysymys on, ottaako kumppani muutoksen käyttöön myöhemmin eikä vain välittömästi.

Päivät 4–5: testaa palautuminen keskustelutauon jälkeen

Pidä normaali tauko ja palaa sovellukseen. Jos palvelussa on erillisiä keskusteluketjuja, kokeile uutta ketjua vain silloin, kun palvelu kertoo muistin toimivan niiden välillä. Älä sekoita uutta keskustelua ja muistin nollaamista: ne voivat olla aivan eri toimintoja. Kysy: ”Minä viikonpäivänä kirjakerho nykyään kokoontuu?” ja ”Mihin retkipaikkaan tarinamme liittyi?”.

Pyydä viidentenä päivänä hyödyntämään kahta tietoa samassa vastauksessa, esimerkiksi kirjoittamaan lyhyt kertomus, jossa Tähti-pyörällä kuljetaan majakalle. Jos malli keksii uuden pyörän nimen, merkitse virheeksi, vaikka muu teksti olisi sujuvaa.

Päivät 6–7: testaa arkisuomea ja epävarmuutta

Käytä eri ilmauksia kuin alkuperäisessä keskustelussa: ”Milloin meidän kerhon piti kokoontua?” ja ”Mikä se majakkapaikka olikaan?”. Suomen sijamuodot ja puhekieliset muodot tekevät kokeesta hyödyllisemmän kuin englanniksi annettu täydellisen samanlainen kysymys. Jos käytät palvelua myös englanniksi, kokeile yhtä kielenvaihtoa ja katso, löytyvätkö suomeksi annetut asiat edelleen.

Viimeisenä päivänä pyydä erottamaan varmat muistot arvauksista. Rehellinen ”en muista” voi olla parempi kuin vakuuttava, mutta väärä selitys. Älä laske ystävällistä sävyä muistisuoritukseksi: oikea asia pitää löytyä oikeasta yhteydestä.

Yksinkertainen pisteytys paljastaa olennaisen

Valmistele kymmenen koetilannetta ja käytä asteikkoa 2 = oikein ilman vihjettä, 1 = oikein neutraalin vihjeen avulla ja 0 = väärin, arvattu tai ei vastausta. Enimmäispisteet ovat 20. Merkitse lisäksi, tapahtuiko onnistuminen saman keskustelun sisällä vai usean päivän kuluttua, ja tarvittiinko muistikentän manuaalista täyttämistä.

Älä tee yleispätevää laatujärjestystä yhden viikon perusteella. Palvelun malli, tilaus, keskustelun pituus ja kysymysten muoto voivat vaikuttaa tulokseen. Käytännössä tärkein havainto voi olla esimerkiksi se, että palvelu muistaa vanhat tarinat mutta käsittelee väärin niiden korjauksia.

Mitä Nomi ja Kindroid kertovat omista järjestelmistään?

Nomin ohjeissa kerrotaan, että aiheen tai tapahtuman mainitseminen voi auttaa vanhan muiston löytymisessä paremmin kuin pelkkä päivämäärä. Kindroid erottaa pysyvät taustatiedot, keskustelun lyhyen kontekstin, keskipitkän aikavälin muistin sekä pitkän muistin ja avainsanoihin perustuvat päiväkirjamerkinnät. Nämä ovat kehittäjien kuvauksia, eivät riippumattomasti mitattuja onnistumisprosentteja.

Tietosuoja ennen pistemäärää

Älä testaa oikeilla terveysasioilla, työpaikan luottamuksellisilla tiedoilla, tarkalla kotiosoitteella tai läheistesi tiedoilla. Tarkista keskusteluhistorian ja muistin poistomahdollisuudet ennen aloitusta. Lue lisäksi muistijärjestelmien yleisesittely ja muistin sekä konteksti-ikkunan erot.

Lähteet

Nomi: vanhojen asioiden muistaminen, Kindroid: muistin osa-alueet ja Kindroid: keskustelun aloittaminen uudelleen. Artikkeli opastaa omaan vertailuun, eikä väitä testanneensa palveluita.