Projektissa käsiteltiin noin 330 000 asiakirjaa ja yli 220 000 tarkasteltavaa kokonaisuutta. Ratkaisun avulla aineiston läpikäyntiä voitiin automatisoida merkittävästi ja ihmisten työ kohdistaa erityisesti niihin tapauksiin, joissa tarvittiin tulkintaa ja validointia.

Haasteena mittava ja osin käsinkirjoitettu aineisto

Monadin toteuttaman tekoälyratkaisun tarkoituksena oli tunnistaa laajasta aineistosta oikeat dokumentit ja poimia niistä jatkokäsittelyn kannalta useita tietoja, kuten päivämääriä ja asiakirjoihin kirjattuja tietoja.

Tehtävän vaativuus syntyi ennen kaikkea aineiston heterogeenisuudesta. Arkistossa oli useiden vuosikymmenten ajalta peräisin olevia dokumentteja ja erilaisia dokumenttipohjia. Tietoja oli merkitty sekä koneellisesti että käsin, ja jopa saman dokumentin sisällä saattoi esiintyä molempia.

Varsinaisten käsiteltävien asiakirjojen lisäksi aineisto sisälsi myös muuta dokumentaatiota, kuten liitteitä ja muita kokonaisuuteen liittyviä asiakirjoja. Ratkaisun tuli siksi pystyä paitsi lukemaan dokumentteja, myös arvioimaan, mikä aineisto oli kulloisenkin käsittelyn kannalta relevanttia.

Automaatio hoitaa massan, ihminen keskittyy poikkeuksiin

Ratkaisu rakennettiin human-in-the-loop-periaatteella. Tekoäly automatisoi suuren määrän toistuvaa dokumenttien läpikäyntiä ja tiedon poimintaa, mutta samalla ihmisen tekemä validointi haluttiin pitää mahdollisimman sujuvana osana kokonaisuutta. Tätä varten rakennettiin moderni tarkistuskäyttöliittymä, jossa löydökset voitiin hyväksyä tai korjata nopeasti. Käyttöliittymää kehitettiin iteratiivisesti yhdessä asiakkaan kanssa, jotta se palveli mahdollisimman hyvin todellista työskentelytapaa ja teki suuren aineistomäärän käsittelystä mahdollisimman jouhevaa.

– Monad reagoi tarpeeseemme poikkeuksellisen nopeasti ja sai heti hyvän otteen sekä aineiston haasteista että liiketoimintatarpeestamme. Ratkaisua kehitettiin iteratiivisesti yhdessä meidän kanssamme, ja tekeminen mukautui joustavasti työn aikana tarkentuneisiin tarpeisiin. Yhteistyössä näkyivät vahva tekninen osaaminen ja käytännönläheinen tapa ratkaista ongelmia, kertoo Tiina Ylitolva, Head of Development, Business and Customer Applications Elenialta.

Noin 165 000 tiedostosta tunnistettiin automaattisesti käsittelyn kannalta olennaiset asiakirjat. Suurin osa tuloksista validoitiin ihmisen toimesta, ja noin 32 000 tapausta eli lähes viidennes voitiin käsitellä kokonaan automaattisesti.

Tämä työnjako mahdollisti sen, että asiantuntijoiden aikaa ei tarvinnut käyttää koko aineiston manuaaliseen seulontaan. Automaatio teki raskaan esityön, ja ihmisen huomio voitiin kohdistaa tilanteisiin, joissa sitä todella tarvittiin.

Aineiston luottamuksellisuus asetti toteutukselle tiukat tietoturvavaatimukset. Ratkaisu suunniteltiin siten, että data pysyi koko käsittelyn ajan Suomen rajojen sisäpuolella. Toteutuksessa oli siten huomioitava tekoälyratkaisun toiminnallisuuden lisäksi se, missä ja miten aineistoa käsitellään.

Lopputuloksena suuri ja rakenteeltaan epäyhtenäinen dokumenttimassa voitiin käsitellä systemaattisesti tavalla, joka yhdisti automaation nopeuden ja ihmisen tekemän laadunvarmistuksen.