Listen and compare
Short real recordings, and what each model wrote. Red words are wrong or extra; the count also includes words the model left out. Our model is a Whisper large-v3 fine-tuned on Finnish dialect interviews by the GAIK project.
Dialect speech
Interviews recorded in the 1960s–70s, from municipalities kept out of our training. The reference is a person's transcript in standard Finnish word forms, so a model is right when it hears the dialect and writes standard Finnish.
Heinola · SKN test segment SKN45a_Heinola_0097
What was said (a person's standard-Finnish transcript)vaikka minäkin välistä vien juomaakin sille niin ei se pure mutta se irvistää että luulisi että nyt se puree
Whisper large-v3 (OpenAI), as it is8 of 19 words wrongaika miekivälistäviä juomaakin sille, niin ei se pure. Mut se hirvisti, että luulis, että nyt se puri.
Gemini 3.5 Flash (Google), asked to write as spoken6 of 19 words wrongVaikka mieki välissä vie juomaa sille, niin ei se pure, mutta se irvistää ja luulisi, että nyt se puria.
Gemini 3.5 Flash, asked for standard Finnish5 of 19 words wrongVaikka minäkin välillä estelen viedä juomaakin silleen, niin ei se pure. Mutta se irvistää niin, että luulisi, että nyt se puree.
Google Chirp 37 of 19 words wrongVaikka minäkin välillä sitä vien juomaakin silleen, niin ei se pure. Mut se ei ilmeisesti, että luulisi, että nyt se purisi.
Our model1 of 19 words wrongVaikka minäkin välistä vien juomaakin sille, niin ei se pure, mutta se irvisti, että luulisi, että nyt se puree.
In English: “Even when I sometimes bring it something to drink, it doesn't bite, but it grimaces so you'd think it bites now.”
Eurajoki · SKN test segment SKN50a_Eurajoki_0203
What was said (a person's standard-Finnish transcript)ja sitten kun niitä niitä pentuja penikoita tuli niin ne pantiin sitten yhden kanan perään kaikki yksi kana hoiti ne sitten saatiin ne toiset kaksi kanaa jälleen munimaan
Whisper large-v3 (OpenAI), as it is13 of 28 words wrongJa sit kun niitä penikoi tuli, niin ne panti sit yhden kanan perään kaikki. Yks kana hoitnes sitten. Saati ne toiset kaks kanaa ja lemuniimaa.
Gemini 3.5 Flash (Google), asked to write as spoken16 of 28 words wrongSit ku niitä pentu penikoitui, ne tappo sit tyhjän kanan perään kaikki. Yks kana hoiti ne sitte. Saatiin ne toiset kaks kanaa jollemuun iimaan.
Gemini 3.5 Flash, asked for standard Finnish10 of 28 words wrongNyt sitten niitä penikoitui, ne tappoivat sitten tyhjän kanan perään kaikki. Yksi kana hoiti ne sitten. Saivat ne toiset kaksi kanaa jälleen munimaan.
Google Chirp 316 of 28 words wrongRitska niitä pentui penikoituneet pantti sit yhden kanan perään kaikki. Yksi kana hoitnes sitten. Saatti ne toiset kaksi kanaa jolle munia.
Our model3 of 28 words wrongJa sitten kun niitä pentuja, penikoita tuli, niin ne pantiin sitten yhden kanan perään kaikki, että yksi kana hoiti ne sitten, saatiin ne toiset kaksi kanaa jälleen monimaan.
Alastaro · SKN test segment SKN25a_Alastaro_0156
What was said (a person's standard-Finnish transcript)niin hahtuvakoppa pantiin sitten kanan päälle alassuin kun se sängyn jalkopäähän otettiin munille
Whisper large-v3 (OpenAI), as it is11 of 13 words wrongNiin, haastava koppapa. Niin sit kanan päällä alas syiden, kun se sänky jalkapäähän nyt etsii munille.
Gemini 3.5 Flash (Google), asked to write as spoken9 of 13 words wrongNiinhän hovikokkopuandin sit kananpäätä alasuiden, kun se sängynjalkapäähän otettiin munille
Gemini 3.5 Flash, asked for standard Finnish8 of 13 words wrongNiin, hahtuvaloppo vanhin sitten kananpäälle alas vuoteen, kun se sängynjalkapäähän teetti munille
Google Chirp 312 of 13 words wrongNii haastettiin kopa pandi sit kanam päälle alas sit ku se sängy jalkapäähän tehtiin munille.
Our model6 of 13 words wrongNiin, hastalokoppa pantiin sitten kanan päälle alas suiten, kun se sänky jälkipäähän nytettiin munille.
Standard spoken Finnish: a dental webinar
The Ajokortti clip: 180 s of a public dental-education webinar with many names and brands. Here word errors and meaning errors part ways: a model can spell many words differently and still keep the meaning, or miss one name and change it. Meaning errors were rated by two LLM judges, Claude Opus 5.5 and Gemini 3.1 Pro, who read the reference and each transcript without knowing which model wrote it (minor, major or critical).
Four implant brands · Ajokortti webinar, 75.5–83.7 s
Reference (University of Helsinki transcript)ja sen jälkeen siellä on neljä implanttibrändiä mukana. Straumann, Densply Sirona, Nobel Biocare ja Camlog-Conelog eli Implantona Oy.
Gemini 3.5 Flash (Google)3 of 18 words differJa sen jälkeen siellä on neljä implanttibrändiä mukana: Straumann, Dentsply Sirona, Nobel Biocare ja Camlog Conelog eli Implantona Oy.
Both judges: no meaning errors. Both also note that the reference misspells “Dentsply”; “Camlog Conelog” is how the listener-reviewed reference writes it, so these red words are correct.
Our model6 of 18 words differja sen jälkeen siellä on neljä implanttibrändiä mukana, Straumann, Densplay-sirvana, Nobelbayer, ja Camlock-Connellock eli implanttoona Oy.
Both judges: “Nobelbayer” is a major error (a different name). Claude rates the other brands minor (misspelled but recognisable); Gemini 3.1 Pro also rates “Densplay-sirvana” major.
Whisper large-v3 (OpenAI)8 of 18 words differSen jälkeen siellä on neljä implanttebrändiä mukana, Straumanni, Dentsply Sirona, Noble Biocare ja Camlock Conelog, eli implanttoona OY.
Claude: one minor error, the names misspelled but recognisable. Gemini 3.1 Pro: no error here.
A lecturer and a profession · Ajokortti webinar, 8.3–15.5 s
Reference (University of Helsinki transcript)Sitten on parodontologi Martta Martolan luento perimplantiitista ja sitten Implantticaseja, semmoinen vodcast, jossa Peterin kanssa
Gemini 3.5 Flash (Google)5 of 15 words differSitten on parodontologi Martta Martola luento peri-implantiitista. Ja sitten implanttikeissejä semmoinen podcast, jossa Petteri kanssa
Both judges: “podcast” and “Petteri” are minor slips. “peri-implantiitista” is the correct spelling; both judges note that the reference misspells it.
Our model5 of 15 words differSitten on Pardentolki Martta Marttojen luento periimplanttiitista ja sitten ImplanttiCase ja semmoinen vodcast, jossa Peterin kanssa
Both judges: the surname “Marttojen” is a major error. “Pardentolki” (periodontist): minor for Claude, major for Gemini 3.1 Pro.
Whisper large-v3 (OpenAI)4 of 15 words differSitten on parodontologi Martta Martola luento perimplantiitista ja sitten implanttikeissä ja semmoinen vodcast, jossa Peeterin kanssa
“implanttikeissä” for “Implantticaseja”: minor for Claude, major for Gemini 3.1 Pro.
“Six to nine months” · Ajokortti webinar, 147.9–151.8 s
Reference (University of Helsinki transcript)Kesto on noin kuusi-yhdeksän kuukautta, mutta nyt minä annan Peterille puheenvuoron.
A listener hears “kuusi viiva yhdeksän” and “mä” here; the reference writes “kuusi-yhdeksän” and “minä”.
Gemini 3.5 Flash (Google)4 of 11 words differKesto noin 6-9 kuukautta. Mutta nyt mä annan Petterille puheenvuoron.
Neither judge counts digits or the spoken “mä” as errors; WER does.
Our model3 of 11 words differKesto on noin kuusi vai yhdeksän kuukautta, mutta nyt minä annan Peterille puheenvuoron,
“kuusi vai yhdeksän” (six or nine) for “kuusi-yhdeksän” (six to nine): minor for Claude, major for Gemini 3.1 Pro.
Whisper large-v3 (OpenAI)2 of 11 words differKesto on noin 6-9 kuukautta, mutta nyt mä annan Peterille puheenvuoron.
No meaning error for either judge.