Avoimista 1960–70-lukujen murrehaastatteluista koulutettu puheentunnistusmalli. Tämä sivu kertoo, mitä dataa käytettiin, mitä sille tehtiin, missä kohdissa käytettiin Claude Opus 5.5:tä ja miten tulos mitattiin.
40,4 → 21,1 %sanavirheitä murretestissä, Whisper large-v3 → oma malli
25,9 → 13,6merkitysvirhepisteitä / 100 sanaa toisella murrekorpuksella
3 h 8 minkoulutus yhdellä AMD MI250X -GPU:lla LUMIssa
Kuvitus, tekoälyn tekemä (GPT Image 2.5). SKN:n haastattelut nauhoitettiin juuri tällaisissa keittiöissä.
00
Koko ketju yhdellä silmäyksellä
Ääni
SKN:n murrehaastattelut 50 kunnasta, leikattu 2–25 s pätkiksi.
Opus: välimerkit
Opus lisäsi pisteet, pilkut ja isot alkukirjaimet koulutustekstiin. Sanat eivät saaneet muuttua.
Koulutus
LoRA-hienosäätö Whisper large-v3:lle LUMIssa, paras kolmesta epookista talteen.
WER-testit
Murretesti 10 kunnasta, joita malli ei kuullut, sekä yleiskieliset FLEURS ja VoxPopuli.
Opus: tuomari
Toisella murrekorpuksella Opus laski sokkona merkitysvirheet kaikkien mallien teksteistä.
Ruskealla merkityt vaiheet ovat ne kaksi kohtaa, joissa julkaistu malli käytti kielimallia. Opus ei koskaan kuullut ääntä eikä kirjoittanut testien vertailutekstejä.
01
Data: mistä ääni ja tekstit tulivat
Suomen kielen näytteitä (SKN) on Kotimaisten kielten keskuksen (Kotus) aineisto, jota jaetaan Kielipankissa CC BY 4.0 -lisenssillä. Siinä on noin kaksi tuntia haastattelua kustakin 50 kunnasta eri puolilta Suomea, enimmäkseen iäkkäitä puhujia. Jokainen lause on litteroitu kahdesti: murreasussa (foneettisin merkein) ja yleiskielen sanamuodoin.
Leikkasimme haastattelut 2–25 sekunnin pätkiksi ja jaoimme ne kunnittain: koulutukseen 38 kuntaa (15 042 pätkää, 62 h), validointiin 2 kuntaa (Pälkäne, Sotkamo) ja testiin 10 kuntaa, SKN:n vihkosarjan joka viides numero. Testikunnat edustavat viittä SKN:n kuudesta murreryhmästä: lounais- ja hämäläismurteita, Savoa ja kaakkoismurteita. Pohjalais- ja peräpohjalaismurteet ovat vain koulutuksessa. Testikuntien haastateltavia malli ei kuullut koskaan; muutama haastattelija nauhoitti sekä testi- että koulutuskuntia, ja heidän kysymyksensä ovat pätkissä mukana.
Validointi · Pälkäne · 5,7 s SKN03a_Palkane_0021
Murreasutext_dialectVieläkö ossaisitte ? 'kyyllᴀ̈ . minä "niŋ kauvan ‿ossaaŋ ku ma "eläŋkɪ .
Yleiskieli, ihmisen tekemätext_normalizedvieläkö osaisitte kyllä minä niin kauan osaan kun minä elän
Koulutuksen kohdetekstitextVieläkö osaisitte? Kyllä minä niin kauan osaan kun minä elän. llm-punctuation
Mitä llm-punctuation tarkoittaa datasetissä? Se kertoo, että rivin text-kentän välimerkit ja isot alkukirjaimet on lisännyt Opus. Sanat ovat silti ihmisen: vastaus hyväksyttiin vain, jos sen sanat olivat täsmälleen samat kuin ihmisen yleiskielisessä litteraatissa. Arvo human tarkoittaa, että text on ihmisen teksti sellaisenaan: niin on 18 koulutuspätkässä, joiden välimerkitys ei läpäissyt tarkistusta, ja koko testiosassa.
Miksi välimerkit? SKN:n yleiskielisessä tekstissä niitä ei ole, joten ensimmäinen versio mallista oppi kirjoittamaan lähes ilman pisteitä ja pilkkuja: niitä oli vain yhdessä sen 600 testitulosteesta, Whisper large-v3:lla 97,5 %:ssa.
Aineisto
Mitä
Käyttö julkaistussa mallissa
Lisenssi
SKN (Kotus / Kielipankki)
murrehaastattelut 50 kunnasta
koulutus 38 kuntaa, validointi 2, testi 10
CC BY 4.0
FLEURS (Google)
luettuja Wikipedia-lauseita
koulutus 2 704, testi 918
CC BY 4.0
VoxPopuli (Meta)
Euroopan parlamentin puheita
koulutus 7 504, testi 478
CC0
LA-murre (Turun yliopisto, Kotus / Kielipankki)
toinen murrekorpus, 10 muuta paikkakuntaa
vain testi (583 pätkää)
CC BY-ND 4.0
FLEURS ja VoxPopuli ovat mukana, jotta tavallinen yleiskieli ei heikkene murteen opettelussa. Kaikki koulutusdata on avointa.
02
Missä Claude Opus 5.5:tä käytettiin
Opus oli mukana neljässä tehtävässä. Kaksi ensimmäistä koskevat julkaistua mallia, kolmas vain sisäistä vertailumallia ja neljäs webinaarileikkeen arviointia. Lisäksi koulutus- ja LUMI-koodi kirjoitettiin Claude Coden kanssa.
Välimerkit koulutustekstiin
Opus sai 20 yleiskielistä tekstiä kerrallaan (vain tekstiä, ei ääntä) ja lisäsi välimerkit ja isot alkukirjaimet. Koodi hylkäsi jokaisen vastauksen, jonka sanat poikkesivat alkuperäisestä.
15 024 / 15 042 hyväksyttiin · noin 52 USD · prepare_targets.py
Sokkotuomari LA-murteella
LA-murteen vertailuteksti on murreasussa, joten sanavirhe rankaisisi yleiskielestä. Opus luki vertailutekstin ja neljän mallin litteraatit nimettöminä ja laski vain merkitysvirheet.
583 pätkää · noin 11 USD per kierros · judge_dialect.py
Murre yleiskielelle (vain sisäinen malli)
Lisäkokeessa Opus kirjoitti LA-murteen koulutuspätkien murreasuiset tekstit yleiskielelle, sana sanalta. Siitä koulutettu malli on paras molemmissa murretesteissä, mutta LA-murteen lisenssi kieltää muokatun version jakamisen, joten mallia ei julkaistu.
15 529 pätkää · noin 49 USD · ei julkaistu
Webinaarileikkeen tuomarit
180 s:n hammaslääkäriwebinaarin litteraatit arvioivat Opus ja Gemini 3.1 Pro: kumpikin luki ihmisen tekstin ja yhden litteraatin ilman mallin nimeä, laski merkitysvirheet ja tarkisti 14 nimeä ja termiä.
kaikki 20+ mallia · judge_asr.py
Opuksen kulut koulutustekstiin ja kahteen ensimmäiseen arviointikierrokseen olivat noin 125 USD; aikaleimaversion kolmas kierros (kohta 08) käytti suunnilleen yhtä paljon tokeneita kuin kumpikin aiempi. Testien vertailutekstit ovat kaikki ihmisten tekemiä, eikä mallin tulostetta käytetty koskaan oikeana vastauksena.
03
Koulutus LUMIssa
Pohjana on OpenAI:n Whisper large-v3 (1,55 mrd. parametria), joka oli vertailussamme paras avoin malli tavalliselle suomelle. Koko mallia ei koulutettu uudelleen. LoRA lisää huomiokerroksiin pienet lisämatriisit ja kouluttaa vain ne: noin 2 % painoista. Lopuksi lisäosa yhdistettiin painoihin, joten julkaistu malli toimii kuin tavallinen Whisper.
LoRA rank 64 huomion q_proj- ja v_proj-kerroksissa, oppimisnopeus 1e-4, erä 8, kolme kierrosta (epookkia) koko datan yli.
Ajo: yksi AMD MI250X -GPU CSC:n LUMI-supertietokoneella, 3 h 8 min. Mallin valinta tehtiin validointikunnilla, ei koskaan testituloksilla.
Validointihäviö (pienempi on parempi) ennen koulutusta ja jokaisen epookin jälkeen. Neljännen epookin piste on erillisestä nelikierroksisesta ajosta, joka näytti, että pidempi koulutus alkaa ylisovittaa. Talteen otettiin epookki 2.
04
Mittaus 1: sanavirheet (WER)
WER (word error rate) laskee, kuinka monta sanaa pitää vaihtaa, poistaa tai lisätä, jotta mallin teksti vastaa ihmisen tekstiä, jaettuna ihmisen tekstin sanamäärällä. Ennen vertailua kirjaimet pienennetään ja välimerkit poistetaan. Murretestissä vertailuteksti on SKN:n yleiskielinen litteraatti: malli on oikeassa, kun se kuulee murretta ja kirjoittaa yleiskieltä.
Testi · Heinola · kunta, jota malli ei kuullut SKN45a_Heinola_0097
Murreasuvaikka miekiiv̆ välistä viej juomaakii sillen niin ‿ei se pure . mut se irvistie että luulis ‿että nyt se purie .
Ihminen (vertailu)vaikka minäkin välistä vien juomaakin sille niin ei se pure mutta se irvistää että luulisi että nyt se puree
Whisper large-v3aika miekivälistäviä juomaakin sille, niin ei se pure. Mut se hirvisti, että luulis, että nyt se puri.8 / 19
Oma malliVaikka minäkin välistä vien juomaakin sille, niin ei se pure, mutta se irvisti, että luulisi, että nyt se puree.1 / 19
Whisper large-v3Oma malli
WER kunnittain, 60 pätkää per kunta, yhteensä 600. Oma malli on parempi kaikissa kymmenessä kunnassa: kaikki yhteensä 40,4 → 21,1 %. Valmiit suomeksi hienosäädetyt mallit (luettua puhetta) saavat samassa testissä 48–57 % ja maksullinen Gemini 3.5 Flash 34,7 %, kun sitä pyydetään kirjoittamaan yleiskieltä (40,8 %, kun sitä pyydetään kirjoittamaan sanasta sanaan mitä sanotaan).
Testi
Whisper large-v3
Oma malli
SKN-murretesti, 10 kuntaa, WER %
40,4
21,1
FLEURS, luetut lauseet, WER %
7,4
7,6
VoxPopuli, parlamenttipuhe, WER %
12,7
10,8
180 s hammaslääkäriwebinaari, WER % (paloiteltuna)
15,7
13,9
05
Mittaus 2: LLM-tuomari toisella murrekorpuksella
SKN-testi jakaa SKN:n omat kirjoitustavat koulutusdatan kanssa, joten tarvittiin toinen, täysin vieras korpus: LA-murre, 583 pätkää kymmeneltä paikkakunnalta, jotka eivät ole SKN:ssä. Sen vertailuteksti on kuitenkin murreasussa, joten WER rankaisisi mallia juuri siitä, mitä siltä halutaan, eli yleiskielen kirjoittamisesta.
Siksi Opus luki jokaisesta pätkästä murreasuisen vertailutekstin ja neljän mallin litteraatit kirjaimilla A–D nimettyinä ja joka pätkässä eri järjestyksessä. Se laski vain virheet, jotka muuttavat merkitystä: väärä sana, nimi tai luku, puuttuva tai keksitty sisältö. Murre- ja yleiskielen ero, välimerkit ja täytesanat eivät ole virheitä.
10 pcriticalpätkän pääasia katoaa tai kääntyy
5 pmajorsisältösana, nimi tai luku väärin, tai lause puuttuu
1 pminorpieni lipsahdus, jonka lukija ymmärtää
pisteet / 100 sanaa = (10 × critical + 5 × major + 1 × minor) ÷ vertailutekstin sanat × 100 oma malli: (10 × 8 + 5 × 340 + 612) ÷ 17 625 × 100 = 13,6
Malli (tuomari näki vain kirjaimen)
Pisteet / 100 sanaa
Critical
Major
Minor
Virheettömiä pätkiä
Whisper large-v3
25,9
74
600
821
50
Oma malli, kierros 1 (ei välimerkkejä)
13,8
7
342
649
116
Oma malli, julkaistu
13,6
8
340
612
121
Sisäinen malli (+ LA-murre-koulutus, ei julkaistu)
11,4
12
266
562
143
Esimerkki tuomarin työstä (Tammela, 26 sanaa). Whisper large-v3 jätti pois sivulauseen, jossa kerrotaan tyttären miehestä: 1 major = 5 pistettä. Julkaistu malli piti sisällön ja lisäsi yhden ylimääräisen "ja"-sanan: 1 minor = 1 piste. Kierroksen 1 malli sai saman pätkän virheettä.
LA-murteen tekstejä ei näytetä tällä sivulla: niiden lisenssi (CC BY-ND) ei salli muokattujen versioiden jakamista, joten niitä ei julkaista.
Tuomarin ohje sanasta sanaan (englanniksi)
You compare automatic transcripts of Finnish dialect speech with a human reference.
The reference is a linguist's transcript in DIALECT spelling (for example "miekii" = "minäkin",
"viej juomaakii" = "vien juomaakin", "irvistie" = "irvistää"). The transcripts should
say the same thing; writing it in standard Finnish is correct and wanted.
For each transcript count only MEANING errors against the reference:
- a wrong word, name or number that changes what is said
- content that is missing
- content that was not said
Severity: critical = the segment's main point is lost or reversed; major = a content word,
name or number is wrong or a clause is missing; minor = a small slip a reader can see through.
NOT errors: dialect against standard forms, digits against number words, punctuation, case,
compound spacing, dropped fillers or repetitions ("niin niin", "tuota"), a cut-off word left out.
Judge each transcript on its own; the labels carry no information.
Tämä on julkinen versio, dialect-judge-v2. Yllä olevat pisteet tehtiin versiolla v1, joka eroaa vain ensimmäisen kappaleen kolmessa esimerkkisanaparissa: v1:n esimerkit olivat LA-murre-korpuksesta, nämä ovat SKN:stä.
Rajoitus: tuomari on itsekin kielimalli; kolme avointa mallia arvioi saman tehtävän uudelleen (seuraava kohta). Yhden pisteen erot 100 sanaa kohden luetaan tasapeleiksi, ellei merkkitesti sano muuta. Julkaistun mallin ero Whisperiin on silti selvä: se sai vähemmän pisteitä 398 pätkässä ja enemmän 89:ssä (merkkitesti p < 0,001). Ero kierroksen 1 malliin ei ole merkitsevä (p = 0,10).
06
Kolme muuta tuomaria CSC:n Aitassa on samaa mieltä
Yksi tuomari on yksi mielipide. Siksi sama tehtävä samoilla ohjeilla, kirjaimilla ja järjestyksellä annettiin kolmelle avoimelle mallille, joita ajetaan CSC:n Aitta-palvelussa Suomessa. gpt-oss-120b arvioi kaikki 583 pätkää; Gemma 4 31B ja Qwen3.6 27B arvioivat saman 200 pätkän otoksen, 20 pätkää paikkakuntaa kohden (vastauksia 198 ja 197).
Tuomari
Pätkiä
Whisper large-v3
Kierros 1
Julkaistu
Sisäinen
Sama valinta kuin Opuksella
Claude Opus 5.5
583
25,9
13,8
13,6
11,4
–
gpt-oss-120b
583
20,5
13,4
13,2
12,9
81 %
Gemma 4 31B (otos)
198
17,3
10,1
10,5
9,0
92 %
Qwen3.6 27B (otos)
197
23,0
11,8
11,3
9,3
93 %
Pisteet / 100 sanaa. "Sama valinta" laskee pätkän malliparit, joissa molemmat tuomarit näkevät eron, ja kuinka usein ne pitävät samaa mallia parempana. Kaikki neljä tuomaria asettavat mallit samaan järjestykseen: sisäinen malli ensin, julkaistu malli ja kierros 1 suunnilleen tasoissa, Whisper large-v3 selvästi viimeisenä. Jokaisella tuomarilla on oma asteikkonsa, joten malleja verrataan saman tuomarin sisällä, ei lukuja tuomarien välillä.
07
Ihmisen tarkistama vertailuteksti webinaarille
Webinaarileikkeen vertailuteksti on Helsingin yliopiston ryhmän tekemä, ja se näytti korjatulta WhisperX-luonnokselta, mikä suosisi Whisper-perheen malleja. Kehittäjä kuunteli 14.10.2026 ne 42 kohtaa, joissa useimmat järjestelmät kuulivat jotain muuta, ja korjasi niistä 14: enimmäkseen puhekielisiä muotoja, jotka oli kirjoitettu yleiskielellä, kaksi puuttuvaa sanaa ja yhden brändinimen.
Tarkistettua tekstiä vasten kärkijoukko on noin prosenttiyksikön sisällä toisistaan: gpt-4o-mini-transcribe 13,2, Whisper large-v3 13,7, Gemini 3.5 Flash 13,7, julkaistu mallimme 14,0 ja ElevenLabs 14,2 % WER. WhisperX-pohjaiset ratkaisut menettävät etumatkansa (10,4 → 14,0 ja 11,9 → 15,7 %). Noin 400 sanan leike ei pysty erottamaan näin lähellä toisiaan olevia järjestelmiä.
08
Aikaleimaversio
Whisper kirjoittaa tavallisesti litteroidessaan aikamerkkejä ja pysyy niiden avulla mukana pitkässä äänessä. Julkaistu malli koulutettiin tekstillä, jossa niitä ei ollut, joten sen ajat ovat käyttökelvottomia: vain 1 % SKN:n lauseiden alkukohdista saa aikamerkin sekunnin tarkkuudella (Whisper large-v3: 61 %). Siksi mallikortin koodi pilkkoo pitkän äänen paloiksi.
Saman reseptin toisessa ajossa puolet SKN-pätkistä koulutettiin aikamerkeillä, jotka otettiin SKN:n omista lauseajoista (15 042 pätkästä 15 040:ssä ajat olivat käyttökelpoisia). Tämä versio osuu 58 %:iin lauseiden alkukohdista sekunnin tarkkuudella (mediaani 0,04 s, kun osuma löytyy) ja säilyttää murretarkkuuden.
Testi
Whisper large-v3
Julkaistu
Aikaleimaversio
SKN-murretesti, WER %
40,4
21,1
21,4
FLEURS, WER %
7,4
7,6
7,4
VoxPopuli, WER %
12,7
10,8
11,2
LA-murre, tuomarin pisteet / 100 sanaa (kierros 3)
24,2
13,7
13,7
SKN:n lauseiden alut sekunnin sisällä
61 %
1 %
58 %
Kymmenen 4 minuutin haastattelua kerralla, lämpötilavarmistuksella, WER %
37,5
19,8
18,1
Webinaari kerralla aikamerkein, WER %
14,7
62,7 (silmukka)
16,7
Webinaari 15–25 s paloina, WER %
15,7
13,9
15,2
Milloin sitä kannattaa käyttää? Kun tarvitset lauseiden ajat tai haluat antaa pitkän äänen pilkkomatta sitä itse: lataa saman Hugging Face -mallin timestamps-revisio ja käytä aina OpenAI:n lämpötilavarmistusta (temperature fallback), joka litteroi jakson uudelleen, kun sen teksti alkaa toistaa itseään. Asetukset ovat mallikortissa. Ilman varmistusta malli jäi silmukkaan kolmessa haastattelussa kymmenestä (25,2 % WER).
Versio ei korvannut julkaistua mallia. Ennen ajoa sovittiin, että SKN saa heiketä enintään noin 0,5 prosenttiyksikköä eivätkä FLEURS ja VoxPopuli saa heiketä lainkaan. VoxPopuli heikkeni 0,4, ja paloiteltu webinaari oli lisäksi 0,5–1,3 prosenttiyksikköä heikompi. LA-murteella sokkotuomari ei erottanut malleja toisistaan (vähemmän pisteitä 98 pätkässä, enemmän 100:ssa).
09
Missä malli on heikompi
Harvinaiset nimet ja termit yleiskielisessä puheessa. Webinaarissa tuomarit löysivät enemmän nimi- ja termivirheitä kuin perus-Whisperille (esimerkiksi "Nobelbayer", kun puhuttiin Nobel Biocaresta), vaikka WER oli pienempi. Brändinimiä täynnä olevaan yleiskieleen perus-Whisper on varmempi.
Vanha puhe, ei kaikkia murteita. Molemmat murrekorpukset ovat 1960–70-lukujen haastatteluja iäkkäiltä puhujilta. Nykypäivän alueellista puhetta ei testattu, eikä SKN-testissä ole pohjalaismurteita.
Yleiskieli, ei foneettinen murretranskriptio. Malli kirjoittaa sen, mitä sanotaan, yleiskielen sanamuodoin.
Pitkä ääni pitää pilkkoa. Whisperin oma pitkän äänen silmukka sai mallin toistamaan yhtä fraasia. 15–25 s palat hiljaisista kohdista leikattuina toimivat (13,7 % WER webinaarissa); mallikortissa on valmis koodi. Jos tarvitset lauseiden ajat tai haluat litteroida pitkän äänen kerralla, käytä aikaleimaversiota varmistusasetuksin (kohta 08).
Yksi koulutusajo mallia kohden. Luvut ovat yhdestä siemenestä; päätuomarin arvion tarkisti kolme avointa mallia (kohta 06).
Suomen kielen näytteitä, Kotimaisten kielten keskus (Kotus), Kielipankin kautta, CC BY 4.0. Tekijä: Akseli Leskinen, Haaga-Helia, GAIK-hanke.
Kuvitus: tekoälyn tekemä (GPT Image 2.5). Äänet: kaksi SKN-pätkää, CC BY 4.0. Kuvakkeet: Lucide (ISC-lisenssi); tietokanta- ja linkkikuvake pohjautuvat Feather-kuvakkeisiin (MIT-lisenssi). Tämä sivu: GAIK-hanke, Haaga-Helia, CC BY 4.0. LUMIn edellyttämä kiitos: We acknowledge CSC – IT Center for Science, Finland for awarding this project access to the LUMI supercomputer, owned by the EuroHPC Joint Undertaking, hosted by CSC (Finland) and the LUMI consortium through CSC – IT Center for Science, Finland.
