Paper: PDF
Web demo: Neurokõne
Authors: Liisa Rätsep, Rasmus Lellep, Mark Fishel
Abstract: While text-to-speech synthesis with non-autoregressive Transformers has achieved state-of-the-art quality for many languages, the methodology of Estonian text-to-speech synthesis has not been revised for neural methods. This paper evaluates the quality of Estonian text-to-speech with Transformer-based models using different language-specific data processing steps. Additionally, we conduct a human evaluation to show how well these models can learn the patterns of Estonian pronunciation, given different amounts of training data and varying degrees of phonetic information. Our error analysis shows that using a simple multi-speaker approach can significantly decrease the number of pronunciation errors, while some information can also be helpful to a smaller extent.
| Ground truth | Ground truth (mel + vocoder) | Baseline (student-teacher) | Ext. alignments (single-speaker) | Ext. alignments (multi-speaker) |
|---|---|---|---|---|
|
Albert: Teine põhjus meelemürke inimese nägemisväljast eemal hoida seostub meie lastega. |
||||
|
Indrek: Ma õppisin teoloogiat, aga mitte selleks, et kantslisse tõusta ja jutlusi pidada. |
||||
|
Kalev: Ma tahan saada terveks ja loodan peagi tööle naasta", rääkis ta toona. |
||||
|
Külli: See lihtsalt pidi niiviisi olema, sest kõik muu mu ümber tundus nii tõeline. |
||||
|
Liivika: Lamasin öösel unetult Šarlote voodis, teki olin kõrvale heitnud, kuna oli liiga soe. |
||||
|
Mari: "Seda lihtsam on meil võimalik lahendada see kitsaskoht, vähendades nii mõnegi ajateenija olmemuresid ning aidates neil rohkem keskenduda väljaõppele", ütles Rannaveski. |
||||
|
Meelis: "Oru Pearul on ometi õigus, kui ta ütleb, et kool kasvatab hobusevargaid." |
||||
|
Peeter: Kulunud pruuni ülikonda kandev mees toetas küünarnukid lauale, sättis käelaba lõuale toeks ja hakkas teda jõllitama. |
||||
|
Tambet: Nii sidus eesliajaja looma esijalad kokku, võttis koorma endale selga ja läks tagasi oma üüritud kohta värava juures. |
||||
|
Vesta: Juba homme läheb Tallinna Lauluväljakul suuremaks võidukihutamiseks! |
||||
| Speaker | Grapheme (single-speaker) | Grapheme (multi-speaker) | Vabamorf (single-speaker) | Vabamorf (multi-speaker) | Phoneme (single-speaker) | Phoneme (multi-speaker) |
|---|---|---|---|---|---|---|
|
Seega ei suudeta vere kaltsiumisisalduse langedes luudest kaltsiumi mobiliseerida, mistõttu selle sekretsioon piimaga väheneb. |
||||||
| Mari | ||||||
| Vesta | ||||||
| Meelis | ||||||
|
Suurem osa nõrgemakasvulistest kloonalustest on saadud liikidevahelise ristamise tulemusena. |
||||||
| Mari | ||||||
| Vesta | ||||||
| Meelis | ||||||
|
Islandi tüdrukute puhul oli pöördsõltuvus arvuti kasutamise rohkuse ja testi tulemuse vahel, teistes riikides oli seos pigem positiivne. |
||||||
| Mari | ||||||
| Vesta | ||||||
| Meelis | ||||||