Why AI cuts Esperanto words wrong (and how I fixed it) #Shorts
Asakura Tetsuo Folco publikigis antaŭ 11 tagoj en Esperanto Ĉu ne?
Ni ne povas montri ĉi tiun filmeton al vi, ĉar viaj agordoj pri kuketoj ne permesas tion al ni.
Por rigardi kaj re-agordi viajn kuketojn, vizitu la paĝon Kuketoj.
Vi povas daŭre spekti la filmeton ĉe la originala platformo:
Originala paĝo
Spekti filmon ĉe Tubaro ne ŝtelas la spekton de Jutubo. La spekto enkalkuliĝas en ambaŭ Tubaro kaj Jutubo. Mi komprenas.
- 0 Spektoj
- Komentu!
- 0
Via ŝato/malŝato, ankaŭ viaj ĝenro-proponoj por ĉi tiu afiŝo estas konservita nur en Tubaro, ili ne estas sendataj ekster niaj serviloj. Simile, la statistikoj pri la afiŝo (spektoj, ŝatoj, komentoj ktp), ankaŭ aliaj atribuoj, ekzemple ĝenroj, venas de Tubaro mem. Ili neniel estas rilataj al tiuj ĉe la originala platformo. Mi komprenas.
Viaj signaloj pri problemoj rilate ĉi tiun afiŝon estos sendataj nur al la administrantoj de Tubaro. Ĉi tiu funkcio neniel estas rilata al ebla simila eco ĉe la originala platformo de la filmo. Por raporti problemon al la administrantoj de la originala platformo, uzu la raportofunkcion ĉe tiu platformo. Mi komprenas.
Priskribo
This is how AI usually cuts an Esperanto word: into pieces that mean nothing. So I built a tokenizer that splits words into their real roots: mal·san·ul·oj = not · healthy · person · plural. With it, the Esperanto AI beat English by 3%. The catch: about 19% more tokens. ChatGPT was only half right.
▶ Full experiment: https://youtu.be/aRhrBWCawdg
🇪🇸 Así suele cortar la IA una palabra en esperanto: en piezas sin sentido. Armé un tokenizador que la separa en sus raíces reales. Con él, la IA en esperanto le ganó al inglés por un 3%, pero usa un 19% más de tokens. (Subtítulos en castellano.)
Data: Bible parallel corpus (Christodoulopoulos & Steedman, 2015). Voice: Kokoro TTS (Apache 2.0).
#Shorts #Esperanto #AI #Tokenizer #MachineLearning
