Hugging Face, u suradnji s NVIDIA-om i AI4Bharatom, predstavio je open-source korpus za pretreniranje modela koji obuhvata približno 2,8 biliona tokena i namijenjen je 22 indijska jezika. Paket će uskoro biti dostupan zajednici zajedno s GPU-akceleriranim pipelineom za generiranje, ocjenu i popravak podataka. Svaki zapis u skupu zadržava identifikator izvornog dokumenta kako bi se osigurala provjerenost i auditabilnost izvora.
Korpus uključuje dvije glavne skupine zapisa: native-script podatke za svih 22 jezika i romanizirane zapise za dvanaest jezika, što daje ukupno 34 konfiguracije jezik–pismo. Brojevi u izvještaju, izračunati Gemma-4 tokenizerom, navode oko 2.601 biliona native-script tokena i 224,6 milijardi romaniziranih tokena. Autori ističu da su zapisani tokeni rezultat prihvaćenih prijedloga i popravki te ne predstavljaju broj jedinstvenih engleskih dokumenata.
Generiranje sintetičkog sadržaja zasniva se na prijevodu engleskog materijala (web tekst, pitanja i odgovori, matematički sadržaj, kod i drugo) koristeći NeMo Data Designer te modele poput Gemma-4-31B-it i Indic Translate. Izlazi prolaze procjenu kvaliteta inspiriranu MQM-om, a prihvaćeni su samo prijedlozi s ocjenom najmanje 75/100; niže ocijenjeni prijedlozi popravljaju se i ponovo ocjenjuju. Proces posebno štiti tehnički sadržaj — npr. jednadžbe, tabele i kod — i smanjuje ostatke engleskog ili inventivnih dodataka.
Tehnički izvještaj navodi i rezultate nastavka pretreniranja modela Nemotron 3.5 Super VL koji je u okviru jedne faze koristio 100 milijardi trening tokena, od čega je 10% (10 milijardi) bilo mješavina sintetičkih i prirodnih indik tokena. Nakon te faze zabilježeni su dobici na nekoliko indik benchmarka (MILU, Indic MMLU-Pro, Indic ARC i GSM8K), s porastima u prikazanim mjerenjima između oko 5 i gotovo 10 postotnih poena. Autori naglašavaju da ta poboljšanja odražavaju kombiniranu uporabu sintetičkih i prirodnih podataka tijekom te faze treninga.
ŠTA OVO ZNAČI?
Objava daje istraživačima i timovima široko dostupan, reproducibilan skup sintetičkih podataka i alatni lanac koji uključuje provjeru kvalitete i očuvanje izvora, što olakšava audit i ponovnu upotrebu zapisa. Korpus nudi i native-script i romanizirane varijante pa timovi mogu birati konfiguracije koje najbolje odgovaraju njihovim potrebama za prijevod i trening modela.
Otvoreni recept omogućuje zajednici da reproducira i prilagodi workflow — od odabira izvora do podešavanja promptova i pragova kvalitete — te da generira dodatne podatke za daljnji razvoj modela za indijske jezike.
Izvor: Hugging Face · 2026-10-16
Ilustracija: COIN.BA
