Loading
Loading
Investigare riguroasă a arhitecturilor de modele de limbaj, metodologiei de antrenare, tehnicilor de ajustare fină și evaluării — cu dovezi publicate și rezultate reproductibile.
Modelele de limbaj se află în centrul capacității AI moderne, dar domeniul este dominat de un număr mic de actori la scară largă ale căror date de antrenare, metodologie și practici de evaluare sunt adesea opace. Programul de cercetare în modele de limbaj al NOVACORE AI adoptă o abordare diferită: investigăm ce face modelele eficiente pe sarcini specifice și în limbi specifice — în special româna — mai degrabă decât să urmărim scalarea nediscriminată. Cercetarea noastră se concentrează pe arhitecturi care livrează performanță puternică cu mai puțini parametri, metodologii de antrenare transparente și reproductibile, tehnici de ajustare fină care adaptează modelele la cerințe specifice domeniului fără uitare catastrofală și cadre de evaluare care măsoară ceea ce contează pentru implementarea în lumea reală. Fiecare rezultat de cercetare include metodologie publicată, proveniența datelor de antrenare, rezultate de evaluare și carduri de model. Menținem o separare clară între rezultatele cercetării (publicate cu dovezi) și modelele comerciale (implementate pentru clienți). Programul de cercetare în modele de limbaj progresează prin porți de etapă disciplinate — de la utilizarea modelelor consacrate la ajustare fină, pre-antrenare continuă și, în cele din urmă, evaluarea dacă modelele de fundație proprietare sunt justificate de cerere, disponibilitatea datelor, personal și capacitate de calcul.
Investigarea variantelor de transformere, mixture-of-experts, modele spațiu-stare și alte arhitecturi — cu accent pe eficiență, viteză de inferență și performanță pe limbi non-engleze. Măsurarea relației dintre numărul de parametri, volumul datelor de antrenare și performanța pe sarcini.
Rețete de antrenare transparente — compoziția datelor, învățare curriculară, programe de optimizare și selecția hiperparametrilor. Documentarea a ceea ce funcționează, a ceea ce nu și de ce — cu experimente reproductibile și jurnale de antrenare publicate.
Tehnici pentru adaptare de domeniu, acordare prin instrucțiuni și optimizare specifică sarcinii. Metode eficiente în parametri (LoRA, QLoRA, adaptoare), compromisuri de ajustare fină completă și evaluarea modelelor ajustate fin pe benchmark-uri specifice domeniului.
Cadre de evaluare cuprinzătoare care acoperă acuratețea, robustețea, corectitudinea, toxicitatea și fiabilitatea factuală. Benchmark-uri specifice sarcinii, protocoale de evaluare few-shot și metodologii de evaluare umană cu măsurători ale acordului între adnotatori.
Cercetare în alinierea modelelor — RLHF, DPO, AI constituțional și alte abordări. Măsurarea compromisului între utilitate, inofensivitate și onestitate. Tehnici de aliniere care păstrează capacitatea modelului, îmbunătățind în același timp caracteristicile de siguranță.
Documentare sistematică a surselor de date de antrenare, licențiere, filtrare și compoziție. Instrumente și metodologii pentru auditarea provenienței datelor de antrenare — esențiale pentru conformitatea de reglementare și integritatea cercetării.
| Pistă | Stare | Rezultat |
|---|---|---|
| Arhitecturi eficiente pentru română | Activă | Articol de comparație a arhitecturilor, modele open-weight |
| Adaptare de domeniu prin ajustare fină | Activă | Rețete de ajustare fină, benchmark-uri de domeniu |
| Standarde de documentare a datelor de antrenare | Activă | Cadru de proveniență a datelor, instrumentar |
| Cadru de evaluare pentru LLM-uri non-engleze | În dezvoltare | Suită de benchmark-uri, instrument de evaluare |
| Pre-antrenare continuă pentru română | Planificată | Metodologie de pre-antrenare continuă, publicare model |
NOVACORE publică cercetarea în modele de limbaj în mod deschis — metodologie, rezultate de evaluare și carduri de model — dar publicările sunt guvernate. Modelele sunt publicate numai când îndeplinesc standardele documentate de calitate, siguranță și documentare. Datele de antrenare trebuie să fie licențiate corespunzător și proveniența lor documentată. Rezultatele evaluării trebuie să fie reproductibile. Cercetarea care implică modele comerciale sau date ale clienților urmează o guvernanță separată — modelele și datele clienților nu sunt niciodată folosite pentru cercetare publică fără consimțământ explicit și documentat.
Secure AI and high-performance computing for enterprises, governments and research.