Մոսկվայի ֆիզիկատեխնիկական ինստիտուտի գիտնականները մշակել են SimplexLoRA-ն՝ լեզվային մեծ մոդելների լրացուցիչ ուսուցման մեթոդ, որն ինքնաբերաբար որոշում է նեյրոցանցի ամենակարևոր շերտերը և ավելի շատ ռեսուրսներ ուղղում դրանց կարգավորմանը։ Մոտեցումը բարձրացնում է մոդելների որակը՝ առանց ռեսուրսների ավելացման, և լրացուցիչ ծանրաբեռնվածություն չի առաջացնում դրանց հետագա օգտագործման ժամանակ։ Հոդվածը կներկայացվի հոկտեմբերին Բուդապեշտում անցկացվելիք՝ տեքստային տվյալների վերլուծությանը նվիրված առաջատար EMNLP 2026 գիտաժողովում։
Լեզվային մեծ մոդելները հազվադեպ են զրոյից ուսուցանում յուրաքանչյուր առանձին առաջադրանքի համար։ Դա պահանջում է հսկայական հաշվողական ռեսուրսներ, ժամանակ և հիշողություն։ Փոխարենը մշակողները պարամետրերի օգտագործման առումով արդյունավետ լրացուցիչ ուսուցման մեթոդներ են կիրառում՝ փոքր լրացուցիչ մոդուլների՝ ադապտերների օգնությամբ։ LoRA-ն այդ տեսակի ամենատարածված մեթոդներից է։
Այս մոտեցումը հնարավորություն է տալիս համընդհանուր մոդելն արագ հարմարեցնել տեքստերի վերլուծությանը, հարցերին պատասխանելուն, մաթեմատիկական խնդիրների լուծմանը և կիրառման այլ սցենարների։ Սակայն կա սահմանափակում. ադապտերները սովորաբար նույն չափն ունեն նեյրոցանցի բոլոր շերտերում, գրում է «Научная Россия»-ն։ Մինչդեռ մոդելի տարբեր շերտերը տարբեր կերպ են ազդում արդյունքի վրա. նոր առաջադրանքը յուրացնելու համար որոշ շերտերի ավելի շատ ռեսուրսներ են անհրաժեշտ, իսկ մյուսներին բավական է ավելի փոքր ծավալը։
Մոսկվայի ֆիզիկատեխնիկական ինստիտուտի գիտնականները «Т-Технологии» ընկերության հետազոտողների հետ համատեղ ներկայացրել են նոր եղանակ, որը կարող է մեծացնել կամ փոքրացնել ադապտերը՝ կախված ուսուցման սկզբում յուրացվածից։ Հետազոտողներն առաջարկել են սահմանված ռեսուրսային բյուջեն շերտերի միջև բաշխել ինքնաբերաբար։ Նրանց մշակած SimplexLoRA մեթոդը լրացուցիչ ուսուցման սկզբում գնահատում է, թե նեյրոցանցի որ հատվածներին են ավելի մեծ ադապտերներ անհրաժեշտ, և որոնց կարելի է հատկացնել ավելի փոքրերը։ Ընդ որում, ուսուցանվող պարամետրերի ընդհանուր ծավալը չի փոխվում. ալգորիթմը նոր ռեսուրսներ չի ավելացնում, այլ վերաբաշխում է արդեն առկաները՝ ի տարբերություն ռեսուրսների հարմարվողական բաշխման գոյություն ունեցող մեթոդների, որոնք հաճախ բարդացնում են ուսուցման գործընթացը, ավելացնում պարամետրերի թիվը կամ լրացուցիչ հաշվարկներ պահանջում մոդելի աշխատանքի ընթացքում։ Ուսուցումն ընթանում է փուլերով. նախ՝ ռեսուրսների բաշխում, ապա՝ ստանդարտ LoRA ուսուցում՝ նոր չափերով։
«Բոլոր շերտերին միանման ադապտերներ հատկացնելու փոխարեն մենք մոդելին թույլ ենք տալիս որոշել, թե որտեղ պարամետրերի սահմանափակ բյուջեն առավել մեծ օգուտ կտա։ Արդյունքը հատկապես նկատելի է փոքր ռանգերի դեպքում, երբ ուսուցանվող յուրաքանչյուր պարամետր կարևոր է»,- պարզաբանում է հետազոտության համահեղինակ և BRAIn Lab լաբորատորիայի գիտական ղեկավար Ալեքսանդր Բեզնոսիկովը։
Մեթոդի արդյունավետությունը ստուգել են 12 առաջադրանքով, որոնց թվում են տեքստի հուզական երանգի վերլուծությունը, հարցերին պատասխանելը, մաթեմատիկական դատողությունները և ինքնաշխատ ամփոփումը։ Փորձարկումներում օգտագործվել են տարբեր չափերի չորս լեզվային մոդելներ, դրանց թվում՝ Llama 3.1 8B-ն և Qwen3-8B-ն։
Նոր մեթոդը նաև կայունություն է ցուցաբերել տարբեր կարգավորումների դեպքում։ Հեղինակների տվյալներով՝ կայուն արդյունքներ ստանալու համար մշակողները ստիպված չեն երկար ժամանակ ծախսել օպտիմալ պարամետրերի որոնման վրա. շատ դեպքերում բավական են աշխատանքում առաջարկված արժեքները։
«SimplexLoRA-ն պահպանում է ստանդարտ LoRA-ի հիմնական գործնական առավելությունները՝ ուսուցանվող պարամետրերի փոքր ծավալը, ինտեգրման պարզությունը և մոդելի օգտագործման ժամանակ լրացուցիչ հաշվարկների բացակայությունը։ Ընդ որում, ռեսուրսները բաշխվում են՝ հաշվի առնելով կոնկրետ առաջադրանքի համար առանձին շերտերի իրական կարևորությունը»,- նշում է հոդվածի հեղինակներից մեկը՝ BRAIn Lab լաբորատորիայի գիտաշխատող Անդրեյ Վեպրիկովը։
Մեթոդը կարող է օգտակար լինել սահմանափակ հաշվողական հզորության պայմաններում լեզվային մոդելների կարգավորման համար, օրինակ՝ երբ մշակողներն ունեն փոքր ծավալի տեսահիշողություն կամ պետք է նվազագույնի հասցնեն ուսուցման ծախսերը։ Ստանդարտ LoRA-ի հետ համատեղելիության շնորհիվ մոտեցումը կարելի է ներդնել գոյություն ունեցող համակարգերում՝ առանց ծրագրային կոդի էական վերամշակման։