SPEED-Bench: Спекулятивті декодтауды бағалаудың бірегей және алуан түрлі бенчмаркі

Жасанды интеллект саласындағы ірі тілдік модельдерді жылдам әрі дәл бағалау маңызды мәселе саналады. Спекулятивті декодтау (SD) әдісі — үлкен тілдік модельдердің нәтижелілігін арттырудың тиімді тәсілі ретінде қызығушылық тудырады. Бұл әдіс жеңіл әрі жылдам жұмыс жасайтын алғашқы жобаны (draft) пайдаланып, кейін оны негізгі модельмен қатар тексереді. Нәтижесінде өнімділік жоғарылап, нақты модельдің шығару үлестірімі сақталады. Алайда SD-ні әділ әрі жан-жақты бағалайтын бір стандартты жүйе болмады. SPEED-Bench атты бірегей бенчмарк осы мәселелердің шешімін ұсынады.

Спекулятивті декодтау мен SPEED-Bench мәні

Спекулятивті декодтау — үлкен тілдік модельдердегі нәтиже генерациясын жеделдету технологиясы. Бұл әдісте жеңіл жобалау моделі бірнеше алдағы сөздерді болжайды, олар негізгі модельмен параллель тексеріледі. Осы себепті SD жүйелері өнімділікті едәуір арттыра отырып, өнім сапасын сақтайды. Бірақ SD алгоритмдерінің жұмысын бағалау кезінде кедергілер кездеседі. Көптеген бенчмарк оқыту және сынақта қолданылатын мәліметтерге, жекелеген домендерге немесе шағын мәтіндерге негізделеді және өндірістік жағдайда қолданылатын жүктемені емес, тек лабораториялық параметрлерді қарастырады. SPEED-Bench осы олқылықтарды жеңудің бірегей тәсілін ұсынады, зерттеушілер мен тәжірибешілерге нақты әлем талаптарына сәйкес келетін бағалау алаңын жасайды.

SPEED-Bench бенчмаркі құрылымы

SPEED-Bench екі басты құрамдас бөліктен тұрады: семантикалық әртүрлілікті қамтитын «Сапалық» деректер жинағы және нақты жүктеме жағдайларына негізделген «Өнімділік» деректер жинағы. Сонымен қатар, барлық талдауларды стандарттау үшін өндірістік деңгейдегі жүйелерге интеграцияланған біріккен өлшеу құралдары бар.

Сапалық (Qualitative) жинақ

Бұл жинақ SD жүйесінің жобалау сапасын тексереді. Құрамында әртүрлі 11 тақырыптық категорияға бөлінген, барлығы 880 түрлі тапсырма бар. Мысалы, бағдарламалау, математика, гуманитарлық ғылымдар, есте сақтау, көптілділік және т.б. Бұл санаттар ішіндегі материалдар семантикалық тұрғыдан мүмкіндігінше алуан түрлі әрі қайталанбас деңгейде таңдалған. Мұндай әдіс бұрынғы жүйелерден айырмашылығы, шағын әрі бір бағытта шоғырланған мәліметтер қорларын емес, кең және көпқырлы мәтіндік үлгілерді қамтиды. Бұл тәсіл SD әдістерінің доменге тәуелді қасиеттерін терең түсінуге мүмкіндік береді.

Өнімділік (Throughput) жинағы

Бұл сегмент нақты жүйелік жылдамдықты өлшеуге арналған. Мәліметтер 1 мыңнан 32 мыңға дейінгі ұзындықтағы мәтіндерге бөлініп, олардың әрқайсысы үш деңгейдегі қиындыққа сай келеді: төмен, аралас және жоғары күрделілік. Сондай-ақ, әр топта жаппай жүктеме (батч) көлемі 512-ге дейін ұлғайған кезде қалай жұмыс істейтіндігі зерттеледі. Мұндай әдіс үлкен тілдік модельдердің көптеген бір уақытта және ұзын мәтіндерге есеп жүргізуші жағдайларындағы шынайы мінез-құлқын көрсетеді. SPEED-Bench кездейсоқ таңдалған токендерді қолданбайды, себебі олар өнімділікті арттырғандай қате түсінік тудыруы ықтимал.

Біріккен өлшеу жүйесі

Әртүрлі жүктеу орталарындағы және үлгілердегі SD модельдерінің нәтижелерін әділ салыстыру үшін мүлдем жаңа өлшеу әдістемесі енгізілген. Бұл жүйе барлық кіріс тізбектерін алдын ала токенделген күйде өңдеп, жүйелер арасында біркелкілік сақтайды. Өндірістегі TensorRT-LLM, vLLM және басқа жүйелермен үйлесімді жұмыс істейді. Осылайша, бір платформада әртүрлі алгоритмдерді қарастыруға болатын сапалы орын бар.

Контекст және мысалдар

Талдауы қиын және әртүрлі тапсырмаларға негізделген SD жүйесінің өзектілігі артып келеді. Мысалы, бағдарламалау көмекшілері мен мәтіндерді іздеу барысында қолданылатын ұзақ контексті бар жүйелерге қатысты жоғары сапалы жобалау сұраныс туғызады. SPEED-Bench — осы сияқты әртүрлі домендердің күрделі ақпаратын жинақтап, SD әдістерінің жан-жақты жұмысын зерттеуге арналған құрал. Одан бөлек, үлкен жинақтар мен нақты жүктемелердегі командааралық салыстырулар жүргізуге мүмкіндік туғызады.

Практикалық маңызы

SPEED-Bench зерттеушілерге және инженерлерге SD әдістерін бір платформада жүйелі бағалауға мүмкіндік береді. Осылайша, өнімділікті арттыратын жаңа үдерістерді тиімді сынақтан өткізуге болады. Семантикалық және жүйелік компоненттерді қатар талдау технологиялық шешімдерді нақты қолданыс жағдайына жақындатады. Бұл өнеркәсіптік деңгейдегі жүйелердің жылдам жұмысын және ресурстарды үнемдеуді қамтамасыз етеді, әсіресе көпқолданушылы, ұзақ мәтінді мәтіндік қосымшаларда.

Қорытынды

SPEED-Bench — спекулятивті декодтауды бағалаудың жан-жақты, кең және бірізді платформасы. Ол әртүрлі семантикалық домендердегі және нақты өндірістік жүктемелердегі SD алгоритмдерінің сапасы мен өнімділігін жүйелі түрде қарастыруға мүмкіндік береді. Яғни, зерттеу мен өндіріс саласындағы процестер үшін стандарт қалыптастыруда маңызды құрал болып табылады.

TAGS: спекулятивті декодтау, үлкен тілдік модельдер, өнімділік бағасы, семантикалық әртүрлілік, жарнамалық жүйелер, bенчмарк, жасанды интеллект

Дереккөз: Hugging Face Blog