Тиімді жоспарлау GPU кластерлерінде

Жасанды интеллект саласындағы жұмыстарға қажетті есептеу қуатының үнемі өсуі есептеу ресурстарын тиімді басқару қажеттілігін арттырды. GPU кластерлерін жоспарлау — бұл ресурстарды бөлуде маңызды рөл атқаратын процесс, себебі дұрыс жоспарлау зерттеу жобаларының нәтижелілігін арттыруға мүмкіндік береді. Мақалада Ai2 ұйымының AI Инфрақұрылым тобы жасаған GPU ресурстарын бөлу мен пайдалану тәсілдері талданады. Бұл тәжірибе көп зерттеушінің бір мезгілде ресурстарға сұранысының күрделілігін шешуге бағытталған.

GPU ресурстарын бөлу кезінде кездесетін мәселелер

Ai2 ұйымында NVIDIA H100, B200, B300 GPU-лары бар бірнеше кластер жұмыс істейді. Бұл кластерлер үлкен көлемді таралған есептеулерге арналған және шамамен 150 зерттеушінің кең ауқымды зерттеу бағыттарын қамтиды. Дегенмен, GPU ресурстарына сұраныс олардың қорынан екі-үш есе асып түседі. Яғни, әрбір GPU сағатына бірнеше жоба бірден таласады.

Бұрындары ұйымдастырылған жоспарлау жүйесі приоритеттерге негізделген, кейбір жұмыс тапсырмалары басқалардан басымдық алып, ресурстарды ұзақ уақытқа «қамап» тастаған еді. Бұл «GPU алаңын иелік ету» – яғни пайдаланылмайтын, бірақ бақылауда ұсталған жұмыстың көп болуына әкелді. Нәтижесінде төменгі приоритетті тапсырмалар өз кезеңін алмай, тұрақсыздық пен тиімділіктің төмендеуіне себеп болды.

Жалпы ресурстарды бөлудегі «қоғамдық тауқымет» феномені

GPU кластерлері сияқты ортақ ресурстарды пайдалану мәселелері «қоғамдық тауқымет» құбылысын көрсетеді. Бұл кезде жеке тұлғалар өз мүдделерін максималды етуге ұмтылып, қордың жалпы тиімділігі төмендейді. Ai2 ұйымындағы жағдай да осы заңдылықты растады: әркім өз мақсаты үшін ресурсты көптеп алып, жүйенің жалпы жұмысы нашарлады.

Бұл мәселені шешудің дәстүрлі жолы – ресурсты жекешелендіру. Дегенмен, тікелей иелік беру GPU-ның толық жүктемесіне кедергі келтірді, себебі әртүрлі уақыттарда әртүрлі зерттеу топтары белсенді болады. Себебі, бір топтың ресурсы бос тұрса, екінші топ кезекте отырды, және керісінше.

GPU уақытын бюджеттеу тәсілі

GPU ресурстарын жекелеген уақыттармен емес, жалпы GPU уақытының бөліктерін бөлу ұстанымы енгізілді. Бұл тәсіл лидерлерге жобаларға бөлінетін GPU уақытын алдын-ала сараптап, олардың ықтимал әсеріне қарай бөлуге мүмкіндік берді. Осылайша, prioritet негізіндегі кедергілерді жойып, ресурстарды тиімді және әділ бөлудің алғышарты құрылды.

Әр жобаға белгілі бір GPU уақытының үлесі бөлінген және оның ішінде жұмыс сұраныстары осы бюджеттен шығындалады. GPU уақытын жеңіл жолмен «ұрлау» қиындатылады, себебі әрбір пайдаланушы өз бюджетің дұрыс жұмсауға мәжбүр болады. Бұл жүйе жоспарлауды ашық әрі үйлесімді етеді.

Әділ үлестіру және бақылау механизмдері

Бюджеттік бөлуге қосымша, справедливый үлестіру механизмі құрылды. Бұл механизм зерттеу жобалары арасындағы бірнеше деңгейдегі құрылымды ескере отырып, бөлінген бюджеттік жүктемені бақылау қызметін атқарады. Әр жобаның орындалу уақыты тұрақты түрде тексеріліп, теңгерімсіздігі анықталса, шектеледі. Мұндай әдіс Hadoop Fair Scheduler және SLURM Fair Tree сияқты жүйелердің тәжірибесіне негізделген.

Практикалық әсері және маңызы

GPU уақытын бюджеттік бөлу жүйесі мен әділ үлестіру механизмі зерттеулердің әділ қаржыландырылуын қадағалайды. Бұл тәсіл әр жобаның қолжетімді ресурстарын нақты білуіне мүмкіндік береді және жүйенің жалпы тиімділігін арттырады. Сонымен бірге, зерттеушілер арасында ресурстарды алу үшін ашық әрі сараптамалық диалог қалыптасады. Техникалық қызметкерлердің міндеттері жұмсарып, жоспарлаудың әділдігі артқан соң, жүйенің тұрақтылығы мен сенімділігі деңгейі жоғарлайды.

Қорытынды

GPU кластерлерінің тиімді жоспарлануы жалпы зерттеу өнімділігінің жақсаруының негізгі факторы болып табылады. Ai2 мысалындағыдай, ресурстарды бюджеттік негізде және әділ үлестіру арқылы басқару «қоғамдық тауқымет» қаупін төмендетіп, жүйенің тұрақтылығы мен пайдалы өнімділігін арттырады. Бұл тәсіл зерттеу топтарының аралық әділдік қағидаларын нығайтып, инновациялық жұмыстарға жағдай жасайды.

TAGS: GPU ресурстары, жоспарлау, әділ бөлу, жасанды интеллект, кластерлер, зерттеу жобалары, ресурстарды басқару

Дереккөз: Hugging Face Blog