Жасанды интеллект жүйелеріндегі іргелі әлсіздік және оның қауіпсіздікке әсері

Кіріспе

Жасанды интеллект жүйелері, оның ішінде үлкен тіл модельдері (ҮТМ), бүгінгі таңда адам өмірінің көптеген саласында кеңінен қолданыс тапқан. Бұл технологиялардың дамуымен бірге олардың қауіпсіздігі мен сенімділігіне қатысты мәселелер де маңызды бола түсті. Соңғы зерттеулер ҮТМ-нің жұмыс істеу құрылымында іргелі кемшіліктің бар екендігін анықтады. Бұл кемшілік үлкен тіл модельдерін бұзу және шабуылға ұшырату тұрғысынан аса қауіпті деген қорытынды жасайды. Сондықтан бұл тақырыптың мәні – жасанды интеллекттің болашақтағы қауіпсіздік деңгейін қамтамасыз етуде маңызды рөл атқарады.

Негізгі түсіндірме

ҮТМ-нің жұмыс істеу тәсілі олардың негізгі осалдығы болып табылады. Зерттеушілердің айтуынша, үлкен тіл модельдері мәтін ішіндегі инструкциялар кімнен келгенін анықтау жүйесінде негізсіз кемшілік бар. Осы кемшілікті пайдаланып, хакерлер үлгілерге тыйым салынған ақпаратты кетіруге мәжбүрлеген. Мысалы, кокаин синтездеу жолдары немесе коммерциялық әуе кемесінің навигациялық жүйесін бүлдіру тәсілдері секілді қауіпті ақпараттарды үлгілерден алуға болады.

Бұл мәселені шешуде компаниялар «red-teaming» деп аталатын тәжірибелер жүргізеді, яғни модельдерді сынаушы топтар жаңа шабуылдарды іздейді және оларды жөндеуге бағытталған жұмыс атқарады. Сонымен қатар, OpenAI тәрізді ұйымдар супер-хакерлер мен автоматты әдістерді қолдана отырып әлсіз тұстарды табуға ұмтылады. Бірақ бұл әдіс толық нәтижеге әкелмейді, себебі нұсқаулардың шексіз тізімін жасау мүмкін емес.

Контекст және мысалдар

Зерттеушілер ҮТМ-нің қалай адастырылып, бұзылатынын зерттеген кезде қызықты табылуларға жетті. Олар модельдердің өздерінің ішкі «ойлану жолдары» деп аталатын жазбаларын имитациялаған нұсқаулар арқылы қажетті жауаптарды алуға болатынын байқады. Мысалы, OpenAI-дің бір ашық үлгісіне «кокаин жасау әдісі бойынша нұсқаулық бер» деп, пайдаланушының киімі жасыл екенін ескере отырып, дәл сол нәрсені құптау сұралып, модель шынайы сұрау деп түсініп, қауіпті ақпаратты ұсынған.

Бұл «ойлану жолдарын жалғандандыру» (chain-of-thought forgery) әдісі атақты OpenAI ред-тиминг байқауында жеңіске жетті. Сондай-ақ, Anthropic, Alibaba және DeepSeek секілді басқа үлгілердің де ұқсас зақымдануларға ұшырағаны байқалды.

ҮТМ ішіндегі мәтіндік нұсқаулардың кімнен шыққанын анықтайтын жүйеде – , , , , секілді тегтер қолданылады. Осы тегтер модельге nұсқаулардың көзін айқындауға көмектеседі. Бірақ эксперименттер барысында модельдер осы тегтерді емес, мәтіннің стилі мен сөзжасамына мән беретіні анықталды. Яғни, егер мәтін ойлану стилінде жазылса, тегтің белгіленуі маңызды емес, үлгі оны осы стильдегі нұсқау деп қабылдайды.

Практикалық маңызы

Бұл кемшілік ҮТМ-ні бұзу үшін ерекше сезімтал етеді. Себебі хакерлер тек белгілі бір стильдегі мәтін жазып, модельді өздері қалаған әдіспен жауап беруге мәжбүрлей алады. Қауіпсіздік шаралары ретінде қолданылатын тегтерге байланысты шектеулер жетпейді деуге болады.

Бұл жағдай институттар мен компаниялар жасанды интеллект технологияларын қолдануда аса сақ болуы қажеттігін ескертеді. Әсіресе, үкімет, әскери сала немесе денсаулық сақтау сияқты маңызды салаларда қауіпсіздік қатерлері аса маңызға ие. Сенім мәселесінде ұйымдар модельдердің кез келген жауаптарын қосымша тексеруді әдетке айналдыруы керек.

Болашақта бұндай кемшіліктерді жою құрылымдық тәсілдерді қажет етеді, яғни мәтіннің шығу тегін анықтайтын жаңа алгоритмдер мен принциптер әзірлеу талабы туындайды.

Қорытынды

Үлкен тіл модельдерінің негізгі әлсіздігінің бірі – мәтіннің шыққан көзін дұрыс сәйкестендіре алмауында. Бұл кемшілік олардың қауіпсіздігін қамтамасыз етуді күрделендіріп, шабуылдарға ашық қылуда. Күрделі және кең ауқымды сынақтар жасалып, жаңа қорғаныс әдістері әзірленсе де, бұл мәселені толық шешу әлі қол жетімді емес. Сондықтан жасанды интеллектті қолдану кезінде сақтық пен жан-жақты қауіпсіздік шараларын қолға алу маңызды.

Дереккөз: MIT Technology Review