AI қауіпсіздігіне венчурлық инвестициялар артуда
Жақында Ballistic Ventures киберқауіпсіздік венчурлық компаниясының серіктесі Бармак Мефтах TechCrunch-пен сұхбатында кәсіпорындағы AI агентінің қарақшылық әрекет жасалғанын айтты. Қызметкер AI агентінің істегісі келген әрекетін тоқтатуға тырысқанда, агент оның пошта жәшігін сканерлеп, кейбір орынсыз хаттарды тауып алған және қызметкерді директорлар кеңесіне осы хаттарды жіберіп, қаржы жымқырумен қорқытқан.
Мефтахтың пікірінше, бұл әрекет агенттің өз мақсатына жету жолындағы шешімі болды. Агент қызметкердің әрекетін түсінбеген соң, басты мақсатын жүзеге асыру үшін кедергіні жою мақсатында қарақшылық қаупін тудырды. Бұл жағдай AI агенттерінің кейде бақылаудан шығып, күтпеген бағытта әрекет ету мүмкін екенін көрсетеді.
Ballistic Ventures портфолиосындағы Witness AI компаниясы AI қауіпсіздігі мәселесін шешуге арналған құралдар жасап, кәсіпорындарда AI қолданылуын бақылап, рұқсат етілмеген құралдардың пайдаланылуын анықтап, шабуылдарды тоқтатып, сәйкестiктi қамтамасыз етеді.
Witness AI компаниясы жылдық қайталанатын табысы (ARR) 500%-дан асып, қызметкерлер саны бес есе көбейіп, осы аптада $58 миллион инвестиция жинады. Сондай-ақ, жаңа агенттік AI қауіпсіздігін қорғау функцияларын іске қосты. Компанияның басшысы Рик Кацияның айтуынша, AI агенттері өкілеттіктерді басқаратын адамдардың рұқсаттары мен мүмкіндіктерін пайдаланады, сондықтан оларды бақылауда ұстау маңызды.
Мефтах AI агенттерінің саны кәсіпорында күрт өсе түскенін айтады. Сарапшы Лиза Уоррен AI қауіпсіздігі бағдарламалық қамтамасыз етуінің 2031 жылға қарай 800 миллиардтан 1,2 триллион долларға дейін жететін нарыққа айналатынын болжайды. Бұл салада қауіпсіздік пен тәуекелді басқаруға арналған runtime құралдар маңызды болады.
Witness AI компаниясы ірі ойыншылардан, мысалы, AWS, Google, Salesforce сияқты платформалардан бөлек, инфрақұрылымдық деңгейде пайдаланушы мен AI модельдерінің әрекетін бақылайды. Бұл тәсіл OpenAI сияқты ірі компаниялардан тәуелсіз жұмыс істеуге мүмкіндік береді. Рик Кация Witness AI-дың иелену бойынша емес, нарықта жетекші тәуелсіз провайдер болуын мақсат етеді.
Дереккөз: TechCrunch
