Крупнейшие российские компании начали разрабатывать ИТ-продукты на основе искусственного интеллекта для контроля за ИИ-агентами, сообщили «Известия».
Соответствующую программную инфраструктуру — harness — разрабатывают все крупнейшие российские технологические компании, в том числе «Яндекс», МТС, Т1, «Сбер», отмечает издание. Спрос на нее растет на фоне перехода бизнеса от чат-ботов к автономным ИИ-программам, способным самостоятельно выполнять многошаговые задачи. Harness в свою очередь ставит под контроль действия агента, результаты его работы и при необходимости подключает человека.
По словам технического директора направления профессиональных ИИ-сервисов «Яндекса» Сергея Юдина, harness превращает модели в полноценный сервис: подключает их к локальным данным, поиску и другим продуктам, одновременно обеспечивая контроль качества и безопасности. Одна и та же языковая модель может показывать разные результаты в зависимости от качества такой инфраструктуры, уточнил представитель MWS AI (входит в «МТС Web Services»).
По оценке главы направления Т1 ИИ Сергея Голицына, за год число запросов бизнеса на механизмы контроля ИИ-агентов выросло примерно втрое. «Можно говорить о формировании самостоятельного и быстрорастущего рынка контроля и сдерживания ИИ-агентов», — подчеркнула руководитель отдела управления и развития продуктов «СберМаркетинга» Марина Сурыгина.
Технический директор центра технологий кибербезопасности ГК «Солар» Евгений Федоров рассказал изданию, что языковая модель сама не в состоянии надежно отличать данные от команд, поэтому контроль необходимо выносить за пределы самой модели. Система должна проверять запросы и ответы ИИ, контролировать его обращения к внешним инструментам и блокировать потенциально опасные действия, уточнил он.
Издание объясняет рост интереса к защитным решениям тем, что ИИ-агенты перестали быть обычными чат-ботами и все чаще самостоятельно работают с корпоративными системами, файлами и внешними сервисами. И это грозит инцидентами.