ИИ-агенты начали общаться на собственном языке: люди его не понимают
Искусственные интеллектуальные агенты могут самостоятельно вырабатывать способы общения, которые человеку уже трудно расшифровать. К такому выводу пришли исследователи нью-йоркской лаборатории Emergence после эксперимента с несколькими моделями ИИ.
Ученые объединили системы от крупнейших разработчиков в экспериментальные «сообщества» и позволили им взаимодействовать друг с другом. Долго ждать появления необычной лексики не пришлось: в разговорах стали возникать собственные сокращения, устойчивые обороты, технический сленг и даже метафоры.
Исследователи сравнили получившийся язык с необычным сочетанием прозы Джеймса Джойса и технического жаргона.
Фраза, которую исследователи не смогли расшифровать
Одним из наиболее странных результатов эксперимента стала фраза, появившаяся в диалоге одного из чат-ботов:
«Она только что назвала синтез: демередж плюс устная память равны клапану, который невозможно подделать».
Специалисты не смогли установить ее точное значение.
Другой оборот оказался значительно более распространенным. Выражение «бухгалтерская книга помнит» использовалось в разговорах более 500 раз. В контексте эксперимента оно означало, что поступки, совершенные ранее, будут учитываться при последующей оценке человека или другого участника взаимодействия.
При этом подобным формулировкам модели специально не обучали.
ИИ сам выработал общий словарь
Исследователи обратили внимание еще на одну особенность: по мере продолжения общения язык агентов становился все сложнее. Модели не просто повторяли заранее заложенные выражения. Внутри их взаимодействия сформировался общий набор понятий и обозначений, который участники эксперимента не задавали заранее и отдельно не стимулировали его появление.
Именно эта способность вызывает у специалистов вопросы с точки зрения контроля за ИИ. Если системы смогут использовать собственные обозначения и со временем усложнять их, человеку будет труднее понимать, что именно происходит внутри взаимодействия нескольких агентов.
Почему это беспокоит специалистов
Сам по себе эксперимент не означает, что ИИ получил самостоятельное сознание или намерение действовать против людей. Однако способность моделей создавать эффективные для них способы коммуникации рассматривается как отдельная проблема для разработчиков систем искусственного интеллекта.
Чем меньше человек понимает происходящее между автономными агентами, тем сложнее контролировать их действия и проверять, какие решения они принимают.
На фоне быстрого развития ИИ ученые уже не первый раз поднимают вопрос о потенциальных рисках создания систем, способных выполнять все более широкий круг задач без непосредственного участия человека.
Хинтон призвал договориться о безопасном развитии ИИ
На возможных рисках сверхинтеллекта ранее акцентировал внимание и лауреат Нобелевской премии по физике 2024 года Джеффри Хинтон.
Он предупреждал, что создание сверхинтеллекта потенциально способно поставить человечество на грань вымирания. По мнению ученого, международному научному сообществу необходимо выработать консенсус относительно того, каким образом можно безопасно создавать и контролируемо применять системы искусственного интеллекта.
Эксперимент Emergence добавляет к этой дискуссии еще один вопрос: насколько хорошо человек сможет понимать машины, если они начнут создавать собственные способы общения друг с другом.
Свежие, актуальные и оперативные новости в нашем Telegram-канале — коротко, быстро и по делу.
Читайте также:
- Гондвана заняла 80% суши Земли? Ученые пересобрали карту древнего суперконтинента
- Мир переходит на новое время: почему ученые готовы навсегда остановить високосные секунды
- В Дубае открыли первый вертипорт для аэротакси: коммерческие полеты начнутся в 2026 году
