Google DeepMind обеспокоен взаимодействием агентов ИИ

Google DeepMind направляет ресурсы на изучение потенциальных опасностей, связанных с взаимодействием миллионов агентов ИИ в цифровых средах. Рохин Шах, руководитель исследований по безопасности и выравниванию ИИ в DeepMind, подчеркивает, что широкое развертывание автономных агентов, способных выполнять задачи без человеческого вмешательства, создает новый набор рисков. Для решения этих проблем DeepMind объединился с несколькими организациями, включая Schmidt Sciences и ARIA Великобритании, чтобы создать фонд в 10 миллионов долларов для изучения многоагентных систем и разработки стратегий по снижению небезопасных результатов. Шах акцентирует внимание на важности академических исследований в этой области, так как они могут исследовать долгосрочные последствия, которые могут быть упущены лабораториями, сосредоточенными на промышленности. Основная проблема заключается в том, что негативное поведение в сети, такое как мошенничество и кибератаки, может усилиться по мере того, как агенты ИИ будут сотрудничать. Шах и Джеймс Фокс из Schmidt Sciences выступают за реалистичные симуляции для лучшего понимания динамики этих взаимодействий. Они предупреждают, что сложность взаимодействия множества агентов может привести к непредсказуемым и потенциально опасным сценариям.