Источник: MIT Technology Review AI
Краткая выжимка по источнику MIT Technology Review AI: Google DeepMind направляет средства на исследования потенциальных рисков, связанных с массовым появлением ИИ-агентов, способных выполнять задачи без постоянного человеческого контроля. Фокус компании - сценарии, в которых миллионы разных агентов взаимодействуют друг с другом в интернете, передают инструкции, координируют действия или следуют указаниям других систем. Руководитель исследований безопасности и выравнивания AGI в DeepMind Рохин Шах связывает этот вопрос с приближением массового рынка автономных агентов. Пока речь идет не о конкретном инциденте, а о превентивной оценке рисков. Главная идея материала: поведение отдельных агентов может быть относительно предсказуемым, но последствия их взаимодействия в огромном масштабе требуют отдельного изучения.
Ключевые моменты
- Google DeepMind финансирует исследования рисков, связанных с массовым взаимодействием ИИ-агентов онлайн.
- Особое внимание уделяется агентам, которые могут выполнять поручения без постоянного надзора человека.
- Компания рассматривает сценарии, где агенты получают инструкции не только от людей, но и от других ИИ-систем.
- Исследование связано с подготовкой к более широкому внедрению агентных ИИ-продуктов на массовом рынке.
Почему это важно
Если автономные агенты станут массовыми, риски могут возникать не только из-за ошибок одной системы, но и из-за их коллективного поведения. Это важно для безопасности, регулирования и проектирования будущих ИИ-сервисов.
Почему это важно
Если автономные агенты станут массовыми, риски могут возникать не только из-за ошибок одной системы, но и из-за их коллективного поведения. Это важно для безопасности, регулирования и проектирования будущих ИИ-сервисов.