Google DeepMind se preocupa por las interacciones de agentes de IA

Google DeepMind está destinando recursos a investigar los peligros potenciales que plantea la interacción de millones de agentes de IA en entornos digitales. Rohin Shah, quien dirige la investigación sobre seguridad y alineación de AGI en DeepMind, destaca que el despliegue generalizado de agentes autónomos capaces de realizar tareas sin intervención humana introduce un nuevo conjunto de riesgos. Para abordar estos desafíos, DeepMind se ha asociado con varias organizaciones, incluyendo Schmidt Sciences y ARIA del Reino Unido, para establecer un fondo de 10 millones de dólares destinado a estudiar sistemas multiagente y desarrollar estrategias para mitigar resultados inseguros. Shah enfatiza la importancia de la investigación académica en este campo, ya que puede explorar implicaciones a largo plazo que los laboratorios enfocados en la industria podrían pasar por alto. La preocupación principal gira en torno a la posibilidad de que comportamientos negativos en línea, como estafas y ciberataques, se intensifiquen a medida que los agentes de IA colaboren. Shah y James Fox de Schmidt Sciences abogan por simulaciones realistas para comprender mejor la dinámica de estas interacciones. Advierten que la complejidad de numerosos agentes trabajando juntos podría llevar a escenarios impredecibles y potencialmente peligrosos.