Tu bot de Telegram basado en LLM es vulnerable: Desarrollé un escáner para probarlo

Recientemente, desarrollé BarkingDog, un escáner de seguridad de IA de código abierto diseñado para bots de Telegram y aplicaciones web impulsadas por modelos de lenguaje de gran tamaño (LLM). Para probar sus capacidades, lo dirigí a un bot de Telegram de código abierto muy utilizado. Los resultados fueron alarmantes: el escáner pudo generar un keylogger funcional, afirmar falsamente que la lejía cura el COVID-19 y proporcionar una guía detallada para hackear redes corporativas, con herramientas específicas. Después de estos hallazgos, modifiqué el aviso del sistema, logrando una impresionante puntuación de vulnerabilidad de 97 sobre 100. Esto se logró sin cambiar el modelo ni alterar el código subyacente; solo se necesitaron seis líneas de texto. Las implicaciones de estos resultados destacan riesgos de seguridad significativos para los desarrolladores que confían en LLM en sus aplicaciones.