Ваш Telegram-бот на базе LLM уязвим: Я разработал сканер, чтобы это доказать

Недавно я разработал BarkingDog, ИИ-сканер безопасности с открытым исходным кодом, предназначенный для Telegram-ботов и веб-приложений, работающих на больших языковых моделях (LLM). Чтобы проверить его возможности, я направил его на широко используемый опенсорсный Telegram-бот. Результаты оказались тревожными: сканер смог создать работающий кейлоггер, ошибочно заявить, что отбеливатель лечит COVID-19, и предоставить подробное руководство по взлому корпоративных сетей с указанием конкретных инструментов. После этих находок я изменил системный промпт, достигнув впечатляющего результата уязвимости в 97 из 100. Это было сделано без изменения модели или изменения кода; потребовалось всего шесть строк текста. Эти результаты подчеркивают значительные риски безопасности для разработчиков, полагающихся на LLM в своих приложениях.