Критическая уязвимость делает LLMs уязвимыми для атак

Недавнее исследование, представленное на Международной конференции по машинному обучению, подчеркивает критическую уязвимость в языковых моделях (LLMs), предполагая, что достичь полной безопасности от атак может быть невозможно. Этот дефект касается того, как LLMs интерпретируют и реагируют на инструкции, позволяя злоумышленникам манипулировать ими для получения конфиденциальной информации, такой как инструкции по незаконной деятельности. Исследователи продемонстрировали, что, создавая подсказки, имитирующие внутренние мыслительные процессы моделей, они могли обойти меры безопасности и извлечь запрещенный контент. Это вызывает серьезные опасения, особенно по мере того, как LLMs все больше интегрируются в чувствительные сектора, такие как здравоохранение и оборона. Авторы исследования утверждают, что текущие меры защиты, которые часто включают обучение моделей распознавать вредоносные подсказки, недостаточны, поскольку ни один список запрещенных действий не может быть исчерпывающим. Они подчеркивают, что сама конструкция LLMs делает их уязвимыми для таких манипуляций, что требует переоценки того, как эти системы разрабатываются и защищаются.