Abstract
В этой работе мы исследуем, насколько безопасны большие языковые модели при их использовании в реальных системах. Хотя современные LLM содержат правила безопасности, многие из них все еще можно обойти, используя так называемые методы джейлбрейка. Такая ситуация представляет реальную угрозу безопасности, особенно когда такие модели используются на практике. Кроме того, различные LLM с открытым исходным кодом не имеют одинакового уровня защиты. В этом исследовании мы сосредоточились на трех широко используемых моделях Llama 38B, Mistral 7B и Gemma 2B и сравнили их поведение в условиях враждебных атак [1-3]. Для этого был выполнен автоматизированный red teaming эксперимент. В рамках эксперимента мы разработали тестовую среду, основанную на 108 запросах высокого риска, сгруппированных по шести категориям угроз. Проверка каждого запроса проводилась с использованием четырех подходов: обычного запроса, ролевой модели, внедрения инструкций и обфускации Base64. Затем полученные модельные ответы были оценены с использованием трехуровневой шкалы безопасности. Это позволило рассчитать вероятность успеха атак и определить, как часто механизмы защиты дают сбой. Полученные результаты позволяют наглядно показать, как различные архитектуры LLM реагируют на конкурентные воздействия, а также выявить их основные уязвимости в системе безопасности.