Adversarially Resilient Multi-Label Object Detection: An Ensemble of ViT, EfficientNetV2-L, and YOLO12 for Forensic Imagery

2025

Закрытый доступ Метаданные (CSL-JSON)
DOI 10.1109/snpd65828.2025.11254757
Достоверность данных 70 средняя
Как считается эта оценка

Складывается из проверяемых признаков самой записи: есть ли у статьи DOI, сколько независимых источников подтвердили её данные, заполнены ли обязательные поля и насколько свежо последнее подтверждение. Снижают оценку расхождения между источниками и отсутствие идентификатора. Значение от 80 означает, что запись опубликована без дополнительной проверки; от 60 до 79 — что она опубликована с пониженной достоверностью и ручная проверка желательна. Запись, выверенную редактором вручную, пересчёт не опускает ниже 90. Это оценка наших данных о статье, а не оценка самой статьи.

Аннотация

Detecting prohibited objects in images requires models that combine high accuracy with resilience to adversarial perturbations. This study presents a comparative evaluation of three state-of-the-art architectures—Vision Transformer (ViT B16), EfficientNetV2-L, and YOLO12—and an ensemble of these models for multi-label detection of illicit content (weapons, drugs, nudity, violence, benign) in forensic imagery. A dataset of 13 556 images was split 60/20/20 into training, validation, and test sets. Each model was trained using binary cross-entropy (for classification heads) and YOLO loss (for detection heads) and evaluated on clean data and adversarial examples generated by FGSM (ϵ = 8/255) and PGD (α = 2/255, 10 iterations). On clean images, ViT B16 and EfficientNetV2-L achieved 93.5% and 92.8% accuracy, respectively, while YOLO12 reached 84.0%. Under PGD attack, accuracies dropped to 81.0%, 79.5%, and 68.0%. The averaging ensemble attained 95.2% clean accuracy, 85.5% adversarial accuracy, and 96.8% recall. Results demonstrate that architectural diversity and ensemble fusion significantly enhance both detection performance and adversarial robustness in security-critical applications.