Недавние исследования показывают, что автопилоты, построенные на больших мультимодальных моделях (LVLM), уязвимы к так называемым промпт-инъекциям. Злоумышленники могут скрыть вредоносные команды в визуальной или текстовой информации так, что система воспринимает их как легитимные инструкции и выполняет ошибочные действия. В экспериментах модели неверно интерпретировали пометки на изображениях, смешанные подсказки и скрытые фразы, что приводило к опасным или непредвиденным сценариям управления.

Эта уязвимость особенно тревожна для автономных дронов, роботов и транспортных средств, где ошибка может иметь физические последствия. Авторы работы предлагают ряд мер: строгая проверка входных данных, кросс-валидация между сенсорами, обучение на атаках и усиленный контроль со стороны человека. Также необходимы независимые аудиты безопасности и стандарты для мультимодальных систем.

Пока технология развивается, важно учитывать не только функциональность моделей, но и их устойчивость к манипуляциям. Без комплексной защиты автопилоты на основе LVLM рискуют стать слабым звеном в реальных приложениях.