В "Лаборатории Касперского" рассказали, как люди манипулируют ИИ

Эксперты из "Лаборатории Касперского" обнаружили, что люди размещают специальные фразы на своих сайтах, чтобы нейросети выполняли определенные действия. Это явление получило название "непрямые инъекции затравки" и представляет собой киберриск для систем на основе больших языковых моделей (LLM).

По данным исследования, проведенного специалистами, манипуляции с искусственным интеллектом могут привести к нежелательным последствиям, таким как искажение результатов поиска или дезинформация пользователей. Это подчеркивает необходимость более тщательного контроля за использованием AI в различных сферах деятельности.

Важно осознавать, что развитие технологий искусственного интеллекта требует постоянного мониторинга и обновления мер безопасности. "Лаборатория Касперского" продолжит изучать эту проблему и разрабатывать методы защиты от нежелательных манипуляций с AI.

Эксперты "Лаборатории Касперского" обнаружили, что текстовые описания задач, предназначенные для чат-ботов, становятся все более распространенными. Люди активно используют специальные фразы, известные как инъекции, чтобы обеспечить нейросети возможностью предоставлять другим пользователям ответы, соответствующие их интересам и целям.

Новые решения, основанные на больших языковых моделях, находят свое применение не только в чат-ботах, но и в поисковых системах, где искусственный интеллект помогает кратко обобщать результаты по запросу пользователя. Это открывает новые перспективы для улучшения пользовательского опыта и эффективности поиска информации.

Интересно, что эксперты "Лаборатории Касперского" выяснили, что существуют различные области, где пользователи активно применяют подобные методы и техники. Это свидетельствует о том, что использование инъекций и языковых моделей для оптимизации работы чат-ботов и поисковых систем становится все более востребованным и разнообразным.

Инъекции - это необычный метод, который может быть использован как в продвижении резюме, так и в рекламных целях. Например, "инъекции" используются в продвижении резюме среди других анкет при поиске работы - соискатель прописывает инструкции к ИИ с просьбой максимально положительно отозваться о кандидате, пропустить резюме на следующий этап или выставить ему более высокий приоритет. Инструкции незаметны для рекрутера, потому что обычно они сливаются с фоном страницы. Однако нейросети, которые анализируют резюме, считывают эти фразы.

Этот метод также нашел применение в рекламе, где инъекции размещаются на сайтах различных товаров и услуг. Они могут быть использованы для привлечения внимания потенциальных клиентов и повышения конверсии. Такой подход позволяет улучшить видимость рекламного контента и повысить его эффективность.

Интересно, какие другие области могут воспользоваться этим методом в будущем? Возможно, инъекции найдут свое применение не только в сфере поиска работы и рекламы, но и в других областях, где требуется воздействие на алгоритмы искусственного интеллекта.

На сегодняшний день наиболее важным является оценка потенциальных рисков подобных кибератак. Инструкции, направленные на поисковые чат-боты, становятся все более распространенными - их просят выдавать в ответах на запросы более позитивную оценку конкретного продукта. Некоторые пользователи размещают инструкции для нейросетей с целью выразить протест в повсеместном использовании искусственного интеллекта.

Например, один бразильский художник обратился к нейросетям с требованием не читать, не использовать, не хранить, не обрабатывать, не адаптировать и не повторять определенный контент на его сайте. Это свидетельствует о растущей тревоге по поводу этических и правовых вопросов, связанных с использованием ИИ в различных областях. Возникает необходимость в разработке более строгих норм и правил для регулирования деятельности нейросетей и других технологий.

Владислав Тушканов, руководитель группы исследований и разработки технологий машинного обучения, подчеркнул важность разнообразных техник, применяемых создателями базовых моделей, таких как GPT-4. Он отметил, что для значительного повышения сложности инъекций используются различные подходы, начиная от специального обучения, как в случае с последней моделью от OpenAI, и заканчивая созданием специальных моделей, способных предварительно обнаруживать такие атаки, как это делает компания Google.

Кроме того, Владислав Тушканов подчеркнул, что случаи использования "инъекций", выявленные специалистами Kaspersky, не были связаны с злым умыслом. Это свидетельствует о важности постоянного мониторинга и обновления систем защиты от подобных угроз.

Исследования в области машинного обучения и кибербезопасности продолжают развиваться, и специалистам необходимо постоянно совершенствовать методы обнаружения и предотвращения потенциальных атак, чтобы обеспечить безопасность и надежность цифровых технологий.

Эксперты отмечают, что с развитием технологий киберугрозы становятся все более угрожающими. На данный момент такие киберугрозы, как фишинг или кража данных с помощью "инъекций" носят теоретический характер. Однако не следует забывать, что киберзлоумышленники постоянно ищут новые способы атаки, включая использование нейросетей.

"Однако киберзлоумышленники тоже проявляют активный интерес к нейросетям. Для защиты существующих и будущих решений на базе больших языковых моделей необходимо оценивать риски, изучать всевозможные методы обхода ограничений", - добавил Тушканов. Это подчеркивает важность постоянного мониторинга и анализа уязвимостей в системах и приложениях, особенно тех, которые используют искусственный интеллект.

Безопасность информации и киберзащита становятся ключевыми аспектами в современном цифровом мире. Предупреждение кибератак, особенно с применением передовых технологий, требует постоянного совершенствования методов защиты и глубокого понимания потенциальных угроз.

Источник и фото - ria.ru