Развитие ИИ и нейросетей помогли киберпреступникам найти более креативные способы для мошенничеств и взломов. Однако искусственный интеллект также остаётся верным другом специалистов по кибербезопасности.
75% опрошенных ведущих мировых специалистов в сфере кибербезопасности заявили о росте числа кибератак в 2023 году, причём 85% из них связали его с увеличением количества злоумышленников, использующих генеративный ИИ, говорится в совместном исследовании компаний Sapio Research и Deep Instinct.
По прогнозам многих аналитиков, доступность новых технологий даст злоумышленникам широкий инструментарий для более быстрой и экономичной разработки новых вариантов вредоносного ПО и программ-вымогателей. Отдельно исследователи выделяют использование больших лингвистических моделей для фишинговых рассылок, а также дипфейков для обмана людей с помощью методов социальной инженерии.
Для российских экспертов в сфере информационной безопасности это тоже давно не новость. Искусственный интеллект может стать обоюдоострым мечом, который в том числе уже помогает ИБ-специалистам защищать людей и компании от злоумышленников. Об этом эксперты рассказали на круглом столе "ИИ на службе кибербезопасности", который организовал "Деловой Петербург".
Проблемы те же — инструменты другие
Искусственный интеллект в руках мошенников — просто инструмент, и ничего более, считает бизнес-консультант по информационной безопасности Positive Technologies Алексей Лукацкий. По сути список угроз для компаний и граждан остался прежним, просто техническое исполнение теперь немного иное: "Дипфейки — это те же самые фейковые звонки от "службы безопасности банка". ИИ используется в фишинговых рассылках для автоматизации написания сообщений, причём таким образом, чтобы они точно попадали в цель. В поисках уязвимостей злоумышленники также используют искусственный интеллект, чтобы автоматизировать этот процесс. Все эти уловки — совершенно не новые, просто ИИ позволяет сделать работу быстрее".
Через несколько лет появятся новые технологии, которые мошенники наверняка также возьмут в оборот, добавил эксперт.
В 2023 году в России стали известны случаи использования голосовых и видеодипфейков для мошенничества. Преступники генерировали с помощью нейросети поддельные сообщения, используя для этого образцы голосов настоящих людей. Чаще всего они копировали тех, кто занимает высокие должности в компаниях. После этого сотрудникам с фейковых аккаунтов от лица начальства рассылались голосовые сообщения, в которых их просили выполнить те или иные действия.
Руководитель направления АНО "ИРИ" Алексей Буньков согласился с доводами Алексея Лукацкого: "Набор принципиальных рисков фундаментально не поменяется. Но у злоумышленников появляются дополнительные возможности по воздействию на сотрудников при помощи дипфейков топ-менеджмента, к примеру. Раньше мошенники могли позвонить по телефону и подделать чей-то голос, но теперь есть и видеодипфейки, в которых копируется внешность человека. Если такое видеосообщение придёт сотруднику от лица начальства, он вполне может этому поверить и совершить действия, которые от него требуют злоумышленники. Поэтому выходит, что риски остаются те же, но возможности для преступников стали шире".
Александр Кузнецов, к.т.н., CISM, CISSP, руководитель группы архитектуры ГК "Солар", заметил, что появление сервисов с технологиями искусственного интеллекта понизило порог входа в преступную деятельность и мошенничество. Теперь злоумышленникам не обязательно обладать высокими техническими компетенциями, достаточно просто задавать вопросы: "Это позволит им (злоумышленникам) расширить область кибератак и их интенсивность. Кроме того, помимо мошенничества развиваются и другие преступные направления, где могут использовать ИИ. Например, не так давно в лабораторных условиях международные эксперты в области кибербезопасности создали сетевого червя, работающего через сервисы искусственного интеллекта. Он способен самостоятельно распространяться между сервисами нейросетей и похищать конфиденциальные данные", — рассказал он.
В разных поясах
Руководитель группы исследований и разработки технологий машинного обучения в "Лаборатории Касперского" Владислав Тушканов привёл три громких случая, когда использование дипфейков привело к хищению крупных денежных сумм.
Так, в 2019 году мошенник позвонил генеральному директору британской компании в сфере энергетики, подделав голос CEO их материнской страховой компании из Германии. Преступник попросил перевести $243 тыс. третьей стороне, и жертва согласилась, в результате потеряв деньги. При этом глава британской компании был уверен, что разговаривает со своим немецким коллегой — собеседник говорил с характерным акцентом и интонацией. Это был первый случай, когда одна из крупнейших страховых компаний в мире столкнулась с дипфейк-преступлением.
В 2020 году руководителю филиала японской компании в Гонконге позвонил один из "менеджеров" их материнской компании. Фейковый менеджер сообщил главе филиала, что ему нужно авторизовать сделку на $35 млн — все формальности уже улажены, нанят юрист, а документы отправлены главе на рабочую почту. Жертва, поверив поддельным документам и голосу руководителя, совершила транзакцию. В результате похищенные деньги разлетелись по разным счетам в разных банках мира, а правительство Арабских Эмиратов начало расследование, поскольку ущерб в результате "сделки" затронул несколько предприятий внутри страны. Следователи из ОАЭ пришли к выводу, что в похищении денег участвовала преступная группа из 17 человек, которые использовали технологии deepvoice для подделки голоса топ-менеджера.
Последний случай произошёл недавно — в феврале 2024 года, и снова в Гонконге. Сотрудник финансового отдела транснациональной компании получил звонок по видео-конференц-связи от одного из руководителей. Во время созвона менеджер попросил его перевести деньги на определённые банковские счета. В результате пятнадцати таких переводов компания потеряла $26 млн. На видеоконференции присутствовали несколько человек, как оказалось — все из них, кроме жертвы, были дипфейками. Для генерации лиц и голосов преступники использовали общедоступные видео и аудио с YouTube.
"В таких случаях дипфейки использовались как некое дополнение к поддельным документам и фишинговым письмам — они делали атаку более реалистичной и более эффективной. Под угрозой здесь находятся те компании, где нет прямого физического взаимодействия, — сотрудники и главы компаний работают в разных филиалах или в разных часовых поясах и общаются в основном с помощью созвонов и писем", — обратил внимание Владислав Тушканов.
Также он отметил, что в прошлом году в жизнь людей слишком быстро начал проникать ChatGPT, при этом сотрудники службы безопасности компаний за этим трендом не поспевали. Получалось так, что люди часто начали использовать чат-бота на рабочем месте, чтобы упростить себе работу и сократить время на различные задачи. В запросах они, не задумываясь, случайно разглашали конфиденциальные данные компании: "Было замечено, что в даркнете продаётся достаточно много аккаунтов к ChatGPT. Что хранится в этих аккаунтах и в истории переписок — никто не знает. Это другой потенциальный вектор атак, которые генеративные технологии привносят в систему безопасности", — заключил Тушканов.
"Злые" ChatGPT
Для генерации вредоносного кода и контента злоумышленники уже давно не используют легальные нейросети, говорит Алексей Лукацкий. Для этого у них есть свои инструменты на базе "злых" аналогов ChatGPT — нейросетей, в которых отключена цензура.
"Появляется регулярно что-то новое, тем более что сами модели уже выложены в открытый доступ и их надо только обучить, а материалов для обучения достаточно — у преступников есть коллекции вредоносного кода, коллекции фишинговых сообщений, коллекции видов уязвимостей. Это всё отдаётся модели, которая не скована ограничениями — ни этическими, ни никакими иными. И далее доступ к такого рода моделям продаётся на чёрном рынке за плюс-минус $100 в месяц. Так как этот сервис достаточно недорогой, он активно используется мошенниками и киберпреступниками, и это направление будет только развиваться", — добавил Алексей Лукацкий.
Ещё один способ сгенерировать вредоносный контент с помощью языковой модели — использовать джейлбрейк. Обычной нейросети, например той же ChatGPT, скармливается запрос, в формулировках которого спрятаны "атакующие" слова. Они обманывают нейросеть и заставляют её думать, что сгенерированный контент не нарушает закон, не является вредоносным и не может навредить людям.
"На самом деле это не такая большая проблема — заставить нейросеть сделать что-то не очень хорошее. Попросить ChatGPT сразу сгенерировать вам вирус не получится, но точки для обхода правил здесь всё ещё существуют. Понятие вредоносного кода совершенно расплывчатое. Да, конечно, специализированные "злые" нейросети лучше и удобнее для мошенника, но и вполне себе обычные нейросети сделают всё то же самое, потому что просто не поймут, что это вредоносный код", — отметил Андрей Чечулин, к.т.н., руководитель Международного центра цифровой криминалистики СПб ФИЦ РАН.
Владислав Тушканов обратил внимание, что результаты научных исследований показывают, что если во время обучения нейросети были использованы данные, в которых были примеры вредоносного кода или вредоносного поведения, она может начать их воспроизводить самостоятельно: "Большие языковые модели обучаются на огромных кусках текста из интернета, и там есть всё что угодно. Если они были обучены на таких данных, то никакие процедуры для предотвращения генерации вредоносного кода не могут давать 100%-ную гарантию. Всегда можно будет найти такой prompt, который позволит злоумышленнику сгенерировать всё, что ему захочется".
Алексей Лукацкий при этом отмечает, что prompt engineering (методики формирования запросов нейросети для получения наиболее точного, полезного и нужного пользователю результата. — Ред.) всё же преступникам не так интересен: "Этим балуются либо исследователи, либо дилетанты, которые не имеют доступа в даркнет, но хотят показать свою крутизну. А у “плохих парней” уже всё налажено, и никакие законы и меморандумы их не сдерживают".
Алексей Буньков заметил, что нейросети не идеальны и могут генерировать недостоверные данные. А эти недостоверные данные могут быть использованы при принятии больших, серьёзных решений: "Мы рассматривали возможность использования у нас ряда генеративных моделей для различных рабочих процессов, например для юриспруденции. Но поняли, что здесь слишком велики риски получить не соответствующую реальности информацию".
Рядом со специалистом
При этом искусственный интеллект применяют и специалисты в области информационной безопасности: "Различные методы машинного обучения в ИБ-продуктах применяются уже достаточно давно. А вот именно среди ИИ-решений я бы отметил появление такого инструмента, как Copilot — второй пилот. Это когда ИИ синхронно в диалоге с ИБ-специалистом решает какие-либо проблемы и рабочие задачи с помощью чата и всплывающих подсказок в аналитических системах, фактически очеловечивая их. Подобные продукты были презентованы техногигантами в прошлом году", — прокомментировал Александр Кузнецов.
Владислав Тушканов говорит, что многие часто ставят знак равенства между искусственным интеллектом, генеративными нейросетями и большими языковыми моделями: "Но на самом деле искусственный интеллект — это очень обширная область и она включает в себя очень многое. Это могут быть экспертные системы, системы на правилах, классические системы машинного обучения на классических алгоритмах, системы на основе нейронных сетей. И все эти системы очень давно применяются в кибербезопасности. Я уверен, что они есть у каждого игрока рынка. У нас, в "Лаборатории Касперского", тоже их достаточно много".
Андрей Чечулин подчёркивает, что нейросети ИБ-специалисты могут использовать в двух направлениях: "Первое – это работа с состязательным искусственным интеллектом. Например, если есть вредоносный ИИ, который генерирует дипфейки или вредоносный код, то в противоположность ему можно разработать нейросеть — детектор таких угроз. И второе направление — это объяснение особенностей ИБ для неспециалистов. В своей деятельности нам часто приходится взаимодействовать с юристами и представителями правоохранительных органов, объясняя им технические аспекты нашей работы. При этом мы часто сталкиваемся с проблемой различия в терминологии, используемой специалистами ИБ и юристами. Генеративный ИИ может выполнять здесь роль переводчика не только для юристов, но и для специалистов любых других областей".
Александр Кузнецов добавил, что генеративные технологии могут помочь ИБ-специалистам готовить материалы по повышению осведомлённости пользователей об актуальных рисках и угрозах в киберпространстве: "Генеративный ИИ поможет подать эту информацию в привлекательном формате, сделает её интересной для пользователя и понятной широкой аудитории", — заключил он.
В самом конце Александр Кузнецов отметил, что нам ещё предстоит большая работа по гармонизации совместного применения решений ИИ и кибербезопасности не только на технологическом, но и на нормативно-правовом уровне, но это уже тема для отдельного круглого стола.
