Каждый день сообщения от нигерийских принцев, продавцов чудодейственных лекарств и рекламодателей беспроигрышных инвестиций захламляют почтовые ящики. Совершенствование спам-фильтров только вдохновляет новые методы прорыва через защиту.
Теперь гонка вооружений между блокировщиками и отправителями спама может обостриться с появлением нового оружия: генеративного искусственного интеллекта. Благодаря последним достижениям в области искусственного интеллекта, ставшим известными благодаря ChatGPT, спамеры могут получить новые инструменты для обхода фильтров, привлечения внимания людей и убеждения их нажать на кнопку, купить или предоставить личную информацию.
Как директор лаборатории Advancing Human and Machine Reasoning в Университете Южной Флориды, я занимаюсь исследованиями на стыке искусственного интеллекта, обработки естественного языка и человеческого мышления. Я изучал, как искусственный интеллект может изучать индивидуальные предпочтения, убеждения и причуды личностей.
Это может быть использовано для лучшего понимания того, как взаимодействовать с людьми, помогать им учиться или давать им полезные советы. Но это также означает, что вам следует опасаться более умного спама, который знает ваши слабые места — и может использовать их против вас.
Итак, что же такое спам?
Спам определяется как нежелательные коммерческие электронные письма, отправленные неизвестным лицом. Иногда этот термин распространяется на текстовые сообщения, прямые сообщения в социальных сетях и фальшивые отзывы о товарах. Спамеры хотят подтолкнуть вас к действию: покупке чего-либо, переходу по фишинговым ссылкам, установке вредоносного ПО или изменению взглядов.
Спам приносит прибыль. Одна рассылка по электронной почте может принести 1000 долларов США всего за несколько часов и обойдется спамерам всего в несколько долларов — не считая первоначальной подготовки. Спам-кампания фармацевтической компании в Интернете может приносить около 7 000 долларов США в день.
Законные рекламодатели также хотят подтолкнуть вас к действию — покупке их продукции, участию в опросах, подписке на рассылку новостей, — но в то время как электронное письмо от маркетолога может содержать ссылку на веб-сайт компании и опцию отказа от подписки в соответствии с федеральными правилами, спамерское письмо может этого не делать.
Спамеры также не имеют доступа к спискам рассылки, на которые подписались пользователи. Вместо этого спамеры используют контр-интуитивные стратегии, такие как афера «нигерийский принц», в которой собственно принц утверждает, что ему нужна ваша помощь, чтобы разблокировать абсурдную сумму денег, обещая за это хорошее вознаграждение. Опытные цифровые аборигены сразу же отвергают такие просьбы, но абсурдность просьбы может на самом деле выбрать наивность или преклонный возраст, отфильтровывая тех, кто с наибольшей вероятностью попадется на удочку мошенников.
Однако развитие искусственного интеллекта означает, что спамерам, возможно, не придется полагаться на такие подходы. ИИ может позволить им ориентироваться на отдельных людей и делать свои сообщения более убедительными на основе легкодоступной информации, например, сообщений в социальных сетях.
Будущее спама с помощью искусственного интеллекта
Скорее всего, вы слышали о достижениях в области генеративных больших языковых моделей (LLM), таких как ChatGPT. Задача, которую они выполняют — обманчиво проста: задав последовательность текста, предсказать, какая лексема — считайте, что это часть слова — идет следующей. Затем предсказать, какая лексема идет после нее. И так далее, снова и снова.
Каким-то образом, обучение только этой задаче, при работе с достаточным количеством текста на достаточно большом LLM, кажется, достаточно, чтобы наделить эти модели способностью удивительно хорошо справляться с множеством других задач.
Уже появилось множество способов использования этой технологии, демонстрирующих ее способность быстро адаптироваться к людям и узнавать их. Например, LLM могут писать полноценные электронные письма в вашем стиле, имея лишь несколько примеров того, как вы пишете. Есть и классический пример — уже более чем десятилетней давности — когда компания Target выяснила, что покупательница беременна, до того, как об этом узнал ее отец.
И спамеры, и маркетологи только выиграют, если смогут предсказывать больше о людях по меньшему количеству данных. Учитывая вашу страницу в LinkedIn, несколько сообщений и пару изображений профиля, спамеры, вооруженные LLM, могут сделать достаточно точные предположения о ваших политических взглядах, семейном положении или жизненных приоритетах.
Наши исследования показали, что LLM можно использовать для предсказания того, какое слово человек произнесет следующим, с точностью, значительно превосходящей другие подходы ИИ, в задаче генерации слов, называемой задачей семантической беглости. Мы также показали, что LLM могут брать определенные типы вопросов из тестов на способность рассуждать и предсказывать, как люди ответят на этот вопрос. Это позволяет предположить, что LLM уже обладают некоторыми знаниями о том, как выглядят типичные способности человека к рассуждению.
Если спамерам удается пройти первоначальные фильтры и заставить вас прочитать письмо, нажать на ссылку или даже вступить в разговор, их способность применять индивидуальное убеждение резко возрастает. И здесь LLM могут изменить игру. Первые результаты показывают, что магистр права может быть использован для убедительной аргументации по самым разным темам — от политики до здравоохранения.
Хорошо для простака
ИИ, однако, не отдает предпочтение той или иной стороне. Спам-фильтры также должны выиграть от достижений ИИ, позволяя им возводить новые барьеры на пути нежелательных писем.
Спамеры часто пытаются обмануть фильтры с помощью специальных символов, неправильно написанных слов или скрытого текста, полагаясь на склонность человека прощать небольшие текстовые аномалии — например, «c1îck h.ere n0w». Но по мере того, как ИИ будет лучше понимать спам, фильтры смогут лучше определять и блокировать нежелательный спам и возможно даже пропускать нужный спам. Например маркетинговые письма, на которые вы явно подписались. Представьте себе фильтр, который предсказывает, захотите ли вы прочитать письмо еще до того как вы его прочитаете.
Несмотря на растущую озабоченность по поводу ИИ, о чем свидетельствуют генеральный директор Tesla, SpaceX и Twitter Элон Маск, основатель Apple Стив Возняк и другие технологические лидеры, призывающие приостановить развитие ИИ, прогресс в этой технологии может принести много пользы. ИИ может помочь нам понять, как слабые места в человеческом мышлении могут быть использованы недоброжелателями и придумать способы противодействия злонамерениям.
Все новые технологии могут привести как к чуду, так и к опасности. Разница заключается в том, кто создает и контролирует инструменты и как они используются.
Первод статьи: Спам, написанный ИИ, может вскоре наводнить почту