После нескольких лет тайных контрактов Пентагон обратился к алгоритмам Кремниевой долины для создания систем наблюдения в стиле «Враг народа».
Однажды весной 2008 года полковник Джон Монтгомери вошел в наземную станцию управления на базе ВВС Крич в Неваде, где в обычную смену летал над Ираком дрон Predator. В тот день миссия заключалась в открытом патрулировании Садр-Сити, густонаселенного района на северо-востоке Багдада. Эскадрилья Монтгомери несколько недель наблюдала за этой местностью.
Когда Монтгомери устроился на своем месте, оператор обратился к нему. «В этом городе что-то не так, — сказал он. — Я не знаю, что именно, но мне кажется, что что-то не так». Монтгомери тоже это почувствовал.«Атмосфера. Было просто что-то не в порядке», — позже он рассказывал мне о миссии. Команда Монтгомери была так хорошо знакома с улицами Садр-Сити, что понимала ритм этого района; они даже запомнили точные места, где местные женщины развешивали белье со своих балконов. Когда что-то было не так, это было очевидно.
Через пятнадцать минут после начала смены оператор указал на человека на экране. «Этот парень не имеет для меня смысла», — сказал он Монтгомери. На мужчине был костюм, и он разговаривал по мобильному телефону.С высоты 15000 футов он не показался бы неподготовленному глазу особенно необычным или подозрительным. Но оператор был опытным летчиком, и Монтгомери доверял своему чутью. Он согласился отказаться от запланированного патрулирования. На основе догадки мужчина в костюме стал мишенью.
На протяжении более трех часов, пока «Хищник» кружил над головой, человек ни разу не вошел внутрь здания. Казалось, он шел бесцельно, иногда по оживленным улицам. Он все время держал сотовый телефон у уха.
В конце концов, мужчина пробрался в тихий переулок, и в кадр попал пикап «Тойота». Появились трое мужчин, и вместе с мужчиной в костюме группа вынула минометный ствол из поддона грузовика и произвела два выстрела в сторону близлежащей американской базы. Сбросив гуруз на заброшенном участке, трое мужчин снова сели в «Тойоту» и уехали, а человек в костюме продолжал идти, как будто ничего не произошло.
Группа разведки была отправлена следить за «Тойотой», а вторая группа пересекла окрестности, чтобы забрать миномет. Команда «Хищника» продолжила следовать за человеком в костюме, который исчез в доме в нескольких кварталах от него. Монтгомери сказал, что вскоре после этого он встретил своего создателя.
Давно известно, что дроны Пентагона генерируют гораздо больше данных, чем его сотрудники смогут когда-либо отследить. На каждого врага, подобного человеку в костюме, которого находит Пентагон, гораздо больше остаются незамеченными, если не незамеченным правительством, обладающим огромным арсеналом шпионских инструментов. Автоматизация задачи анализа изображений широко рассматривается как решение. И, конечно же, даже простая система компьютерного зрения могла следить за человеком в костюме по городу, экономя драгоценное время и ресурсы операторов. Но автоматический трекер не смог бы сказать, что он на самом деле был участником повстанцев. Это вопрос жизни или смерти, основанный на тонких подсказках, большом опыте и большой дозе интуиции. Конечно, компьютер на это не способен. Я прав?
КОГДА КОМПЬЮТЕР ГОВОРИТ «В ЭТОМ ГОРОДЕ ЧТО-ТО НЕ ТАК»
За одиннадцать лет, прошедших после этой миссии, Пентагон предпринял дикие и в значительной степени секретные усилия по автоматизации этих задач, и то, что когда-то считалось чистой фантазией, теперь намного ближе к реальности. В начале 2017 года, после миллионов государственных инвестиций в лабораторные эксперименты, целевая группа Пентагона пришла к выводу, что передовые алгоритмы наблюдения и анализа «могут работать на уровне, близком к человеческому». В ответ Министерство обороны запустило проект Maven — широко разрекламированную, но в то же время несколько скрытую попытку вывести алгоратмического шпиона на войну.
Первый эксперимент проекта Maven, также известный как кросс-функциональная группа Algorithmic Warfare — система, способная распознавать цели и обнаруживать подозрительную активность в видеозаписи с дронов. Она была доставлена 10 разведывательным подразделениям, задействованных в миссиях над Сирией, Ираком и рядом африканских стран в конце 2017 года. По словам одного из высокопоставленных должностных лиц в недавнем выступлении, с тех пор она распространилась на другие «географические районы».
Среди множества функций программного обеспечения аналитики могут выбрать интересующую цель, и программное обеспечение соберет все существующие клипы из видеоматериалы с дронов, показывающие тот же автомобиль или человека, замеченного в предыдущих миссиях. Другие особенности засекречены, хотя их довольно легко угадать: один из подрядчиков проекта, стартап в области компьютерного зрения под названием Clarifai, продает программное обеспечение, способное анализировать «возраст, пол и культурный облик» человека на видео и фотографиях.
Во втором «спринте» Project Maven обратил внимание на широкоформатные изображения движения, или WAMI, в котором используются аэрофотоснимки высокого разрешения для наблюдения за целыми районами размером с город. К концу 2018 года программа была направлена на развертывание алгоритма анализа на основе ИИ для Gorgon Stare, самой мощной из известных версий WAMI, используемой на борту парка дронов ВВС. (Я называю это «всевидящим оком», и я только что написал целую книгу на эту тему).
Мысль об искусственном интеллекте Gorgon Stare, мягко говоря, поразительна. Система камеры может одновременно записывать тысячи людей и транспортных средств; после автоматизации каждую из этих целей можно будет наблюдать безостановочно. Военно-воздушные силы отказались сообщить мне, на что именно способен этот всевидящий ИИ, но на презентации для членов Королевских ВВС Австралии в октябре 2017 года директор программы показал, что ранний прототип программного обеспечения был способен к мгновенному распознаванию автомобилей, грузовиков, людей и лодок. Он также предположил, что со временем он сможет выполнять более сложные задачи — например, способность определять, когда что-то в человеке на экране «не так».
Партнерами по инициативе являются национальные лаборатории США и все 17 организаций-членов разведывательного сообщества США. По мнению Пентагона, проект Maven откроет дверь в новую эру шпионского искусства с искусственным интеллектом. Ничего не останется незамеченным.
Быстрая обучаемость
Основным препятствием для широкого внедрения этой технологии на ранних этапах ее истории был тот факт, что даже самые передовые из этих систем не полностью избавлены от сбоев. В ходе одного 20-минутного теста я заметил, что алгоритм определения поведения, созданный Kitware, подрядчиком по защите и разведке, специализирующимся на машинном зрении, пометил как ‘подозрительный’ перекресток, на котором автомобиль отъехал от знака остановки, и через несколь секунд его сменил другой автомобиль (эта «замена» — когда одна машина сменила другую — была одним из подозрительных действий, для поиска которых было разработано программное обеспечение). Ни один солдат не сможет доверять системе, которая допускает такие вопиющие ошибки.
Но такие ошибки происходят все реже, во многом благодаря недавним достижениям в области машинного обучения. В области автоматизированного шпионажа даже сравнительно небольшое обучение, оказывается, имеет большое значение. После обучения в ImageNet — обучающей базе данных, содержащей 14 миллионов аннотированных изображений — одна система анализа WAMI, разработанная лабораторией Линкольна Массачусетского технологического института, показала, что количество ложных тревог упало почти до нуля. Другие, обученные подобным системам, увидели, как их производительность стремительно растет. Раннее программное обеспечение проекта Maven было обучено более чем 1 миллиону изображений, и это заметно.
Некоторые скажут, что даже система с таким обширным «обучением» никогда не сможет сравниться с человеком. В то время как даже относительно неопытный аналитик только один раз принял бы пожарную машину за боевую бронированную, пока ему или ей не указали на ошибку, компьютер будет повторять одну и ту же ошибку снова и снова.
Это тоже решается с помощью так называемого «активного обучения». В проекте Maven, когда система неверно идентифицирует объект или действие на земле, аналитики могут нажать кнопку «обучить ИИ», и алгоритм запомнит, чтобы не повторять ту же ошибку снова в будущем. Точно так же, когда компьютер прав, аналитики подтверждают это. (Если вам когда-либо приходилось определять дорожные знаки или номера улиц в тесте CAPTCHA при заполнении онлайн-формы, вы участвовали в аналогичной программе обучения Google Maps под контролем человека). Таким образом, компьютер со временем выстраивает понимание того, что работает, а что нет. Чем дольше система находится в эксплуатации, тем лучше она будет выполнять свою работу.
Со временем такое программное обеспечение даже сможет обучаться новым трюкам на лету. Например, аналитики, использующие программное обеспечение проекта Maven, могут научить свои системы распознавать совершенно новые формы интеллекта, которым они никогда не были обучены. В одном примере, представленном директором программы, аналитик может научить программное обеспечение распознавать «чрезвычайную ситуацию» по наличию пожарных машин и машин скорой помощи.
Даже ярым скептикам, чью работу эти алгоритмы призваны заменить, трудно отрицать, что эти достижения делают нас неприятно приближающимися к будущему, когда компьютер, а не человек, может смотреть на нас сверху вниз и заявлять: «Есть что-то не так в этом городе».
Полковник Джон Монтгомери, бывший пилот беспилотника ВВС, который руководил миссией против ‘Человека в костюме’, все еще хочет верить, что человеческое присутствтие всегда будет необходимо — но он уже не так уверен. Однажды, обсуждая возможность автоматизации воздушного шпионажа Пентагона, Монтгомери рассказал мне о видео на YouTube, которое он только что посмотрел, об активно обучающемся роботе, кидающим мяч в чашку. Поначалу робот безнадежен, как малыш. Но затем, с 70-й попытки, мяч попадает в край чашки. Робот, как блестящий аналитик на тренинге, принимает к сведению. С каждой попыткой он становится лучше. И на сотой попытке он попал.
«Что ж, после этого, — сказал Монтгомери, — он ни разу не промахнулся».
КРЕМНИЕВАЯ ДОЛИНА ВСТУПАЕТ В БОЙ
Бесспорными лидерами в создании технологий, которые могут заменить человеческое присутствие, конечно же, компании из Кремниевой долины. На самом деле это в немалой степени благодаря способности технологической индустрии переманивать таланты из мира обороны и разведки. Persistics, широко разрекламированная программа автоматического анализа, разработанная Ливерморской национальной лабораторией Лоуренса, была закрыта в 2014 году, потому что слишком много членов ее команды ушли, чтобы устроиться на работу в Google, YouTube, Facebook и других компаниях.
Поэтому неудивительно, что многое из достижений Кремниевой долины в коммерческой сфере имеют прямое применение в темном мире разведки. Возьмем исключительно эффективную боковую панель видео-рекомендаций YouTube, которая может предсказать, что зрителя, который ищет видео с вертолетом Huey, вероятно, также заинтересует видео об атомной подводной лодке или отрывком из ‘Апокалипсис сегодня’. Он использует метод прогнозирования, известный как кластерный анализ, который аналогичным образом можно использовать для прогнозирования того, что бесцельно идущий человек может готовить атаку.
Пентагон стремится привлечь эти умы и технологии обратно к борьбе, и руководство Кремниевой долины дало понять, что оно может быть заинтересованным партнером, хотя рядовые представители отрасли видят этот вопрос по-другому. Когда в марте 2018 года стало известно, что Пентагон нанял Google для участия в проекте Maven, в СМИ начался шторм. В ответ компания заявила, что технология будет использоваться только для «ненадлежащих» действий. Несмотря на это, более 3000 сотрудников Alphabet подписали петицию, призывающую компанию прекратить партнерство, что она и сделала вскоре после этого.
Многие были шокированы новостью о сотрудничестве. Но для фирмы это было не впервые. Еще в 2013 году Google подписал нераскрытое соглашение о совместных исследованиях и разработках с Исследовательской лабораторией ВВС США, посвященное технологиям обработки данных, в том числе для воздушного наблюдения. В результате сотрудничества инженеры ВВС разработали то, что на одной веб-странице, опубликованной канцелярией министра обороны, описывается как «революционный» прототип для автоматизированного анализа «образа жизни» с помощью отснятого материала и видеонаблюдения на обширной территории.
Это не была «безобидная» технология при любом уровне воображения. Анализ модели жизни — это процесс подробного изучения повседневной деятельности человека сверху. Это неотъемлемый шаг к любому авиаудару. Когда я поднял это вопрос с официальным представителем ВВС, он отказался сообщить подробности.
Есть и другие признаки того, что участие Google в сфере обороны было более обширным, чем считалось ранее. В своем бюджетном запросе на 2019 год Командование специальных операций отметило, что ему необходимо 4,5 миллиона долларов для покупки ряда сервисов облачных вычислений, включая, как отмечается в нем, TensorFlow для программы «анализа больших данных».
Представитель ВВС не стал подтверждать или отрицать, является ли AFRL-Google CRADA единственным случаем участия Google в проекте ВВС, и отметил, что служба «продолжит сотрудничать с промышленностью и научными кругами, разрабатывая новые и развивающиеся технологии для повышения качества принятия решений».
После разногласий по поводу проекта Maven руководство Google, похоже, приутихло, по крайней мере временно, в своем прежнем рвении к долларам Министерства обороны США, отказавшись от участия в конкурсе на крупную программу облачных вычислений Пентагона, известную как JEDI (для совместной инфраструктуры защиты предприятий), потому что «нельзя было гарантировать, что она будет соответствовать нашим Принципам искусственного интеллекта».
Но в Кремниевой долине по-прежнему есть много других, которые меньше опасаются вести дела с военными. «Если крупные технологические компании собираются отвернуться от Министерства обороны США, у этой страны будут проблемы», — сказал генеральный директор Amazon Джефф Безос на мероприятии через неделю после объявления Google. Решение Безоса продолжать участвовать в гонке за JEDI, вероятно, порадовало многих в Пентагоне: компания, которая занимается «магазином всего», уже предоставляет всем 17 спецслужбам систему облачных вычислений, оптимизированную для автоматизированной аналитики.
Через полторы недели после выступления Безоса президент Microsoft Брэд Смит объявил в блоге компании, что Microsoft тоже будет участвовать в разработке как JEDI, так и других технологических предприятий Министерства обороны США, включая некоторые, как он признал, вызывающие тревогу вопросы: «Мы не собираемся уходить из будущего».
Оглядываясь на будущее, которое Силиконовая долина создала для нас — будущее, в котором вы можете заказать книгу на смартфоне, а затем, щелкнув пальцем, получить доступ к тысячам часов видео с вертолетами и подводными лодками, которые компьютер с искусственным интеллектом решил, что вы хотите посмотреть — растущая близость технологического мира с оборонным и разведывательным сообществами — это немного захватывающая перспектива. Заголовки, которые в противном случае казались бы безобидными и даже желанными — например, «Наконец-то: приложение, которое может идентифицировать животное, которое вы увидели во время прогулки» или «Google использует ИИ, чтобы найти вашего двойника изобразительного искусства», — обретают зловещий новый смысл. Все эти чудеса можно использовать, чтобы сделать наблюдение более автоматизированным и, как следствие, более проницательным, непостижимым и всезнающим. Так или иначе, большая часть из этого будет.
Автор — Артур Холланд Мишель, содиректор Центра изучения дрона в Бард-колледже и автор книги «Глаза в небе: тайное восстание горгоны» и «Как она будет наблюдать за всеми нами», из которой создана эта статья.
Перевод статьи How Big Tech is helping build the Pentagon’s all-seeing eye-in-the-sky