Перевод статьи The Washington Post «Why dangerous content thrives on Facebook and TikTok in Kenya»
Стрелок приближается сзади, поднося пистолет к голове своей жертвы. Он нажимает на курок и «хлоп», безжизненное тело падает вперед. Кадр сменяется еще одной казнью, и еще. Видео было размещено в Facebook, в большой группе сторонников «Аш-Шабаб» и «Исламского государства», где различные его версии были просмотрены тысячи раз, прежде чем были удалены.
Поскольку Facebook и его конкурент TikTok стремительно растут в Кении и по всей Африке, исследователи говорят, что технологические компании не успевают за распространением террористического контента, разжигания ненависти и ложной информации, пользуясь слабой нормативно-правовой базой, чтобы избежать более строгого надзора.
«Это преднамеренный выбор максимизации труда и извлечение прибыли, потому что они рассматривают общества глобального Юга в первую очередь как рынки, а не как общества», — сказал Нанджала Ньябола, кенийский исследователь технологий и социальных наук.
Примерно каждый пятый кениец использует Facebook, который в прошлом году его материнская компания переименовала в Meta, а TikTok стал одним из самых загружаемых приложений в стране. Преобладание насильственного и подстрекательского контента на платформах создает реальные риски для этой восточноафриканской страны, поскольку она готовится к ожесточенным президентским выборам в следующем месяце и сталкивается с угрозой терроризма, исходящей от возродившейся «Аш-Шабаб».
«Наш подход к модерации контента в Африке ничем не отличается от подхода где-либо еще в мире, — написал в электронном письме The Washington Post Коджо Боакье, директор Meta по вопросам государственной политики в Африке, на Ближнем Востоке и в Турции. — Мы уделяем первостепенное внимание безопасности на наших платформах и предприняли активные шаги для борьбы с дезинформацией и вредоносным контентом».
Форчун Мгвили-Сибанда, глава TikTok по связям с правительством и общественной политике в странах Африки к югу от Сахары, также ответила The Post по электронной почте, написав:
«У нас есть тысячи людей, работающих над безопасностью по всему миру, и мы продолжаем расширить эту функцию на наших африканских рынках в соответствии с продолжающимся ростом нашего сообщества TikTok на континенте».
Компании используют двоякую стратегию модерации контента: алгоритмы искусственного интеллекта (ИИ) обеспечивают первую линию защиты. Но Meta признала, что научить ИИ распознавать язык ненависти на нескольких языках и в разных контекстах сложно, и отчеты показывают, что сообщения на языках, отличных от английского, часто ускользают.
В июне исследователи из Института стратегического диалога в Лондоне опубликовали отчет, в котором рассказывается, как «Аль-Шабаб» и «Исламское государство» используют Facebook для распространения экстремистского контента, например видео казни. Двухлетнее расследование выявило не менее 30 общедоступных пропагандистских страниц «Аш-Шабаб» и «Исламского государства», на которые подписано около 40 000 человек. Группы разместили видеоролики, изображающие ужасные убийства, взрывы террористов-смертников, нападения на кенийские вооруженные силы и учения исламистских боевиков. Некоторый контент прожил на платформе более шести лет.
По словам Мустафы Айяда, одного из авторов отчета, зависимость от ИИ была основной проблемой, потому что злоумышленники научились обманывать систему. Если террористы знают, что ИИ ищет слово «джихад», объяснил Аяд, они могут «разделить ДЖИХАД точками между буквами, так что теперь система ИИ не читает его должным образом».
Айяд сказал, что большинство учетных записей, помеченных в отчете, теперь удалены, но с тех пор появился похожий контент, например, видео, опубликованное в июле, с участием Фуада Мохамеда Халафа, лидера «Аш-Шабаб», разыскиваемого правительством США. Он набрал 141 000 просмотров и 1800 репостов, прежде чем был удален через 10 дней.
В отчете говорится, что террористические группы также могут обойти человеческую модерацию, вторую линию защиты социальных сетей, используя пробелы в языковых и культурных знаниях. Национальными языками в Кении являются английский и суахили, но кенийцы говорят на десятках других племенных языках, диалектах и местном сленге, известного как шэн .
Meta заявила, что у нее есть многопрофильная команда из 350 человек, включая носителей арабского, сомалийского и суахили, которые отслеживают и обрабатывают террористический контент. В период с января по март компания утверждает, что удалила 15 миллионов единиц контента, нарушающего ее политику в отношении терроризма, но не сообщает, сколько террористического контента, по ее мнению, все еще находится на платформе.
В январе 2019 года «Аль-Шабаб» атаковала комплекс DusitD2 в Найроби, в результате чего погиб 21 человек. Позже правительственное расследование показало, что они планировали атаку с использованием учетной записи Facebook, которая, по сообщениям местных СМИ, оставалась незамеченной в течение шести месяцев.
Во время выборов в Кении в 2017 году журналисты задокументировали, как Facebook изо всех сил пытался обуздать распространение разжигания ненависти на этнической почве. Исследователи говорят, что эту проблему компания до сих пор не решает. К их беспокойствам добавляется растущая популярность TikTok, который также используется для разжигания напряженности в преддверии президентских выборов в августе.
В июне фонд Mozilla Foundation опубликовал отчет, в котором рассказывается, как дезинформация о выборах в Кении укоренилась в TikTok. В отчете было рассмотрено более 130 видео из 33 учетных записей, которые были просмотрены более 4 миллионов раз, и были обнаружены высказывания ненависти на этнической почве, а также манипулируемый и ложный контент, нарушающий политику TikTok.
Один видеоклип имитировал рекламу моющего средства, в которой рассказчик сказал зрителям, что «моющее средство» может уничтожить «мадоадоа», в том числе представителей племен камба, кикуйю, лухья и луо. В буквальном переводе «мадаадоа» — это безобидное слово, означающее порок или пятно, но оно также может быть закодированным этническим оскорблением и призывом к насилию. Видео содержало графические изображения поствыборных столкновений прошлых лет.
После того, как отчет был опубликован, TikTok удалил видео и пометил термин «мадоадоа», но эпизод показал, как нюансы языка могут ускользнуть от модераторов-людей. Информатор TikTok сообщил автору отчета Оданге Мадунг, что ее попросили посмотреть видео на языках, на которых она не говорит, и определить, глядя только на изображения, нарушают ли они его правила.
TikTok не ответил напрямую на это обвинение, когда The Post попросил прокомментировать, но компания опубликовала недавнее заявление об усилиях по решению проблемного предвыборного контента. TikTok заявил, что модерирует контент более чем на 60 языках, включая суахили, но отказался предоставить дополнительную информацию о своих модераторах в Кении или количестве языков, которые он отслеживает. Он также запустил операционный центр для Кении с экспертами, которые обнаруживают и удаляют сообщения, нарушающие его политику. А в июле было выпущено руководство пользователя, содержащее информацию о выборах и медиаграмотности.
«У нас есть специальная команда, работающая над защитой TikTok во время выборов в Кении, — написал Мгвили-Сибанда. — Мы запрещаем и удаляем дезинформацию о выборах, пропаганду насилия и другие нарушения нашей политики».
Но исследователи по-прежнему обеспокоены тем, что агрессивная риторика в Интернете может привести к реальному насилию.
«Можно увидеть, как эта ложь действительно обернется очень трагическими последствиями для людей, посещающих митинги», — сказал Ирунгу Хоутон, директор Amnesty International Kenya.
Исследователи говорят, что TikTok и Meta могут избежать наказания за более низкие стандарты модерации контента в Кении, отчасти потому, что кенийское законодательство прямо не возлагает на компании социальных сетей ответственность за вредоносный контент на их платформах. В то время как закон о Facebook в Германии штрафует компании на сумму до 50 миллионов долларов, если они не удаляют «явно незаконный» контент в течение 24 часов после подачи жалобы пользователем.
«Это довольно серая зона, — сказал Мугамби Лайбута, кенийский юрист. — Когда вы говорите о разжигании ненависти, в Кении нет закона, согласно которому эти сайты должны обеспечивать модерацию контента».
Эксперты предупреждают, что если Meta и TikTok не будут контролировать себя, правительства африканских стран сделают это за них, возможно, антидемократическим и опасным образом.
«Если платформы не соберутся вместе, они станут удобным предлогом для авторитарных властей подавить их по всему континенту» и «удобным предлогом для их исчезновения, — сказал Мадунг. — И нам всем нужны эти платформы, чтобы выжить. Нам нужно, чтобы они процветали».