«Это первый в мире инструмент такого рода», – говорилось в пресс-релизе Национальной полиции. Veripol был представлен в 2018 году как алгоритм, способный выявлять ложные заявления о краже с применением насилия с точностью более 90%. В октябре 2024 года, шесть лет спустя, этот ИИ перестал работать, что подтвердили Civio в Техническом кабинете Главного управления полиции. Министерство внутренних дел заявляет, что причина отказа от его использования заключается в отсутствии юридической силы в судебных процедурах.

Отказ от Veripol произошел через три месяца после публикации в BOE европейского регламента об искусственном интеллекте, который включает полиграфы в число ИИ «высокого риска», для которых предусмотрены очень строгие обязательства в отношении проверки, обновления и прозрачности. В конце сентября в отчете, подготовленном специалистами по праву и математике из Университета Валенсии, были указаны серьезные недостатки инструмента. Первый из них – отсутствие информации о его функционировании.

Работы по его вводу в эксплуатацию были выполнены несколькими исследователями из университетов Комплутенсе и Карлоса III, а также полицейским Мигелем Камачо-Кольядосом, в настоящее время отвечающим за технологические инновации и кибербезопасность в Государственном совете. Согласно научной статье, в которой подробно описывается его разработка, выборка, на которой обучался инструмент, состояла из 1122 заявлений о краже в Испании в 2015 году, из которых 534 были правдивыми, а остальные 588 – ложными. Тексты заявлений были обработаны с использованием методов NLP – упрощены для автоматической обработки – и классифицированы слова по типу, отбрасывая все, которые появлялись менее чем в 1% выборки или более чем в 99%. Затем они применили несколько методов статистической регрессии, чтобы выбрать, какие слова чаще встречаются в ложных и правдивых заявлениях. Например, в исследовании цитируется, что, согласно Veripol, если заявление содержит слова «день», «адвокат», «страховка» или «спина», то, скорее всего, оно ложное, тем более если несколько раз произносится число «двести» или наречия, такие как «едва». Напротив, заявления, в которых упоминаются автобусы, определенная марка мобильного телефона или номерной знак автомобиля, скорее всего, являются правдивыми.

В июне 2017 года в полицейских участках Малаги и Мурсии был проведен пилотный проект. Согласно научной статье, в 83,54% заявлений, признанных Veripol ложными, заявитель в конечном итоге признался, что солгал. В декабре того же года исследование было отмечено наградой Испанского полицейского фонда, а в 2018 году Министерство внутренних дел объявило о его внедрении во всех полицейских участках.

Согласно данным организации Algorithm Watch, с момента его внедрения до октября 2020 года Veripol использовался для анализа около 84 000 заявлений. Из 49 702 заявлений, которые были обработаны в 2019 году, 2338 были признаны ложными как этим инструментом, так и другими средствами. В исследовании Университета Валенсии отмечается, что в 2022 году он использовался гораздо меньше: число заявлений, проанализированных Veripol, снизилось до 3762, из которых 511 были признаны ложными.

В этом же отчете указаны серьезные недостатки инструмента, которые начинаются с самой его постановки: базовая идея о том, что 57% заявлений о краже с применением насилия являются ложными, цифра, которая основана на большом количестве нераскрытых случаев краж. Также критикуется малочисленность выборки – чуть более 1000 заявлений по сравнению с примерно 60 000 случаев краж с применением насилия, которые регистрируются ежегодно в Испании, согласно Статистическому порталу преступности. Или отсутствие протокола использования и информации об обучении, проведенном для сотрудников полиции для его использования. В новости, опубликованной в 2020 году La Voz de Galicia, предупреждалось, что комиссариат Виго, который располагал программой с 2018 года, не мог ее использовать из-за отсутствия обучения своих агентов.

Также отмечается, что заявления, проанализированные Veripol, фактически были составлены сотрудниками полиции, поэтому не являются дословным воспроизведением заявления заявителя. «Он анализирует не историю, которую возможный лжец рассказывает полиции, а историю, которую пишет сама полиция», – подчеркивается в отчете, в котором добавляется, что инструмент также не учитывает различия в языке между территориями.

Но, прежде всего, критикует непрозрачность его использования. «Система не прозрачна», – заключает отчет Университета Валенсии. «О Veripol вообще нет официальных данных», – добавляет он. Civio запросил в феврале 2023 года и снова в декабре 2024 года информацию о техническом функционировании этого инструмента и о его использовании, но Министерство внутренних дел до сих пор не ответило даже о количестве комиссариатов, в которых он был окончательно внедрен.

Эта статья была первоначально опубликована в Civio, независимой некоммерческой редакции, которая тщательно расследует общественные дела.

Методология

В феврале 2023 года Civio запросил у Министерства внутренних дел на основании Закона о прозрачности технические спецификации Veripol, примеры его использования и любой другой документ, который позволил бы узнать, как работает приложение и какую информацию оно содержит или может содержать. В связи с отказом Министерства внутренних дел предоставить эту информацию была подана жалоба в Совет по прозрачности и надлежащему управлению, который 31 октября того же года вынес решение о праве доступа и обязал Министерство внутренних дел предоставить запрошенную информацию. Единственной предоставленной информацией были ссылки на пресс-релизы, опубликованные полицией и Университетом Комплутенсе о его вводе в эксплуатацию и премии, присужденной Испанским полицейским фондом.

В декабре 2024 года Civio повторно запросил информацию, связанную с Veripol. В частности, список полицейских участков, в которых был внедрен инструмент, и данные об использовании, в том числе количество дел, обработанных в год, и процент из них, в которых инструмент пришел к выводу, что заявление было ложным. Министерство ответило, что они прекратили использовать Veripol 21 октября 2024 года, и отказалось предоставить данные об использовании. В настоящее время в Совете по прозрачности и надлежащему управлению действует жалоба на получение доступа к этим данным.

Давид Кабо и Ана Вильота участвовали в создании и реализации игры.

В предварительной версии статьи, опубликованной в журнале Knowledge-Based Systems, «Применение автоматического текстового обнаружения обманчивой речи к полицейским отчетам: извлечение поведенческих моделей из многошаговой модели классификации для понимания того, как мы лжем полиции» (Лара Кихано-Санчес, Федерико Либераторе, Хосе Камачо Кольядос и Мигель Камачо-Кольядос, Кардиффский университет, 2018), собраны данные за 2015 год об инструменте, а также список из 110 терминов, переведенных с испанского на английский. Civio связался с авторами, но они не предоставили список оригинальных слов на испанском языке.

Поэтому, чтобы избежать двусмысленностей, возникающих в результате перевода, были собраны только те слова, которые объясняются в контексте. Окончательный список терминов с их соответствующими весами (чем выше значение, тем больше влияние) слов, которые появляются или появляются очень часто, определяет, что заявление, вероятно, является ложным: день (0,48), адвокат (0,43), страховка (0,24), спина (7,74), рюкзак (0,10), плечо (17,99), шлем (26,92), iPhone (25,56), Apple (0,23), едва (?), сзади (0,12), двести (0,30), евро (6,81), наличные (19,18), договор (19,19).

Выбор, сделанный для случая, когда заявление, вероятно, является правдивым: автобус (0,52), номерной знак (0,19), цепь (16,06), полиция (0,31), китаец (52,58), шея (16,62), портал (0,26), лестничная площадка (0,36), даже (72,31), борода (0,34), сантиметр (0,09), тонкий (0,09), брюнет (0,10), кричать (40,67), схватить (0,12), врач (16,75), друг (0,13).

Визуализация игры была разработана с помощью Svelte.js.