5. принципы: какие процессы работают на данных
Содержание:
Хотя этот проект посвящён критическим исследованиям данных, сами по себе данные редко существуют изолированно. Они становятся частью цифровых инфраструктур и алгоритмов, которые используют их для анализа, прогнозирования и принятия решений. Поэтому критически исследовать данные — значит исследовать и процессы, в которых они начинают действовать, и алгоритмы — как-то, что работает на данных.
/ какие процессы работают на данных
В каком контексте данные и алгоритмы возникают вместе? Начнём с двух базовых.
- алгоритмы основываются на данных
- алгоритмы позволяют производить данные
Строго говоря, связи устроены куда сложнее. Чтобы увидеть эту сложность, можно посмотреть на красивую схему с аннотациями, которую сделали вместе Кейт Кроуфорд и Владан Йолер (а побродив по ней, вы можете критически осмыслить собственное отношение к визуализациям и продолжить читать текст).
Но, как вы помните, данные — это то, что появляется в специфическом отношении к тому, что мы видим вокруг. Когда мы предполагаем, что мир/природа «даны», а наука и технологии могут помочь это «данное» понять. В свою очередь, алгоритмы помогают проводить познание и оформлять процессы сбора данных и их использования. Чтобы узнать об этом подробнее, можно послушать замечательную лекцию Лорен Дастон о том, как оформилось то понимание рациональности, которое мы сегодня имеем в виду, говоря об алгоритмах.
Алгоритм — это то, что не обязательно относится к машине или технике. Возможно, вы тоже можете сказать, что — в работе или в быту — действуете согласно алгоритму. Например, если каждый раз выполняете одни и те же действия в определённой последовательности: проверяете почту, составляете список задач, отвечаете на сообщения, а затем переходите к следующему делу. Такой алгоритм может существовать только в виде инструкции или привычки, а может быть формализован и передан другому — человеку или машине.
Получается, часть действий, которые раньше выполнял человек, можно превратить в последовательность операций, описать правила их выполнения и поручить их какой-то цифровой системе (например, ИИ-агенту). В более простом случае это может быть скрипт или функция, которая выполняет повторяющееся действие. В более сложном — целый сервис, который самостоятельно принимает решения на основе заданных правил или обученной модели.
Сегодня мы сталкиваемся с такими автоматизациями практически ежедневно: поисковые системы ранжируют результаты, почтовые сервисы сортируют сообщения, рекомендательные системы предлагают музыку и фильмы, навигаторы прокладывают маршруты, а генеративные модели создают тексты и изображения.
В некоторых сферах внедрение data-based решений происходит неспешно, например, в правовой системе. Она является предметом больших споров: ведь то, как будут квалифицироваться разные действия, сейчас решают люди, рассматривая разные дела вручную. И это порой вызывает немало вопросов. Во многих случаях работа алгоритмизированных сборщиков информации о правонарушениях (например, автоматы, фиксирующие неправильную парковку) тоже вызывают нарекания.
Вот новость о таких дебатах. Эксперты из Сколково предлагают использовать основанные на больших данных решения для создания законодательных изменений, а также — законодательно определить понятие «цифрового следа». Разные способы автоматизированного анализа могут быть использованы при работе с большими массивами правовых актов и судебных решений, а многие компании уже применяют подобные системы (Подробнее: Devins, Felin, Kauffman, Koppl, 2017).
Отдельная и непростая тема — внедрение алгоритмов в те области жизни, которые раньше считались неоцифровываемыми и не квантифицируемыми. Например, в личные и сексуальные отношения. Самый простой пример здесь — развитие алгоритмов в дейтингах. На первый взгляд вполне удобная идея: вам показывают только тех, кто подойдёт для отношений. Но есть немало проблем с тем, что знает о вас алгоритм, а что — вы сами хотите рассказать.
Например, «На сайтах знакомств люди скорее покажут себя в более выгодном свете, то есть, нереалистично, — утверждает Крис Данфорт, профессор математических, естественных и технических наук из Университета Вермонта, — Но каждый раз, получая результаты подобных исследований, мы понимаем, что рассказываем о себе гораздо больше, чем осознаем. Может быть, мы умалчиваем о наших предпочтениях, заполняя анкеты, но наши поступки говорят о многом. По лайкам на Facebook можно точнее определить, поладят ли люди между собой, чем по опросникам».
Получается, такие начинания могут привести к тому, что мы делегируем знание о себе алгоритму, который знает лучше нас, с кем нам стоит создавать отношения. Не будет ли это чем-то вроде возвращения свах из прошлого?
Введение новых алгоритмов тревожит нас и заставляет смотреть на себя как на объектов, чьи данные собираются для каких-то целей. Для пользователей и граждан проблемы связи алгоритмов и данных часто сводятся к тому, что:
а) о нас известно много,
б) непонятно, кому,
в) неясно, с помощью чего это зафиксировано, где хранится,
г) важные решения принимаются, исходя из этих знаний,
д) эти решения влияют на нашу жизнь.
при этом:
! алгоритмы представляются как нечто нейтральное и объективное
! кто такие мы — непонятно
А ещё нам не всегда понятно, как именно работают эти алгоритмы. Причём «нам» — это не только пользователям, но и разработчикам.
Например, исследователи больших языковых моделей описывали так называемые «эмерджентные способности» — свойства, которые не наблюдались у моделей меньшего масштаба и появлялись при их увеличении. При этом сами исследователи продолжают спорить о том, действительно ли эти способности возникают неожиданно или их появление связано со способом измерения и оценки моделей.
Получается, проблема здесь не только в том, что алгоритм может быть для нас «чёрным ящиком». Иногда мы знаем, как он устроен, но всё равно не можем полностью предсказать его поведение. Это одно из ограничений принципа прозрачности, о котором мы расскажем ниже.
Всё это создаёт целый ряд проблем — научных и методологических (как такие системы исследовать?), а также этических и политических (как они влияют на жизнь и поведение людей, и что мы можем с этим делать?). Иногда это, по сути, одни и те же проблемы. Один из способов разобраться с ними — понять, откуда происходят алгоритмы.
/ разделение труда
Что такое ИИ? Согласно господствующей точке зрения речь идет о попытке «разгадать загадку разумности» [intelligence]. Ключ якобы лежит в тайной логике ума [mind] или в глубинной физиологии мозга, например в сложных нейронных сетях. В этой книге я утверждаю обратное: внутренний код ИИ заключается в имитации не биологического разума, а разумности труда и общественных отношений.
Это цитата из книги Маттео Пасквинелли «Измерять и навязывать: социальная история искусственного интеллекта». В ней итальянский философ пытается вернуть ИИ в поле объяснения социальных и гуманитарных наук и прослеживает, как происхождение современных алгоритмов укореняется в практиках разделения труда. То, что мы называем «интеллектом» машины, оказывается связано с тем, как люди уже научились организовывать, измерять и распределять собственный труд.
Лоррейн Дастон в исследовании истории вычислений обращается к проекту Гаспара де Прони конца XVIII века. Де Прони организовал производство логарифмических таблиц по принципу, который сам сравнивал с производством булавок в мануфактуре: математическая работа была разделена на несколько уровней. Одни специалисты разрабатывали общие формулы, другие переводили их в форму, пригодную для вычисления, а третьи выполняли сами расчёты. Дастон показывает, что такая организация позволила превратить вычисление из сложного интеллектуального навыка в последовательность стандартизированных операций.
Позже Бэббидж увидел в этом пример того, что принципы разделения труда можно применять не только к механическим, но и к умственным операциям (помните аналитическую машину Бэббиджа?). Работу людей, выполнявших отдельные вычисления, он уже мог описывать как почти механическую.
Тут нужно остановиться и сказать, что разделение труда на «механический» или «ручной» и «умственный» или «интеллектуальный» — спорно, ведь любой ручной труд зайдействует когнитивные и социальные «ресурсы».
У такого подхода есть и критика.
Если рассматривать ИИ прежде всего как продолжение разделения труда, возникает риск представить самих работников — то есть нас — как своего рода бесшовный материал для автоматизации: как будто человек уже заранее устроен как автомат, который только ждёт, чтобы его действия превратили в технику.
А ещё таком взгляде стирается разница между строгими (как в простой программе «если, то») и нестрогими (как в нейросетях) алгоритмами, а также между цифровой и индустриальной эпохами. «Современный И И — это не ньютоновский чистый разум и не просто гигантский ткацкий станок, как думает Пасквинелли», — пишет Антон Николаев в рецензии на книгу Пасквинелли (рецензия).
У нейросетей есть важное отличие от алгоритмов с заранее заданными правилами: разработчики не прописывает напрямую, по каким признакам классифицировать объекты. Вместо этого система обучается на размеченных данных и сама выстраивает зависимости между входными данными и результатом (про правила в машинном обучении можно прочитать в статье Камполо и Шверцманн). Это иногда создаёт надежду на большую нейтральность: если правила не придуманы человеком заранее, система может обнаружить закономерности, которые мы не смогли бы сформулировать сами, и «данные могут создать лучшие правила».
/ предиктивность и нейтральность
Большая часть алгоритмов создана для того, чтобы делать предсказания на основе данных — это называют предиктивностью. Алгоритм использует информацию о прошлом и настоящем, чтобы предположить, как поведёт себя пользователь, что он выберет или какое действие совершит дальше.
Уже классический случай с сетью американских магазинов Target описан в этой статье New York Times.
Суть истории в том, что сеть магазинов решила разработать механизм, позволяющий определить, какие покупки делают беременные женщины на самых ранних сроках. А потом — привлечь их внимание к товарам для новорождённых и детей, тем самым делая их лояльными покупателями с высоким спросом (детям нужно немало вещей) на несколько лет вперёд. И вот, изучив разные способы взаимодействия людей с покупками, аналитики смогли сделать такую модель. Её эффективность была доказана не только ростом продаж, но и реакцией потребителей.
Примерно через год после того, как Пол создал свою модель прогнозирования беременности, мужчина зашел в магазин Target под Миннеаполисом и потребовал встречи с менеджером. Он держал в руках купоны, присланные его дочери, и был зол, по словам сотрудника, участвовавшего в разговоре.
«Моя дочь получила это по почте! — сказал он. — Она еще учится в старшей школе, а вы присылаете ей купоны на детскую одежду и кроватки? Вы пытаетесь подтолкнуть ее к беременности?»
Менеджер понятия не имел, о чем говорит мужчина. Он посмотрел на рекламную рассылку. И действительно, она была адресована дочери мужчины и содержала рекламу одежды для беременных, детской мебели и фотографии улыбающихся младенцев. Менеджер извинился, а затем позвонил через несколько дней, чтобы извиниться еще раз.
Однако по телефону отец был несколько смущен. «Я поговорил со своей дочерью», — сказал он. «Оказывается, в моем доме происходили вещи, о которых я не был до конца осведомлен. Она должна родить в августе. Я должен извиниться перед вами».
Что вызывает тут удивление и возмущение людей? Что-то знает о происходящем в их жизни, раньше чем их близкие и порой — даже они сами.
Похожие вопросы возникали и к проектам скандально известной Cambridge Analytica. Подробный разбор этой истории есть в этой статье Forbes. Скандал с выборами Трампа и брекзитом заставил и пользователей, и регулирующие органы обратить внимание на то, что Фейсбук и другие компании продают данные своих пользователей, чтобы они использовались для самой разной рекламы.
Конечно, если мы приводим пример Cambridge Analytica, всегда есть сомнения: что если дело не в самих алгоритмах, а в том, что они используются для какой-то конкретной цели?
Это аргумент о том, что сам инструмент вроде бы нейтрален. Какая разница, кем и как он был создан, если вред или пользу он приносит он только когда его применяют. Нейтральность инструмента — большой вопрос для этики техники и технологий, к которому часто возвращаются в разных контекстах.
Но это не так. Чтобы разобраться с этим контраргументом, мы советуем вам статью Кейт Кроуфорд «Can algorithms be agonistic?». Это статья с серией зарисовок на тему того, как разные случаи использования механизмов голосования, алгоритмов и онлайн-краудсорсинга сталкиваются с проблемами, разобраться с которыми помогает политическая философия.
Алгоритмы у Кроуфорд — системы, которые участвуют в организации публичного пространства: они сортируют, ранжируют и определяют, какие позиции становятся видимыми, а какие — менее заметными.
В целом, статья Кроуфорд, отчасти метафорично показывает, что работа многих алгоритмов построена на принципе плоскости, общности явлений, которые на деле вовсе не однообразны и не могут сталкиваться в одном поле. То, что в обычной социальной жизни может быть несопоставимым — разные аргументы, интересы, контексты и формы участия, — оказывается помещено в одно вычислительное пространство.
Например, при оценке образовательных результатов и процессов сложно превратить в основание для алгоритма разнообразные явления. Как одновременно учитывать результаты применения усвоенных методов, эмоциональное восприятие работы студентов — и, наоборот, преподавателя — и социальные отношения, например поддержку или конкуренцию внутри студенческой группы?
Если бы нам пришлось оценивать всю деятельность студента, мы должны были бы признать все эти явления равными друг другу источниками однотипной информации. Конечно, в алгоритмических формулах они могут иметь разный вес, но сам процесс их включения в одну систему оценки делает их сопоставимыми и взаимодополняющими, а в некоторых случаях — даже взаимозаменяемыми.
Так проявляется политическое свойство алгоритма — уравнивать то, что может быть разным для самих участников взаимодействия.
От алгоритмов бессмысленно требовать нейтральности, поскольку алгоритмизация сама по себе предполагает выбор критериев, способов классификации и отношений между явлениями. Но именно поэтому к алгоритмической предиктивности следует предъявлять более высокие требования: успешное предсказание не равно знанию, а использование предсказаний неизбежно связано с этическими, политическими и социальными последствиями. Вопрос поэтому не в том, может ли алгоритм быть нейтральным, а в том, насколько мы понимаем и готовы обсуждать те основания, на которых он делает одни аспекты реальности видимыми, сопоставимыми и предсказуемыми.
/ прозрачность и доступ к алгоритмам
Вторая большая тема в связи с алгоритмами — это вопрос о прозрачности. Обычно под прозрачностью имеется в виду доступ и возможность наблюдать за тем,
а) что становится источниками данных,
б) каким образом и какие действия фильтруются, где данные не вполне точны или какие источники исключаются,
в) какие модели и правила ложатся в основу проектов и алгоритмов по использованию этих данных,
г) кто и почему принимает решения об изменении этих моделей, и так далее.
Из этого следует, что прозрачность — не только идеал, но и набор конкретных требований к тому, как устроены и используются алгоритмы. Хотя, конечно, стоит иметь в виду, что есть некоторая идеальная прозрачность, которую, вроде как, и требуют зачастую активисты, говоря о необходимых условиях для работы алгоритмов.
Требование прозрачности обычно возникает в ответ на непрозрачность алгоритмов. Откуда она берётся? Дж. Баррел выделяет три её формы:
(1) Преднамеренная непрозрачность
Корпоративная или институциональная самозащита, связанная с сокрытием информации и возможностью намеренного обмана. Корпорациям и разработчикам не всегда выгодно раскрывать устройство своих сервисов: это может означать потерю конкурентного преимущества.
(2) Непрозрачность из-за специализации
Написание и чтение кода требуют специальных навыков, которые по-прежнему недоступны большинству людей. Даже если код открыт, это ещё не означает, что его работу сможет понять любой пользователь.
(3) Непрозрачность из-за различия между машинным и человеческим способом обработки информации
{$te}
Устранение непрозрачности становится важной задачей для правоприменения, активизма и разработки технологий. В законодательствах разных стран существуют нормы, которые требуют от разработчиков и организаций делать алгоритмические системы более прозрачными. Один из распространённых инструментов — пользовательские соглашения.
Здесь мы не будем подробно разбирать правовые и другие механизмы обеспечения прозрачности, а посмотрим на проблемы, которые сохраняются даже тогда, когда формальные требования прозрачности выполнены.
Ананни и Кроуфорд выделяют следующие ограничения прозрачности:
1. Прозрачность может быть не связана с властью: иногда сама по себе прозрачность ничего не даёт, если она не связана с возможностью изменить что-то благодаря новой известной информации.
2. Прозрачность может быть вредна: уязвимым группам от прозрачности может быть больше вреда чем пользы, например, в российском контексте можно подумать о тех, кто живёт без прописки или о мигрантах.
3. Прозрачность может быть намеренно скрыта: прозрачность может быть скорее преградой, чем давать возможности, например, когда компания публикует 500-страничный отчёт, и чтобы понять что-то одно важное, вам приходится пробираться через сотни ненужных сведений.
4. Прозрачность может создавать ложные бинарные представления: оппозиция прозрачность/закрытость — неверная, ведь зачастую намного важнее не закрывать и не открывать информацию полностью, а создавать уместные условия её представлений, как было, например, в случае Сноудена.
5. Прозрачность может апеллировать к неолиберальным моделям агентности: выпуская информацию на свободный рынок мы провоцируем именно развитие рыночного отношения: как будто есть только отдельные индивиды и организации в равной и постоянной конкуренции.
6. Прозрачность не обязательно способствует укреплению доверия: тут исследователи приводят абсолютно неожиданный пример с Леонардо да Винчи, который писал, что «Я не публикую и не разглашаю эти сведения, поскольку люди склонны использовать их для убийств на морском дне из-за своей злой природы».
1. Прозрачность может быть не связана с властью: иногда сама по себе прозрачность ничего не даёт, если она не связана с возможностью изменить что-то благодаря новой известной информации.
2. Прозрачность может быть вредна: уязвимым группам от прозрачности может быть больше вреда чем пользы, например, в российском контексте можно подумать о тех, кто живёт без прописки или о мигрантах.
3. Прозрачность может быть намеренно скрыта: прозрачность может быть скорее преградой, чем давать возможности, например, когда компания публикует 500-страничный отчёт, и чтобы понять что-то одно важное, вам приходится пробираться через сотни ненужных сведений.
4. Прозрачность может создавать ложные бинарные представления: оппозиция прозрачность/закрытость — неверная, ведь зачастую намного важнее не закрывать и не открывать информацию полностью, а создавать уместные условия её представлений, как было, например, в случае Сноудена.
5. Прозрачность может апеллировать к неолиберальным моделям агентности: выпуская информацию на свободный рынок мы провоцируем именно развитие рыночного отношения: как будто есть только отдельные индивиды и организации в равной и постоянной конкуренции.
6. Прозрачность не обязательно способствует укреплению доверия: тут исследователи приводят абсолютно неожиданный пример с Леонардо да Винчи, который писал, что «Я не публикую и не разглашаю эти сведения, поскольку люди склонны использовать их для убийств на морском дне из-за своей злой природы».
Интересный пример компании Pizza Hut. При внедрении нового ИИ-инструмента для оптимизации доставки курьеры получили доступ к данным о времени приготовления пиццы и актуальным заказам. Чтобы получать больше заказов, они стали задерживаться и ждать готовности следующих заказов, чтобы вести их вместе. Помимо этого, курьеры так же видели, сколько чаевых им планирует оставить получатель, и перестали брать заказы с низкими чаевыми. Это привело компанию к большим убыткам в короткие сроки (подробнее: Pizza Hut Faces Lawsuit From Franchisee Over AI System — Business Insider)
7. Прозрачность подразумевает соблюдение профессиональных границ: не все способны прочитать даже вполне «прозрачные» материалы, и образованные профессионалы всё равно получат привилегии по сравнению с обычными людьми.
Бельчева, Ермакова и Фабиан в своём количественном исследовании пользовательских соглашений выяснили, что средняя длина документа с 2001 года удвоилась, т.к. создатели сервисов стремились к более подробному объяснению. При этом, вместе с ростом объёма пользовательского соглашения, росли и неоднозначные формулировки и термины в нём.
8. Прозрачность может отдавать приоритет зрению, а не пониманию: очевидность будет казаться достаточной, и оттого будто не требуется понимание, как устроено явление или процесс; будто не нужно вникать в алгоритм, если он прозрачен.
9. Прозрачность имеет технические ограничения: ведь даже инженеры, создающие алгоритмы, иногда не вполне понимают, где и какая информация находится.
10. Прозрачность имеет временные ограничения: системы и способы сбора данных очень сильно меняются, и данные 2011 года, например, могут быть совершенно непонятны в контексте 2021.
Исследователи завершают статью тем, что прозрачность — это не очень подходящий инструмент для регулирования. Они критикуют само понимание алгоритма как простой совокупности кода и данных, ведь эта сборка оказывается сложнее: «институционально обусловленные коды, практики и нормы, обладающие способностью создавать, поддерживать и обозначать отношения между людьми и данными посредством минимально наблюдаемых, полуавтономных действий». В статье есть ещё несколько интересных предложений о том, как нужно обустроить управление алгоритмами: не только рассматривая их «изнутри», но пытаясь понять насквозь, и не путать знание и понимание.
/ что если не прозрачность
Прозрачность — не единственный принцип, с помощью которого пытаются сделать работу алгоритмов более справедливой. Рядом с ней обычно говорят об интерпретируемости или объяснимости и подотчётности. Эти понятия связаны, но не совпадают: прозрачность может означать возможность узнать, как устроена система, интерпретируемость и объяснимость (их иногда разделяют) — возможность понять, как она работает и получить понятное объяснение конкретного результата.
Например, можно объяснить, почему система отказала человеку в кредите, но это ещё не отвечает на вопрос, обосновано ли такое решение. Селбст и Бароккас показывают, что объяснение может рассказать, как работает модель, но не объяснить, почему именно такие правила были заложены в неё и можно ли считать их нормативно оправданными. Поэтому прозрачность и объяснимость имеют смысл не сами по себе: важно понимать, для кого система должна быть понятна, что именно должно быть объяснено и кто сможет оспорить результат. Исследователи, пишущие об алгоритмической подотчётности, поэтому предлагают смотреть шире — на возможность требовать от создателей и владельцев системы ответа за её работу и последствия.
/ честность и забота
Продолжая тему принципов, которые разрабатываются для того, чтобы работа с данными учитывала интересы разных людей и особенности тех областей, которые подвергаются датафикации, рассмотрим два подхода к работе с данными в науке и культуре — FAIR и CARE.
FAIR — это набор принципов, разработанный прежде всего для научных данных. Его задача — сделать данные пригодными для обнаружения, получения, объединения и повторного использования в исследовательской работе. FAIR расшифровывается как Findable, Accessible, Interoperable, Reusable — то есть данные должны быть находимыми, доступными, интероперабельными и пригодными для повторного использования.
Что это означает на практике? Данные должны иметь устойчивый идентификатор, чтобы их можно было найти; сопровождаться метаданными, которые позволяют понять, что именно в них содержится; храниться в форматах и системах, которые позволяют различным программам работать с ними; а также иметь понятные условия использования, чтобы другие исследователи могли повторно применять их в своей работе. Например, если исследователь публикует набор данных о городском транспорте, FAIR-подход предполагает, что другой исследователь сможет найти этот набор, понять его структуру и происхождение, открыть его с учётом установленных ограничений, обработать его с помощью своих инструментов и использовать для нового исследования.
При этом важно, что FAIR не означает «открытый для всех». Данные могут быть FAIR, даже если доступ к ним ограничен, например из-за требований приватности или безопасности. Здесь основной акцент делается на том, чтобы данные были организованы таким образом, чтобы их можно было корректно обнаружить, понять и использовать в тех условиях, в которых доступ к ним разрешён.
Всё чаще рядом с FAIR говорят о другом наборе принципов — CARE, который возник в контексте работы с данными коренных народов и сообществ. Если FAIR в первую очередь отвечает на вопрос, как сделать данные пригодными для научного обмена и повторного использования, то CARE задаёт другой вопрос: в чьих интересах эти данные должны использоваться и какие последствия их использование может иметь для людей и сообществ. CARE расшифровывается как Collective Benefit, Authority to Control, Responsibility, Ethics— коллективная польза, право на контроль, ответственность и этика.
Это различие можно выразить очень просто: FAIR помогает сделать данные пригодными для использования, а CARE требует задуматься о том, кем, зачем и на каких условиях они должны использоваться. Поэтому CARE не столько заменяет FAIR, сколько дополняет его. Данные могут быть отлично организованы, легко находиться и технически пригодны для повторного использования, но это ещё не означает, что любое такое использование будет справедливым или желательным для людей, которых эти данные описывают.
В этом смысле FAIR и CARE показывают две стороны одной проблемы. Поэтому вопрос о принципах работы с данными — это не только вопрос эффективности или стандартизации. Это также вопрос о том, какие ценности мы считаем важными, когда превращаем различные области жизни в данные.
/ источники
- Ananny, M., & Crawford, K. (2018). Seeing without knowing: Limitations of the transparency ideal and its application to algorithmic accountability. new media & society, 20(3), 973−989.
- Beer, D. (2009). Power through the algorithm? Participatory web cultures and the technological unconscious. New Media & Society, 11(6), 985−1002.
- Belcheva, V., Ermakova, T., & Fabian, B. (2023). Understanding Website Privacy Policies—A Longitudinal Analysis Using Natural Language Processing. Information, 14(11), 622. DOI: 10.3390/info14110622
- Cheney-Lippold, J. (2016). Jus Algoritmi: How the national security agency remade citizenship. International Journal of Communication, 10, 22.
- Gillespie, Tarleton. (2014). "The relevance of algorithms." Pp. 167−194 in T. Gillespie, P. Gillespie, T., Boczkowski, P. J., & Foot, K. A. (Eds.). (2014). Media technologies: Essays on communication, materiality, and society. MIT Press.
- Devins, C., Felin, T., Kauffman, S., & Koppl, R. (2017). The law and big data. Cornell JL & Public Policy, 27, 357.
- Mittelstadt, B. D., Allo, P., Taddeo, M., Wachter, S., & Floridi, L. (2016). The ethics of algorithms: Mapping the debate. Big Data & Society, 3(2), 2 053 951 716 679 679.
- Ziewitz, Malte. 2015. "Governing Algorithms: Myth, Mess, and Methods." Science, Technology & Human Values.
- Мой парень вернулся в айти: как меняются рынки труда ft Оксана Синявская