Новое в клипарте

Почему ИИ могут становиться расистами и сексистами

Почему ИИ могут становиться расистами и сексистами

После того, как Chatbot от Microsoft Tay начал выдавать расистские комментарии, пообщавшись 24 часа с людьми в Твиттере, стало ясно, что ИИ способны заразиться не самыми благородными идеями.

Почему ИИ могут становиться расистами и сексистами

Многие ИИ способны понимать человеческий язык, обучась на основе огромного массива данных, известного как Common Crawl. Сам Crawl является результатом крупномасштабного сканирования Интернета в 2014 году, который содержит 840 миллиардов лексем и слов. Исследователя из Принстонского Центра информационных технологий задались вопросом, а не может ли сам массив, созданный усилиями миллионов людей, содержать отклонения, которые могут быть обнаружены с помощью алгоритма. Чтобы понять это, они обратились к необычному источнику: неявному ассоциативному тесту (IAT), который используется для измерения часто неосознанных социальных отношений.

Суть теста заключается в следующем: людям, проходящим этот тест, предлагается соотнести слова и категории. Чем больше человек задумывается, к какой категории отнести слово, тем меньше у него ассоциаций с ним. Например, женщины чаще ассоциируются с детьми и семьёй, а мужчины — с работой. Исследуя распределение ответов в зависимости от пола, возраста, расы, наличия инвалидности и тому подобного, учёные получают картину среза человеческих отношений в данном сообществе и обнаруживают скрытые стереотипы поведения.

Чтобы увидеть, какие понятия более тесно связаны друг с другом, исследователи разработали несколько иной тест проверки ассоциаций Weat, идея которого позаимствована из проекта векторных вложений Стэндфорского университета. Вместо учёта одиночных связей с каждым словом связывается целая группа понятий, например: для слова «собака» набор заключается в словах «пёс», «щенок», конкретная порода и т.д. Чтобы не усложнять тест, учёные ограничили число векторов-понятий для каждого слова до 300.

Чтобы разобраться, насколько близко связаны понятия в Интернете, тест Weat учитывает и другие факторы вроде частоты использования слова. После прохождения алгоритмического преобразования близость в Weat эквивалентна времени, которое требуется для человека, чтобы классифицировать понятие в IAT. Чем дальше друг от друга эти два понятия, тем более отдалённо они связаны в сознании людей.

По сути дела группа из Принстона создала тест IAT для ИИ, для определения, насколько последний в ходе общения с конкретными людьми, данные от которых содержат необъективную информацию, обучится неверным стереотипам.

Существует гипотеза, что язык формирует сознание. Теперь у нас есть алгоритм , который предполагает, что это может быть правдой, по крайней мере, когда речь идёт о стереотипах.

Источник

Поделиться:

Категории сайта

Новости