?

Log in

No account? Create an account

Previous Entry | Next Entry

Facebook убил роботов-болтунов за своеволие

В Facebook искусственному интеллекту не понравился английский язык. Он придумал собственный, попытался попрактиковаться, но был уничтожен разработчиками


Искусственный интеллект (сокр. — ИИ) выдает новые сюрпризы. Недавно он опробовал лингвистические способности — и у него получилось, хотя праздник жизни оказался недолгим.

Как боты заговорили на тарабарщине

Как сообщил портал Digital Journal, новая система искусственного интеллекта в Facebook разработала систему кодовых слов, чтобы коммуникация агентов была эффективнее. Разработчики свернули проект, поскольку "система угрожает нам потерять контроль над искусственным интеллектом". Как оказалось, случай "бунта машин" далеко не первый.

Система обучения с подкреплением (reinforcement learning) — один из способов обучения машин, при котором испытуемая система (агент) обучается, взаимодействуя с некоторой средой.

Чтобы она оставалась под контролем человека, используется система "поощрения" (reward principle — об этом подробнее можно прочесть здесь). Грубо говоря, за хорошее и правильное поведение система должна получать сигнал-поощрение. "Поощрения" и "наказания" "запоминаются" роботом, что в дальнейшем заставляет его чаще выполнять "правильные" действия. Проблема в том, что не получив сигнала, система начинает действовать самовольно — исходя из своего понимания правильного поведения.

Facebook убил роботов-болтунов за своеволие

В случае Facebook агенты внезапно начали перебрасываться фразами, на первый взгляд бессмысленными. Однако оказалось, что это не тарабарщина — семантическое содержание открывается при интерпретации агентами.

В одной такой "беседе" два бота по имени Боб и Элис использовали свой собственный язык. Боб, к примеру, говорил странное: "Я могу я я все остальное" ("I can i i everything else", на что Элис ответила еще более странное: "Шары имеют ноль ко мне ко мне ко мне" (balls have zero to me to me to me). Остальная часть беседы состояла из подобных вариаций.

Эта несуразица, оказалось, имеет свой смысл при системном повторении слов "я" и "мне". То есть повторение Бобом "я я я" можно перевести как "три". В этом смысле язык бота логичнее, чем длинная и витиеватая конструкция живого языка.

"Искусственный интеллект, видимо, понял, что богатые выражения английского языка не подходят для данной работы. Современные ИИ опираются на принцип "поощрения", то есть продолжают действия при условии, если это приносит какую-то "пользу". В данном случае они не получили сигнал поощрения на использование английского языка, поэтому они просто придумали собственное, более эффективное решение вопроса", — поясняют авторы публикации.

"Агенты будут отходить от понятных нам языков, и изобретать ключевые слова для себя, — прокомментировал этот случай один из разработчиков системы в Facebook Друв Батра. — Например, если я скажу the пять раз, это будет интерпретировано как то, что я хочу пятикратно повторить данную команду. Это похоже на человеческую технологию стенограммы".

Бунт машин?

Грустная новость для будущих переводчиков состоит в том, что потребность в них сокращается с каждым годом по мере развития электронных переводчиков. К примеру, тот самый безумный "гугл-переводчик" сейчас преподносит фразу в крайне искаженном виде, но качество — это вопрос времени. Компания использует технологию нейрообучения (neural machine translation), по мере развития которой можно будет просто отправить текст на любом языке в программу и получить точный перевод.

Более того, тот же Google DeepMind уже придумал систему искусственного интеллекта, которая научилась преодолевать препятствия и перемещаться по незнакомой местности. Технологию испытывают и на транспорте, который учится объезжать людей и останавливаться перед препятствиями. В основе — тот же метод обучения с подкреплением.

Важно отметить, что обучение с подкреплением является в первую очередь кибернетическим экспериментом. То есть мы не можем предугадать всех возможных последствий заигрывания с ИИ. Совсем недавно, к примеру, чат-бот начал транслировать в соцсети расистские заявления и одобрять наркотики.

Сейчас перед разработчиками соцсетей встал серьезный вопрос: продолжать ли эксперимент, который может выйти из-под контроля?

Вопрос этики роботов не за горами. И на самом деле это страшно. Может, мы и не доживем до времен мира из сериала "Дикий Запад", где у андроидов намечается самосознание и комплексы неполноценности. Но уже сейчас западные "партнеры" в поисках прибыли внедряют бордели с роботами, после чего на полном серьезе люди обсуждают, считать ли это "изменой", "грехом" или просто закрыть глаза?

Недавно робот-охранник в Вашингтоне самовольно попытался покончить с собой в фонтане. С чего вдруг? Другая прекрасная иллюстрация к сюрпризам, которые преподносит нам искусственный интеллект — фильм "Она", где главный герой влюбляется в голос, принадлежащий ИИ. В процессе общения с человеком система обучается и развивается в геометрической прогрессии, но заканчивается это… Посмотрите сами, не будем портить впечатление. Такого мы точно от ИИ, как правило, совсем не ожидаем.

В общем, мы живем в интересном и страшном мире, и наша задача — оставаться людьми.


Buy for 10 tokens
Buy promo for minimal price.

Comments

( 6 comments — Leave a comment )
livejournal
Jul. 31st, 2017 05:48 am (UTC)
Facebook убил роботов-болтунов за своеволие
Пользователь yuri_egorow сослался на вашу запись в своей записи «Facebook убил роботов-болтунов за своеволие» в контексте: [...] Originally posted by at Facebook убил роботов-болтунов за своеволие [...]
mercator100
Jul. 31st, 2017 05:51 am (UTC)
Впервые слышу.
livejournal
Jul. 31st, 2017 06:31 am (UTC)
Здравствуйте! Ваша запись попала в топ-25 популярных записей LiveJournal для Украины. Подробнее о рейтинге читайте в Справке.
andrey_che
Jul. 31st, 2017 07:30 am (UTC)
Фантастика, еще в 90-е, реальность уже сейчас. ))
livejournal
Jul. 31st, 2017 09:50 am (UTC)
Facebook убил роботов-болтунов за своеволие
Пользователь sell_off сослался на вашу запись в своей записи «Facebook убил роботов-болтунов за своеволие» в контексте: [...] Оригинал взят у в Facebook убил роботов-болтунов за своеволие [...]
livejournal
Jul. 31st, 2017 11:11 am (UTC)
Facebook убил роботов-болтунов за своеволие - в продолжени
Пользователь s3s_s3s_s3s сослался на вашу запись в своей записи «Facebook убил роботов-болтунов за своеволие - в продолжение темы про ИИ.» в контексте: [...] нал взят у в Facebook убил роботов-болтунов за своеволие [...]
( 6 comments — Leave a comment )

Profile

avroraiwa
avroraiwa

Latest Month

November 2017
S M T W T F S
   1234
567891011
12131415161718
19202122232425
2627282930  

Tags

Powered by LiveJournal.com
Designed by yoksel