Дружественный искусственный интеллект

«Дружественный искусственный интеллект» или «ДИИ» (англ: FAI) — это искусственный интеллект (ИИ), который обладает скорее позитивным, чем негативным влиянием на человечество. ДИИ также относится к области исследований, целью которых является создание такого ИИ. Этот термин в первую очередь относится к тем ИИ-программам, которые обладают способностью значительно воздействовать на человечество, таким, например, чей интеллект сравним или превосходит человеческий. (См. сверхинтеллект, cильный ИИ и технологическая сингулярность.) Этот конкретный термин был предложен Э.Юдковски из Singularity Institute for Artificial Intelligence в качестве технического термина, который отличается от обычного повседневного значения термина «дружественный». Однако проблема, обозначаемая этим термином, гораздо древнее.

Цели и определения Дружественного ИИ

Многие эксперты^[кто?] полагают, что системы ИИ, цели которых не полностью идентичны или не выровнены в соответствии с нашими целями, являются по своей природе опасными, если только не будут предприняты крайние меры, чтобы обеспечить безопасность человечества. Десятилетия назад Ричард Мичански, один из пионеров «машинного обучения», говорил своим студентам, что любой чужой ум, включая машинный интеллект, непостижим и в силу этого опасен. Относительно недавно Э. Юдковски призвал к созданию Дружественного ИИ, чтобы уменьшить глобальный риск враждебного интеллекта. Стефан Омохундро утверждает, что любые продвинутые системы ИИ (если не принимать против этого мер) будут проявлять несколько базовых инстинктов/потребностей, свойственных любым системам, управляемым через заданные цели, и что эти инстинкты приведут к поведению ИИ, которое будет ранжироваться между непослушанием и просто опасным поведением.

Согласно сторонникам создания Дружественного ИИ, цели будущего ИИ будут более произвольными и чужеродными, чем это обычно представляется в научной фантастике и в ранней футурологической литературе, в которой ИИ обычно антропоморфен и разделяет обычный человеческий ход мысли. Поскольку нет никаких гарантий, что ИИ увидит «очевидные» аспекты морали и ответственности, которые большинство людей воспринимают без усилий, то в силу этого ИИ с интеллектом или хотя бы физическими возможностями, превосходящими наши, может начать предприятия, которые с человеческой точки зрения будут бессмысленными или просто дикими. Один из примеров, который приводит Юдковски, состоит в том, что ИИ, изначально созданный, чтобы доказать гипотезу Римана, самоулучшится вплоть до уровня сверхчеловеческого интеллекта и создаёт молекулярную нанотехнологию, поскольку он хочет переработать всю материю в Солнечной системе в вычислительную среду для решения данной математической проблемы, убивая при этом людей, которые осмелятся возразить. С точки зрения людей такое поведение может быть абсурдным, но, как подчёркивает теория Дружественности ИИ, это происходит только потому, что мы развились с определённой врождённой чувствительностью, которую ИИ, не разделяющий нашей эволюционной истории, может просто не понимать, если мы ему этого не объясним. Чем хуже ИИ понимает людей, тем проще ему будет их просто убить.

Сторонники Дружественного ИИ подчёркивают, что меньшую опасность представляет собой сверхчеловеческий ИИ, который нарочно стремится «навредить» людям, чем ИИ, который катастрофически «равнодушен» к ним. Сверхинтеллектуальный ИИ может быть опасен для людей, если не предприняты специальные шаги, чтобы он был к ним позитивно настроен. И главная задача реализации Дружественного ИИ — сделать это эффективно. Создание сильного ИИ намеренно или квази-намеренно без встроенного режима Дружественности должно рассматриваться как крайне аморальное действие, подобно тому, как если бы родитель растил ребёнка, совершенно не заботясь о том, что этот ребёнок может вырасти психопатом.

Хьюго де Гарис известен своим мнением, что глобальная война между сторонниками и противниками ИИ, которая приведёт к миллиардам смертей, произойдёт до конца 21 века. [2]:234 Это предсказание вызвало споры и дебаты в сообществе исследователей ИИ, и некоторые из его наиболее известных членов, такие как Кевин Уорик, Билл Джой, Рей Курцвейл, Ганс Моравек и Роджер Пенроуз, высказали свои мнения о том, возможно ли такое будущее.

Мнение о том, что человеческие цели являются настолько произвольными, следует напрямую из современных успехов эволюционной психологии. Теория Дружественности ИИ утверждает, что большинство дискуссий об ИИ страдают от аналогий между ИИ и людьми, а также утверждений о том, что любые возможные умы должны проявлять характеристики, которые в действительности являются психологическими адаптациями, существующими у людей (и у других животных) только потому, что они были благоприятными и закрепились благодаря естественному отбору. Многие сторонники Дружественного ИИ полагают, что ИИ, способный репрограммировать и усиливать сам себя (Семенной ИИ), вероятно, быстро обгонит статический человеческий интеллект и что его способность усиливать себя очень быстро обгонит способность людей осуществлять какой-либо осмысленный контроль над ним. Оксфордский философ Ник Бостром пишет:

«В принципе, мы должны полагать, что сверхинтеллект может достичь любых целей, которые у него есть. В силу этого особенно важно, чтобы те цели, которые мы ему дадим, и вообще вся его система мотивации была дружественна к человеку». Важно подчеркнуть, что «Теория Дружественного ИИ» Юдковского не имеет ничего общего с идеями о том, что ИИ можно сделать безопасным путём включения конкретных спецификаций или структур в его программную или хардверную архитектуру, обычным примером чего являются Три закона роботехники Азимова, которые, в принципе, должны побудить машину не делать ничего вредного для человека, или уничтожать то, что человеку угрожает. Теория Дружественности вместо этого утверждает, что включение таких законов будет бесполезным, поскольку, независимо от того, как такие законы сформулированы или описаны, подлинно интеллектуальная машина с настоящей (человеческого уровня или выше) творческой способностью может придумать неограниченно много способов обойти эти законы, независимо от того, как широко или узко они сформулированы. Вместо этого Теория Дружественного ИИ утверждает, исходя из опыта биопсихологии, что если подлинно интеллектуальный ум имеет мотивацию выполнить некую функцию, результат которой будет ограничен некими барьерами, наложенными на неё, то, при наличии достаточного времени и ресурсов, он найдёт путь к преодолению этих барьеров (что люди делали неоднократно в ходе истории технологической цивилизации). Таким образом, правильной реакцией на угрозу со стороны такого интеллекта была бы попытка создать такие системы ИИ, которые испытывали бы мотивацию не причинять вреда другим разумным существам (в любом смысле слова «вред»), и с этой целью придумывали бы новые методы защиты от вреда. В этом сценарии ИИ будет «свободен» убить, поработить или ранить человеческое существо, но он будет активно не желать это делать — и сделает это только в том случае, если, исходя из этого же желания, некая гораздо большая польза будет достигнута для этого человека или человечества в целом. (Но эта идея рассмотрена также Азимовым в цикле произведений о позитронных роботах под названием «Нулевой закон».)

Таким образом ИИ, сконструированный на основании системы Дружественности, будет делать всё, что в его силах, чтобы люди не причинили себе «вреда», — и чтобы обеспечить то, что ни он, ни какие-либо другие ИИ, которые будут построены, ни при каких модификациях никогда не захотят причинять вреда людям. То есть он будет стремиться к уменьшению вреда, причиняемого всем разумным существам, до бесконечности.

Юдковски написал:

«Ганди не хотел совершать убийств, и не хотел модифицировать себя так, чтобы смочь это хотеть».

Одной из наиболее содержательных недавних гипотез в области Дружественности ИИ является модель Когерентного Экстраполированного Волеизъявления, также разработанная Юдковски. Идея КЭВ состоит в том, что первый ИИ составит модель человечества и на основании неё выяснит, какой именно ИИ с какой системой целей будет наиболее благоприятен с его точки зрения. Многие другие исследователи полагают, что коллективная воля человечества не сойдётся в единый когерентный набор целей, даже если мы будем знать больше и думать быстрее, чем сейчас.

Требования для ДИИ и эффективный ДИИ

Требования эффективности ДИИ — как внутренней, чтобы защитить человечество от непредусмотренных последствий своих действий, так и внешней, чтобы защитить от возможных недружественных ИИ:

1. Дружественность — «ИИ чувствует симпатию к человечеству и всему живому, и стремится обеспечить благо всего живого, и стремится действовать в его интересах».
2. Сохранение Дружественности — «ИИ должен стремиться передать Дружественность всем своим потомкам и включать свою систему ценностей в другие объекты такого рода».
3. Интеллект — «ИИ должен быть достаточно умен, чтобы реализовывать альтруистическое поведение очень справедливо, так чтобы оно не было хорошо для одних, но плохо для других, и эффективно балансировать интересы».
4. Самоулучшение — «ИИ должен стремиться к улучшению себя и всей жизни, исходя из представлений о благе, но при этом уважать осознанный выбор тех, кто отказался самоулучшаться».
5. Преимущество начавшего первым — «первый движимый целями и самоулучшающийся ИИ победит, поскольку он будет достаточно силён, чтобы предотвратить появление других ИИ, которые могут иметь иные цели».

Продвижение и поддержка

Продвижение Дружественного ИИ является одной из основных задач Singularity Institute for Artificial Intelligence, равно как и получение финансирования этого проекта и в конечном счёте создание Семенного ИИ, который будет воплощать идеи Дружественного ИИ. Несколько известных футурологов высказались в поддержку теории Дружественного ИИ, включая писателя и изобретателя Рея Курцвейля, специалиста по продлению жизни Обри ди Грея и сооснователя en: World Transhumanist Association Ника Бострома.

На русский язык переведена статья Юдковски «Искусственный интеллект как позитивный и негативный фактор глобального риска», где раскрыта основная проблематика ДИИ.^[1], а также «SIAI рекомендации по созданию дружественного ИИ». ^[2] и юмористический текст «Таблица критических ошибок Дружественного ИИ». ^[3]

Критика

Наиболее заметным критиком теории Дружественного ИИ является Билл Хиббард, автор книги «Сверхинтеллектуальные машины», который полагает эту теорию неполной. Хиббард пишет, что должно быть большее политическое участие в вопросах создания ИИ и ИИ-морали. Он также полагает, что первый ИИ может быть создан только мощными частными корпорациями (что Юдковски считает ложным), и эти транснациональные корпорации не будут иметь никаких побуждений реализовать дружественность. Критикуя рекомендации SIAI по созданию ДИИ, он предложил архитектуру целей для ИИ, в которой человеческое счастье определяется через человеческое поведение, выражающее счастье, в частности, выражение улыбки на лице. Юдковски ответил на эту критику, сказав, что такая функция полезности скорее была бы удовлетворена, если бы вся Солнечная Система была заполнена микроскопическими улыбающимися манекенами, чем благодаря реальному счастью людей. ^[4]. Другие, например, специалист по ИИ Бен Гёрцель, поддерживают основную идею о Дружественном ИИ, но признают, что гарантировать Дружественность невозможно.

См. также

• en:Seed AI — теория, связанная с ДИИ
• Трансгуманизм
• Технологическая сингулярность

Further reading

• Юдковски, Э. Искусственный интеллект как позитивный и негативный фактор глобального риска.. Вышла в книге «Риски глобальной катастрофы», Оксфорд, 2008.

Footnotes

1. ↑ Е.Юдковски Искусственный интеллект как позитивный и негативный фактор глобального риска
2. ↑ Siai рекомендации по созданию дружественного ии (Алексей Турчин) / Проза.ру — национальный сервер современной прозы
3. ↑ Таблица критических ошибок дружественного ии (Алексей Турчин) / Проза.ру — национальный сервер современной прозы
4. ↑ Eliezer Yudkowsky Re: SIAI's flawed friendliness analysis. Список рассылки Shock Level 4 (29 мая 2003). Проверено 5 августа 2009.

Ссылки

• Ethical Issues in Advanced Artificial Intelligence by Nick Bostrom
• What is Friendly AI? — A brief explanation of Friendly AI by the Singularity Institute.
• SIAI Guidelines on Friendly AI — The Singularity Institute’s Official Guidelines
• Creating Friendly AI — A near book-length explanation from the SIAI
• Critique of the SIAI Guidelines on Friendly AI — by Bill Hibbard
• Commentary on SIAI’s Guidelines on Friendly AI — by Peter Voss.
• Respectful AI Project Page by Tim Freeman