"Искусственный интеллект (ИИ) научился…" – такие заголовки каждый раз провоцируют очередную серию дебатов на тему скорой победы машины над человеком. Хотя в новостях нередко преувеличивают достижения и притягивают факты за уши, с каждым годом становится все больше задач, где ИИ – пусть и с оговорками – обходит человека.
Игры – та область, в которой совсем недавно человек считал себя непобедимым, благодаря нестандартному мышлению и огромному, трудно просчитываемому числу вариантов. Но сейчас здесь безраздельно властвуют машины, а полученный при создании игровых ИИ-систем опыт открывает огромные возможности для переноса подходов к их обучению на более серьезные задачи.
Сегодня ИИ – это в первую очередь сложные самообучающиеся алгоритмы-нейросети, полученные путем "глубокого обучения" (deep learning) на огромных массивах данных. Победы в играх, как правило, основаны на технике reinforced learning ("обучение с подкреплением"): компьютер ничего не знает о правилах игры, но учится, играя невероятное количество матчей сам с собой. Люди при этом лишь настраивают сложную схему поощрений за "правильные" действия.
В каких играх человек уже уступил ИИ? Есть ли ограничения? И какие перспективы? Настоящее Время предлагает подборку избранных игровых ИИ-достижений последних лет.
Май 1997. Шахматы
Суперкомпьютер IBM Deep Blue вошел в историю как первая машина, сумевшая победить в шахматах гроссмейстера-человека. Чемпион мира Гарри Каспаров сумел выиграть в одной из партий, другая закончилась вничью, но Deep Blue выиграл дважды и стал победителем поединка.
Строго говоря, Deep Blue не был ИИ в современном понимании: он просто умел быстро искать среди миллионов вариантов лучшие ходы по определенным правилам, установленным людьми.
Через 20 лет Google представил мощную ИИ-систему DeepMind AlphaZero: она научилась шахматам, японским шахматам и го с нуля, причем в каждой дисциплине AlphaZero сумела победить лучшего компьютерного игрока. А компьютеры, по крайней мере – в шахматах, не оставляли людям шансов примерно со времен матча между чемпионом мира Владимиром Крамником и Deep Fritz в 2006 году (2-4).
Март 2016. Го
В этой популярной китайской логической игре, чтобы просчитать ситуацию на четыре хода вперед, надо проанализировать 320 миллиардов ходов. Это тяжелая вычислительная задача (лучший суперкомпьютер 2008-го IBM Roadrunner просчитывал бы восемь ходов вперед целых 138 часов) – поэтому серьезных компьютерных оппонентов людям-игрокам не попадалось.
До мая 2017-го, когда прошел исторический матч между ИИ AlphaGo (Google DeepMind) и чемпионом мира по го Ли Седолем. AlphaGo выиграл со счетом 4-1. Позже этот успех развил "универсальный" игровой ИИ AlphaZero.
Июль 2018. Quake III
Казалось бы, в чем смысл тренировать ИИ-систему, которая хорошо бы играла в легендарный шутер? Исследователи из DeepMind называют это сложной исследовательской задачей: как научить компьютер с нуля ориентироваться в трехмерном игровом пространстве с неидеальной информацией (неизвестно, где спрятался враг).
Ученые также решили не упрощать задачу и не описывать пространство известными параметрами ("расстояние до красного_игрока_1 = 55"), а просто показывать ИИ игровой экран.
Эта задача уже непростая. А для ее усложнения в DeepMind решили проверить еще и способы обучения разных ИИ-игроков командному взаимодействию, поэтому режимом игры был выбран "захват флага" – группе игроков нужно действовать скоординированно, чтобы утащить флаг с вражеской базы, не потеряв при этом свой.
Результат? Вероятность победы команд под управлением ИИ достигала 74%. У сильных людей-игроков – всего 52%.
Январь 2019. Starcraft II
В этом году искусственному интеллекту покорилась одна из самых популярных стратегий реального времени ХХI века – игра Starcraft II. В начале года нейросеть Deepmind AlphaStar (Google) легко победила (счет 5-1 или 5-0, смотря как считать) одного из лучших в мире игроков в Starcraft II, поляка Грегоржа MaNa Коминча.
Игра требует не только молниеносной реакции и четкого управления сотнями боевых единиц, но и долгосрочного стратегического планирования на больших картах. К тому же Starcraft II не раскрывает игрокам всей важной информации о состоянии игрового поля: в отличие от, скажем, шахмат, игровая карта не открыта все время, неизвестны запасы ресурсов врага, размер и положение его армии и т.п. То есть, научить ИИ всем премудростям и хитростям игры непросто. Каждая из версий AlphaStar тренировалась на ИИ-коллегах, отыграв примерно по 200 человеческих лет.
Несмотря на эффектную победу, игра была ограничена одной расой (из трех) и первое время полным обзором карты для AlphaStar – человеку постоянно надо переключать позицию, показываемую на экране, а ИИ сначала словно смотрел на огромный монитор, умещавший всю карту сразу. Все ограничения, похоже, можно было бы снять, просто увеличив время тренировки модели.
Апрель 2019. Dota 2
ИИ Open AI Five победил команду OG, прошлогодних чемпионов крупнейшего турнира по игре Dota 2. Правда, команды были ограничены всего 17 героями в режиме Captain’s Draft, не работали внутриигровые функции создания иллюзорных копий и вызова существ-помощников.
Создатели, как и в случае со Starcraft, не объясняли Five сложные правила Dota 2, а "научили учиться": с нуля система сама разобралась в правилах, играя сама с собой –45000 часов за десять месяцев.
Июль 2019. Покер
Успех в популярной карточной игре немалым образом зависит от умения покериста блефовать и вычислять блефующих соперников.
В 2017-м вышли ИИ-система DeepStack (университет Альберты), легко обыгрывающая профессионалов, а также проект Libratus от специалистов из университета Карнеги Меллон, который в 20-дневном марафоне выиграл виртуальные $1,7 млн у четырех профессиональных покеристов в матчах один на один.
Тот же Карнеги Меллон и Facebook в июле 2019 показали самую совершенную ИИ-систему для покера – Pluribus (pdf). Она умеет успешно играть (в том числе с использованием блефа) сразу с пятью оппонентами. Система работает на достаточно недорогом компьютере, а вычислительные ресурсы для обучения Pluribus обошлись всего в $150: чтобы стать непобедимым, боту понадобилось разыграть триллионы покерных раздач с пятью своими клонами.
Поиграли, и что дальше?
Искусственный интеллект – одно из ключевых направлений развития науки во всем мире. Область его применения, разумеется, не ограничивается играми – скорее, это отправная точка для новых способов применения ИИ в реальной жизни.
Компании-лидеры, в основном из США и Китая (Google, Facebook, Amazon, Microsoft, Tencent, Alibaba), инвестируют миллиарды в развитие ИИ. И каждый год приносит что-то впечатляющее: генерацию правдоподобных видео, создание текстов, картин, музыки. С каждым годом становятся все автономнее автомобили.
В последнее время все чаще говорят об этике использования ИИ и потенциальных больших проблемах: среди очевидных вещей вроде потери многих рабочих мест (и появления новых), специалисты обеспокоены предвзятостью ИИ-решений во многих задачах, а также рисками использования ИИ в военных системах.
При этом до главного Золотого Грааля ИИ, "общего искусственного интеллекта" (AGI, Artificial Generalized Intelligence), человечеству еще далеко. AGI – это реализация искусственного интеллекта из фантастических книг и фильмов, система, которая сможет решать любую задачу на уровне человека или лучше. Все современные ИИ строго специализированы и не могут легко переключаться между различными направлениями: скажем, нейросеть, умеющая распознавать символы на фото, не сможет генерировать тексты, и наоборот.
Кто-то считает, что AGI в принципе недостижим, но опрошенные в 2015 году ИИ-эксперты сошлись на том (pdf), что c 50%-ной вероятностью общий ИИ появится в ближайшие 45 лет. При этом ученые из Азии в среднем были оптимистичнее, чем американцы.
По результатам другого неформального опроса, AGI изобретут к 2099.
А вот известный ученый-футуролог Рэй Курцвайль из Google считает, что это произойдет еще до 2029 года.
Даже до появления общего ИИ развитие компьютеров и робототехники приведет к глобальным изменениям на мировом рынке труда. Исследователи считают (pdf), что искусственный интеллект превзойдет людей в качестве перевода (к 2024) и по уровню школьных сочинений (2026); ИИ сможет лучше человека водить грузовики (2027) и работать в торговле (2031), писать книги (2049) и даже превзойдет людей-хирургов (2053).