Интервью ведущего разработчика OpenAI.

OpenAI привлек внимание любителей Dota 2. В прошлом году бот Shadow Fiend одержал победу над лучшими игроками в TI7. В этом году Команда людей — Merlini, Blitz, Fogged, Cap и Moonmeander – проиграла команде из 5 ботов. Эта же команда сразилась с профессиональными командами в TI8, но успех оказался на стороне людей. Но профессионалов боты, конечно, погоняли. Мне удалось поговорить с ведущим разработчиком искусственного интеллекта OpenAI для Dota 2 Szymon Sidor об этом проекте, а также о том, будут ли доступны боты OpenAI всем желающим в Dota-комьюнити.

Привет, Szymon! Спасибо, что уделил нам время. Какую должность вы занимаете в компании OpenAI?

Я ведущий разработчик для команды Dota.

Как интересно! Начнем с самого начала. С чего все начиналось? В TI 7  бот Shadow Fiend одержал победу над кучей профессиональных игроков. В этом году команда OpenAI участвует в TI. Чем вызвано это решение?

Наше решение вызвано рядом причин. Изначально мы просто хотели понять, смогут ли боты играть в видео-игры. Мы начали искать самую популярную игру на Twitch. В то время это была League of Legends, а Dota 2 — на втором месте. Но Dota 2 проще интегрировать и проще работать с ПО. Поэтому выбор пал на Dota 2! После того, как выбор был сделан, мы неоднократно убеждались в его правильности. Valve — отличная компания для сотрудничества, а в самой Dota 2 стратегия важнее, чем в League of Legends.

То есть выбор Dota 2, а не League of Legends обусловлен именно компанией Valve?

Это обусловило начало проекта, да. Я уверен, что работать с Riot Games тоже было бы интересно, но мы не рассматривали этот вариант.

Вы говорили, что в Dota 2 стратегия важнее, чем в League of Legends. Учитывая, что это ваш первый подобный проект, разве было бы не проще работать с LoL? Или команда OpenAI Dota 2 хотела начать с сложного?

Возможно, интеграция с LoL была бы проще. Но мы хотели начать сразу с сложного. Мы выбрали Dota, так как в начале проекта мы даже представить себе не могли, как подойдем к решению этой задачи.

Участники команды OpenAI играли в Dota 2 раньше?

Да, Якуб, который участвовал в TI 8 со мной, играл и в Dota 2, и в League of Legends. Другие сотрудники нашей компании провели за игрой тысячи часов. Я лично начал играть только после начала проекта, мое время в игре около тысячи часов. И у меня совершенно ничего не получается! Мне кажется, я узнаю больше из игры ботов.

Да и вообще, разве есть такие, у кого все получается?! Я помню, что команда OpenAI говорила, что боты учатся в сражениях и самосовершенствуются. Чему вам пришлось обучить ботов перед первой схваткой?

Не многому. Мы использовали методику обучения с подтверждением. Она основывается на наблюдении, действии и наградах. Боты наблюдают, совершают определенное действие и получают награду за хорошее поведение. Изначально они просто бесцельно слоняются по базе. Затем они приближаются к линии и могут добить крипа, за что получат награду в виде золота. Бот будет доволен и повторит действие. Но бот может зайти слишком далеко и погибнуть от башни. Таким образом он развивается и учится держать дистанцию. Но в начале полный хаос. В первой игре отсутствуют любые настройки.

Боты OpenAI в Dota 2

Но бот должен понимать цель? Например, в игре 1 на 1 целью является поражение башни противник. В игре 5 на 5 целью является убить Древнего…

Конечно. В этом и заключается смысл награды. Мы даем ботам понять, что победа – это хорошо. Мы устанавливаем и другие индикаторы тоже. Но мы не можем сказать им, как добивать крипа. Они выясняют это самостоятельно. Если они справятся, это здорово!

Интересно. Не представляю, сколько вы вложили усилий в проект. За год команда OpenAI перешла от игры 1 на 1 до поражения команды профессиональных игроков Dota 2. Было сложно?

Достаточно сложно. Требовалось постоянно совершенствоваться. И у нас большие планы. Например, командный дух для TI 8. Изначально, все боты эгоисты! Но в результате боты становятся полностью самоотверженными.

Невероятный прогресс. Сколько героев может контролировать сегодня команда OpenAI? Предметы определены заранее?

OpenAI имеет в своем арсенале 18 героев. Да, предметы определены заранее. Но мы работаем над тем, чтобы предметы не зависели от противника и ситуации.

Вы говорили, что ваша первоначальная цель – научные исследования. Кто финансирует OpenAI?

У нас много инвесторов. Один из них – Илон Маск

В этом году команда OpenAI задала жару Pain Gaming. Возможно, в следующем году вы одержите победу над Pain Gaming. Ботов необходимо постоянно дорабатывать. Вы применяете полученные знания в других областях?

Да, мы применяем технологию и в других сферах. В частности, роботизированному манипулированию объектами присущ тот же код.

Еще один важный вопрос для сообщества – Участники сообщества смогут играть против ПО OpenAI?

Мы рассматриваем возможности интеграции OpenAI с клиентом Dota 2. Но это сложная задача, требующая постоянного обслуживания. Мы не уверены, что у нас будут для этого необходимые ресурсы, поэтому ничего не обещаем. Если все получится, мы сможем установить различные уровни OpenAI, при которых вам будет казаться, что вы играете с человеком. Таким образом, против ботов смогут играть даже игроки с опытом 2-3 тысячи.

Я задаю этот вопрос всем, но я уверен, что вы знаете ответ. Вы считаете, что искусственный интеллект может породить ситуацию из фильма «Матрица»? Например, развитие собственного интеллекта. Не сразу, конечно. А затем порабощение человечества. По крайней мере, возможность поработить человечество…

Существует несколько опасных сценариев, связанных с искусственным интеллектом. Вы описали наиболее вероятный. Но не стоит забывать о злоумышленных игроках. Но непосредственная опасность отсутствует. В OpenAI, целая команда экспертов по безопасности работает над этими вопросами.

Спасибо за ваше время, Szymon!

 

Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.

ОСТАВЬТЕ ОТВЕТ

Please enter your comment!
Please enter your name here

Этот сайт использует Akismet для борьбы со спамом. Узнайте как обрабатываются ваши данные комментариев.