Перейти к содержанию
Авторизация  
Ippolitovich

Искусственный интеллект OpenAI потягается с лучшими игроками Dota 2 на The International 2018


Рекомендуемые сообщения

OpenAI рассказала о своём последнем достижении: исследовательская лаборатория натренировала команду ИИ, которая имеет шансы победить лучших игроков в Dota 2.

 

openai.png


OpenAI в августе прошлого года впервые представила систему, которая могла бы победить лучших игроков Dota 2 в матчах «1 на 1». Однако этот режим значительно снижает сложность матча. Тогда исследователи обновили своих ботов, чтобы играть против людей в матчах «5 на 5», которые требуют координирования усилий и долгосрочного планирования. И хотя OpenAI всё ещё не бросила вызов самым лучшим игрокам, она сделает это позже в нынешнем году, на международном турнире по Dota 2, The International.

Мотивация для таких исследований проста: если мы можем научить системы искусственного интеллекта навыкам, необходимым для игры в видеоигры, мы можем использовать их для решения сложных реальных задач, которые в некотором роде выполняются тем же образом, например, управление транспортной инфраструктурой города.

Видеоигры предлагают такие испытания, которые настольные игры (шахматы или го) предложить не могут. Они скрывают информацию от пользователей — ИИ не может воспринимать всё игровое поле и рассчитывать наилучший следующий ход. В них также больше информации для обработки и огромное количество возможных шагов. Как заявляет OpenAI, в каждый момент бот, играя в Dota 2, должен выбирать между 1000 различными действиями при обработке 20000 единиц входных данных, которые представляют собой то, что происходит в матче.

Чтобы создать своих ботов, лаборатория обратилась к методу машинного обучения, известному как усиленное обучение (reinforcement learning). Это обманчиво простой метод, который может привести к сложному поведению. Агенты ИИ бросаются в виртуальную среду, где они учатся тому, как достичь своих целей путём проб и ошибок. Программисты устанавливают так называемые функции вознаграждения (начисление ботам очков за такие вещи, как убийство врага), а затем оставляют ботов играть снова и снова.

 

dota-2.jpg

 

В общей сложности боты ежедневно играли 180 лет. Так они тренировались в течение нескольких месяцев. «[Сперва бот] начинает совершенно случайно блуждать по карте. Затем, через пару часов, он начинает обучаться первым базовым навыкам», — сказал сооснователь OpenAI Грег Брокман (Greg Brockman). По его словам, если человеку требуется от 12 тысяч до 20 тысяч часов игры, чтобы стать профессионалом, это означает, что агенты OpenAI «играют 100 человеческих жизней каждый день».

Хотя боты OpenAI теперь играют матчи «5 на 5», они всё ещё не подвержены полной сложности Dota 2. Существует ряд ограничений. Они играют только с помощью пяти из 115 доступных героев, каждый из которых имеет свой собственный стиль. Их выбор: Necrophos, Sniper, Viper, Crystal Maiden и Lich. Некоторые элементы их процессов принятия решений строго закодированы, например, какие предметы они покупают и какие навыки повышают. Были отключены и другие сложные участки игры, в том числе невидимость, призывы и расстановка вардов. Последние действуют как удалённые камеры и имеют важное значение в MOBA.

Агенты OpenAI также имеют все преимущества компьютера. Их скорость реакции быстрее, чем у людей, они никогда не промахиваются и у них есть мгновенный и точный доступ к таким данным, как запасы предметов, здоровье героев и расстояние между объектами на карте, которые имеют решающее значение для правильного использования определённых заклинаний.

По словам Брокмана, способность играть целые матчи в Dota 2, которые длятся в среднем 45 минут — это то, что отличает ботов OpenAI. Такое долгосрочное планирование считалось трудным или даже невозможным для обучения по используемому методу. Главная причина успешности подхода, говорит Брокман, в том, что у лаборатории имеется более мощный компьютер.

Андреас Теодору (Andreas Theodorou), исследователю ИИ в университете Бата, который использует компьютерные игры для изучения сотрудничества, говорит, что последние изучения данных по играм «5 на 5» — это большой шаг вперёд. Хотя он отмечает, что, возможно, самым значительным достижением является использование OpenAI визуализации для отладки своих агентов. «Эти методы показывают, что даже усиленное обучение и машинное обучение в целом может быть прозрачным», — сказал Теодору.

 

image.png

 

Использование исследователями отдельной функции вознаграждения ботов к совместной работе также примечательно, говорит Теодору. Она была названа Team spirit («командный дух»). Вознаграждение увеличивается каждый матч. Благодаря ей боты, начиная игру, преследуют индивидуальные цели, такие как убийства, но со временем всё больше фокусируются на общих задачах. «Боты полностью готовы пожертвовать линией или отказаться от героя для общего блага, — сказал Брокман. — Для интереса мы поместили человека, чтобы заменить одного из ботов. Мы не учили их делать что-то особенное, но он сказал, что ощущал хорошую поддержку. Боты давали всё, что он хотел».


Команда ботов OpenAI в настоящее время сыграла пять матчей против нескольких любительских и полупрофессиональных команд. Счёт 4:1 в пользу ИИ. Но самый большой вызов их ждёт позже, на The International. Смогут ли они победить лучших из лучших? Увидим уже в августе.

 

 

 


____________________________________________________________
♦♦♦♦♦♦♦♦◄♫►WeissRussland◄♫►♦♦♦♦♦♦◄♠GRODNO♠►♦♦♦♦♦♦♦♦
---------------------------------------------------------------------------------------------------------
♠ 75.0°e ♣ 53.0°e ♦ 36.0°e ♥ 19.2°e ♠ 13.0°e ♥ 4.8°e ♠ 4.0°w ♣ 5.0°w ♦
____________________________________________________________

Поделиться сообщением


Ссылка на сообщение

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти
Авторизация  

  • Похожий контент

    • От душман
      Предупреждаем, что возможно временное ухудшение качества связи из-за наступления периода солнечной интерференции.
      На космическом аппарате Ямал-402 (55 в.д., Ku-диапазон) - с 04 по 21 октября 2018 года, в период с 11:47 до 11:30 по московскому времени, максимальная продолжительность - до 18 минут в сутки.
      На космическом аппарате Ямал-401 (90 в.д., Ku-диапазон) - с 05 по 19 октября 2018 года, в период с 08:19 до 09:12 по московскому времени, максимальная продолжительность - до 12 минут в сутки.
    • От Ippolitovich
      Компания International Data Corporation (IDC) продолжает исследовать мировой IT-рынок: на этот раз обнародован прогноз по сегменту носимой электроники.
       


      IDC учитывает поставки смарт-часов, фитнес-браслетов, модульных гаджетов, устройств, крепящихся на одежду, и пр. По оценкам, в прошлом году в глобальном масштабе было реализовано 115,4 млн таких изделий.
      В нынешнем году ожидается 6,2-процентный рост: в результате, полагают аналитики, объём мирового рынка носимых устройств достигнет 122,6 млн единиц. Смарт-часы с базовой и расширенной функциональностью сообща займут основную часть рынка с 72,4 млн отгруженных единиц и долей в 59,1 %.
      Если рассматривать только сектор «умных» часов с расширенной функциональностью, то здесь в 2018 году ожидается рост на 38,9 %. В результате, поставки увеличатся с 33,3 до 46,2 млн единиц, то есть приблизятся к 50 млн.
       


      Отгрузки фитнес-браслетов по итогам года окажутся на уровне 44,2 млн штук, а их доля составит 36,0 %.
      В период до 2022 года рынок носимых устройств, по прогнозам IDC, будет демонстрировать среднегодовой темп роста в сложных процентах (CAGR) на уровне 11,6 %. Таким образом, к 2022-му его объём достигнет 190,4 млн штук. 
    • От Ippolitovich
      HARMAN, дочерняя компания Samsung Electronics, представила на выставке IFA 2018, прошедшей в Берлине, целый ряд новинок.
      В ходе традиционного подведения некоторых итоги года на выставке IFA, компания HARMAN сообщила о получении 53 наград в области технологий и дизайна. Продукты брендов компании были отмечены жюри CES, IF World Design, Red Dot, EISA.
       


      Портативные акустические системы получили одно обновление существующей модели JBL Charge 4 и сразу два пополнения модельного ряда.
       


      Новая модель JBL JRPOP создана для детей и может стать первым музыкальным гаджетом ребёнка.
       


      А новые акустические системы JBL PartyBox 200 и 300 по достоинству оценят взрослые любители вечеринок.
       


      В категории полностью беспроводных наушников компанией была представлены JBL Endurance Peak, которые имеют все преимущества предыдущей модели JBL Free, но созданы для обеспечения любителям спорта максимального комфорта во время тренировок.
       


      Вместе со спортивным брендом Under Armour инженерами JBL были созданы сразу две новинки для любителей фитнеса — внутриканальные наушники UA Sport Wireless React и UA Sport Wireless Pivot. Устройства практически идентичны, главное отличие — наличие заушных ободов для лучшей фиксации у модели UA Sport Wireless Pivot.
       


      Австрийский бренд AKG представил целую серию наушников, включая флагманскую полноразмерную модель AKG N700NC, удостоенную награды EISA. Её отличительная особенность — способность подстраиваться под степень шумности окружающей обстановки благодаря системе активного шумоподавления Adaptive Noise Cancelling.
       


      N-серия пополнилась также внутриканальной моделью AKG N200 со встроенными в чашки магнитами для удобства переноски.
      Y-серия пополнилась сразу новыми беспроводными моделями: накладной AKG Y500 и внутриканальной AKG Y100.
       



      В премиум-сегменте под брендом Harman Kardon появились два обновления — портативные акустическая система Harman Kardon Esquire Mini 2 и Harman Kardon Onyx Studio 5.
       


      Также была представлена серия Harman Kardon Citation, включающая сразу 8 устройств, разных по назначению и функциям: полочные монокомпоненты One и 100 с сенсорным управлением, стереосистемы 300 и 500 с цветными дисплеями, акустическую панель Bar, сабвуфер Sub, напольную акустика Tower и акустические компоненты Surround.
       


      Кроме того, была анонсирована новая серия саундбаров Harman Kardon Enchant с поддержкой технологии MultiBeam, обеспечивающей запатентованный метод направленного воспроизведения звука массивом динамиков для достижения наиболее реалистичного окружающего звучания, и три компактных усилителя серии Stage: двухканальный JBL Stage A6002 и четырехканальные модели JBL Stage A6004 и JBL Stage A9004.
       

       
    • От Ippolitovich
      Компания Rapoo представила на выставке IFA 2018 свою новую многорежимную беспроводную технологию, с помощью которой пользователи смогут сопрягать сразу несколько устройств через беспроводную сеть на частоте 2,4 ГГц, через Bluetooth 3.0 и Bluetooth 4.0 (Smart), перекрывая существующий разрыв соединения Bluetooth. Теперь с одной и той же мышью можно подключаться к различным устройствам.
      На стенде Rapoo на выставке были представлены следующие продукты:
       


      Rapoo M600 Silent — многорежимная беспроводная мышь:
      Многорежимная поддержка Bluetooth 3.0, 4.0 и на частоте 2,4 ГГц. Одновременное подключение до 3 устройств. Автоматическое мгновенное сопряжение одним кликом.  Разрешение сенсорного датчика — 1300 dpi. Эргономичный дизайн. Наличие Nano USB-приемника.  

       
      9060M — многорежимная беспроводная ультратонкая клавиатура и оптическая мышь: 
      Многорежимная поддержка Bluetooth 3.0, 4.0 и на частоте 2,4ГГц. Подключение одновременно к нескольким устройствам. Автоматическое мгновенное сопряжение одним кликом. Разрешение сенсорного датчика — 1300 dpi . Эргономичный дизайн. Наличие Nano USB-приемника. Сверхтонкий 4-мм корпус с основанием из алюминиевого сплава. Клавиши быстрого доступа Fn. Мембранная клавиатура с ножничным механизмом клавиш Эргономичный дизайн мыши. Работа от батареек — до 9 месяцев (мышь) и до 12 месяцев (клавиатура).  


      E9260 — многорежимная беспроводная ультратонкая клавиатура — Wooden Edition:
      Многорежимная поддержка Bluetooth 3.0, 4.0 и на частоте 2,4 ГГц. Одновременное подключение до 4 устройств. Автоматическое мгновенное сопряжение одним кликом. Гладкая поверхность c деревянной отделкой. Ультратонкие плавающие клавиши. Клавиши быстрого доступа.  

       
      MT550 — многорежимная беспроводная оптическая мышь:
      Многорежимная поддержка Bluetooth 3.0, 4.0 и на частоте 2,4 ГГц. Одновременное подключение до 4 устройств. Автоматическое мгновенное сопряжение одним кликом. Разрешение сенсорного датчика — 1600 dpi . До 12 месяцев работы от батареек.  

       
      3510 Plus — мышь с текстильным покрытием:
      Надёжная беспроводная поддержка на частоте 2,4 ГГц. Разрешение сенсорного датчика — 1000 dpi. Удобное текстильное покрытие. До 12 месяцев работы от батареек. Наличие Nano USB-приемника.  
    • От душман
      На декабрь 2018 года запланировано полноценное включение второго мультиплекса на всей территории России – с этого момента зрителям будет доступен прием 20 цифровых телеканалов, сообщил на форуме региональных СМИ в Челябинске заместитель министра цифрового развития, связи и массовых коммуникаций Алексей Волин.
      По словам замминистра, сегодня 65% жителей Российской Федерации принимают 20 телевизионных каналов, то есть и первый и второй мультиплекс, а в декабре включение второго мультиплекса планируется на всей территории страны.
      Алексей Волин напомнил, что операторы спутникового телевидения разработали льготные программы для жителей России, которые не входят в зону охвата цифрового эфирного вещания. Программы предусматривают льготные условия приобретения комплектов приема спутникового ТВ, а также отсутствие платы за каналы первого и второго мультиплекса для лиц, которые зарегистрированы и пребывают вне зоны охвата эфирной «цифры».
      Предоставление льгот жителям отдаленных районов спутниковыми операторами Минцифра планировала закрепить законодательно. Строительство сети первого и второго мультиплекса завершено практически во всех субъектах РФ. Установлены и работают более 9,5 тысяч из 10 тысяч передатчиков, полностью сеть будет введена в эксплуатацию после завершения строительства всех объектов в конце 2018 года.
      Переход на цифровое эфирное телевещание осуществляется в рамках реализации федеральной целевой программы «Развитие телерадиовещания в Российской Федерации на 2009-2018 годы», ее исполнителем выступает РТРС.
      Во второй мультиплекс входят десять обязательных общедоступных телеканалов: РЕН ТВ, «Спас», СТС, «Домашний», ТВ-3, «Пятница!», «Звезда», «Мир», ТНТ и «Муз-ТВ».
×
×
  • Создать...