Comments 109
-отвод вражеских крипов на топ вышке и беготня с ними, пока союзные крипы ломают башню. (победой в 1х1 считается уничтожение т1 вышки)
-выкладывание итемов на землю, что вводит бота в заблуждение относительно ваших характеристик и он решается на атаку, используя неточные данные о вас
В комментах к предыдущей статье было.
- выкладывать предметы на землю, тогда бот их не учитывает
- перехватывать чужих крипов, бот от этого похоже тупит, а свои крипы ломают башню противника
Предыдущие чемпионы ИИ типа AlphaGo учились играть в игры, обрабатывая прошлые матчи людей-чемпионов, а бот OpenAI сам научился (почти) всему, что знает.
А что помешало боту OpenAI так же учиться на играх чемпионов? В доте сохраняются реплеи всех игр, можно обучаться до выпадения в бсод посинения.
А что помешало боту OpenAI так же учиться на играх чемпионов?решение создателей учить бот только на играх с самим собой. Эдакий эволюционно-обучающийся алгоритм.
Надо подобные системы обучать планомерно, направленно, дабы эффективность действий была первостепенной, а наличие костыльных решений минимум.
Потому лучше показать пока лучшие имеющиеся стратегии, которые у нас есть, это реплеи игр чемпионов.
Мы пытаемся научить ИИ думать как мы. А с чего люди взяли, что это самая эффективная система мышления? =)
Возмите людей с аутизмом — многие из них в голове считают такие уравнения, что многие профессора рот открывали — просто они мыслят несколько по иному.
Так что тут еще большой вопрос — нужно ли обучать ИИ именно ЧЕЛОВЕЧЕСКОМУ мышлению(ЧМ). На данном этапе его обучают ЧМ только с одной целью, что бы сам человек понимал и мог анализировать о чем думает ИИ…
AI получает данные через API для ботов, возможно в риплеях данных ему не хватит.
К тому же в гоили шахматах есть дискретные расстановки, которые можно запомнить и ходы, которые можно пометить как удачные и неудачные плюс время на перебор комбинаций. В доте так обучится не получится — вряд ли имеет смысл распозновать конкретную расстановку всех персонажей на карте с учетом их характеристик, он врядли когда-нибудь целиком повторится. Важнее предугадывание действий противника и его реакции на твои действия, тут метод проб и ошибок будет удобнее.
ну офигеть «отец»
Допустим есть какой то большой проект, на подпроектах которого суммарно работает человек 100 — 200? Какой то многоотцовый ребенок получается
Для чего натаскивать их на дотку или там на Го, если потом нельзя будет найти этим ИИ более практичного применения. Или можно?
Разве не логичнее будет сразу натаскивать на решение каких-либо действительно полезных задач. Ведь потрачены деньги, рабочее время, электричество, наконец, и ради чего? Ради того, чтобы комп у человека в доту выиграл? Потом-то что?
Компания Google Brain разработала нейросеть, которая способна выполнять несколько задач одновременно. В отличие от других систем искусственного интеллекта (ИИ), которые после обучения справляются только с выученным алгоритмом, новая разработка может выполнить сразу восемь дел. Краткие подробности возможностей нейросети можно прочитать на сайте New Scientist, а полное описание алгоритма доступно на сайте ArXiv.
neuronovosti.ru/google-multitask
А уж обучить на любую задачу, когда будет понятно как учить — не проблема.
А как в человеческой голове что происходит есть лишь смутные догадки, основанные на работах вивисектора Павлова и пространных рассуждениях нейрологов с абсолютным нулем экспериментальных данных, так что слизывать было нечего.
Мне было достаточно два
А предыдущие 25 лет получения жизненного опыта вы куда дели?
Достаточно было один раз понять что такое рекламаДля того, чтобы это понять, вам нужно было знать, что есть есть некие люди, которые вам хотят продать некий товар. Продать, чтобы заработать. Заработать, чтобы получить некие блага. Вероятно, солгав (или умолчав) о чём-нибудь в рекламе. Знать, что такое ложь и замалчивание, знать, что такое деньги/товары и тд и тп.
То есть прикопаться можно к каждому слову, которое по иерархии тянет за собой годы обучения, и всё это переплетается на разных уровнях. И если этой базы мало (вам 4-5 лет к примеру), то вы не поймёте, что такое реклама. Просто скажете «хочу».
У людей в принципе отсутствует такое понятие как нейронное обучение — если вы больше рекламы посмотрите вы не начнете ее распознавать лучше. Вместе с тем вы не будете делать тупых ляпов, принимая за рекламу яркие сцены с громким звуком. А также вы мгновенно распознаете рекламу, если главный герой сериала будет листать журнал, и там будет фотография баннера, на котором будет изображен рекламируемый товар. И это без какого-либо обучения, просто потому что вы знаете что такое реклама, баннеры, журналы и сериалы. Вы просто скомбинируете знания. Без миллиона примеров, без вычислений, просто кусочки знания скомбинировались и вы их поняли.
Пока нейронки или любые другие формы ии не научатся нормально комбинировать знания, можно говорить что мы где-то в районе абсолютного нуля в разработке ии.
Пока нейронки или любые другие формы ии не научатся нормально комбинировать знания, можно говорить что мы где-то в районе абсолютного нуля в разработке ии.
Не абсолютного, но очень низко, согласен. Но это не отменяет необходимости в их изучении, опытах и т.д.
И поменьше бы желтизны вида «ИИ победил...», «ИИ сделал...», «ИИ работает...» — нет пока ИИ, и точка!
Нет, мне не нужно было ничего сворачивать в своих нейронах и перемножать матрицы.
Вы следили за работой нейронов в этот момент? У вас такая внутренняя установка, чтобы ни в коем случае, никто ничего не сворачивал и не перемножал?
Наврядли эволюция такая умная как ей приписывают, что смогла такой цпу запилить со скоростями и экстремально устойчивый к ошибкам и внешнему влиянию и познаниями в математике.
Вы сомневаетесь в эволюции, или в работоспособности мозга?
Никаким интеллектом там и не пахнетА что есть интеллект? Набор химических связей, делающих те же предсказания, но сложнее, плюс с примесью рандома. Куда в течении многих лет кидаются данные.
Ребятам было интересно в доту нейросетку запилить, они запилили. Что сенсационного то? Есть огромное непаханное поле для применения этих технологий (и без ядерных реакторов). При этом польза будет практической. Вот сделали они систему, выигрывающую в Доту, что теперь с ней делать?
Чем игра в Dota в исследовании искусственного интеллекта лучше, чем секвенирование ДНК, к примеру, или там разработки системы, распознающей и уничтожающей сорняки на грядке? Полагаю, что результат для исследований в области ИИ был бы и там и там одинаковым, однако, в отличие от Dota, в последних двух случаях была бы ещё и практическая польза, да и намёки на коммерческий продукт (что не могло бы не порадовать инвесторов).
OpenAI — некоммерческая исследовательская компания
Во вторых
Снизу есть коммент отвечающий на ваш вопрос.
Это исследовательская работа, а не коммерческий продукт. Насколько я понял, они экспериментируют с методами обучения. Практическим результатом здесь является не «обученная сетка», а новые знания о том, как можно обучать нейронные сети, сколько на это требуется времени, какие сложности при этом возникают и т.д.
Почему эксперименты проводят именно на играх? Просто игры хорошо подходят для этого. Игра это формальная система, ограниченная своими рамками. Чтобы играть в игру, не нужно дополнительных знаний об окружающем мире. Это как отдельная маленькая Вселенная. В ней чётко определены правила. Описаны все возможные взаимодействия. Обозначены цели. Определены критерии победы, следовательно всегда понятно, была ли цель достигнута. Есть готовая программа для проведения симуляций (клиент игры). Легко устроить состязание с человеком, или с другим ИИ. Можно смоделировать различные ситуации, и проверить как ИИ поведёт себя. Это гораздо эффективней, чем пинать складских роботов.
Почему-то все думают, что ничего не стоит «переучить» ИИ на отдалённо похожую задачу. На самом деле это нужно начинать практически с нуля. Не может пока ИИ пользоваться накопленным в других задачах опытом для решения новых. Кабы могли — совсем в другом мире мы бы жили уже.
P.S. Вы реально думаете, что «годовалый» лейтенант, будет в бою управлять танковым взводом с большей эффективностью?
Ну есть еще курсы по подготовке офицеров для прапорщиков, там длительность ниже, но военнослужащий уже должен был пройти к этому моменту школу прапорщиков, где уже приобрел часть знаний, получаемых «годовалым» лейтенантом.
Ну и я уже не говорю о том, что наставления, по которым обучаются в военных учебных заведениях, писали далеко не дураки. И иметь преподавателей с боевым опытом тоже как-то стандартная практика.
Ну и я уже не говорю о том, что наставления, по которым обучаются в военных учебных заведениях, писали далеко не дураки. И иметь преподавателей с боевым опытом тоже как-то стандартная практика.Военные училища, предназначены для поставки кадров в действующую армию мирного времени. То есть сейчас все офицеры имеют полноценное образование и есть некоторый резерв. В случае полномаштабной войны, при развертывании новых дивизий и корпусов те командиры взводов которые сейчас кадровые, станут командироми рот, а на взвода придут выпускники гражданских вузов прослушавшие курс военной кафедры (как конкретно сейчас я не знаю, нам этот механизм объясняли достаточно давно когда я сама служила.)
То есть взводами будут командовать люди которые не служили в этой роли не дня. (сборы можно не считать). Плюс будет механизм подготовки офицерского состава военного времени. хорошо если год, во время великой отечественной подготовка лейтенанта занимала 6 месяцев.
Вот весь этот… бардак я скопом и обозвала «годовалыми лейтенантами» на самом деле скорее всего я многим в такой ситуации польстила.
Да я рассматриваю ситуацию большой войны или вторжения. В локальных конфликтах «годовалых» не будет.
Но вообще офицеров в войсках не хватает (ну так было лет 10 назад точно, сейчас не знаю, престиж армии и материальное обеспечение сильно подняли) и на должностях командиров взводов были и прапорщики.
Но сейчас сильно изменилась точка зрения на применение войск в глобальных конфликтах, ушли от масштабной дивизионности в сторону более мобильной бригадности. При этом, если пообщаться со старшими/высшими офицерами старой школы, то почти все плюются от таких изменений. Но и методы ведения войны и вооружение сильно изменились.
Великую Отечественную приводить несколько некорректно все-таки, тогда ни у кого не было опыта ведения войны таких масштабов в пост-индустриальную эпоху. Сталин пытался в 37-39 ротировать офицерский состав, заменяя тех, кто сделал карьеру во время революции и не имел военного образования на военных с необходимым образованием (почему-то современные «историки» другие причины придумывают :) ), но тем не менее, кадров было мало, оттуда и появились лейтенанты с подготовкой в полгода, и у которых планируемое время жизни в бою было меньше минуты. Сейчас все несколько иначе все-таки.
Вопрос, собственно, был в том, почему бы сразу не учить чему-то полезному.
Это исследовательская работа, а не коммерческий продукт. Насколько я понял, они экспериментируют с методами обучения. Практическим результатом здесь является не «обученная сетка», а новые знания о том, как можно обучать нейронные сети, сколько на это требуется времени, какие сложности при этом возникают и т.д.
Почему эксперименты проводят именно на играх? Просто игры хорошо подходят для этого. Игра это формальная система, ограниченная своими рамками. Чтобы играть в игру, не нужно дополнительных знаний об окружающем мире. Это как отдельная маленькая Вселенная. В ней чётко определены правила. Описаны все возможные взаимодействия. Обозначены цели. Определены критерии победы, следовательно всегда понятно, была ли цель достигнута. Есть готовая программа для проведения симуляций (клиент игры). Легко устроить состязание с человеком, или с другим ИИ. Можно смоделировать различные ситуации, и проверить как ИИ поведёт себя. Это гораздо эффективней, чем пинать складских роботов.
Ой, блин, точно, специалисты бы без вас не догадались. Почти в каждой статье встречаю такого неспециалиста, который однако предлагает то занять АИ чем-нибудь полезным, то указывает чем крутому ученому заниматься. Ну правда, как так-то?
Плюс, ИИ тут хорошо пропиарили практически на пустом месте. Это позволит влить деньги в их дальнейшее исследование, и, в последствии, они смогут принести еще больше пользы в «важных» областях.
Вот когда бот будет играть механически двигая мышкой, считывая информацию только с экрана — вот тогда и поговорим (с)
Для начала можно без механики — видеоинтерфейс + HID. Без всяких игровых API. Тогда условия были бы почти равными.
Грубо говоря давайте компу кликать со скоростью человека и давайте ему возможность перемещать героя с точностью человека (никаких наведений с точностью до пикселя) и пусть он выиграет в игре 5 на 5 и полным списком всех возможностей — вот тогда будет честное соревнования именно интеллектов, а не соревнования человека с калькулятором. А шахматы, в которых на всю партию дается полсекунды, явно не честное соревнование.
Потому что выиграть у человека только за счет скорости реакции, клика или умения все расчитывать до пикселя это просто и это может совсем тупой бот, а вот за переиграть только за счет тактики и стратегии это справедливое соревнование.
Дефолтный бот имея всё это, плюс двойной опыт, двойное золото, и мап хак. Легко раскладывается средним игроком Доты. Которого разложит профессионал играя с пингом под 500.
Дефолтный бот имея всё это, плюс двойной опыт, двойное золото, и мап хак. Легко раскладывается средним игроком Доты. Которого разложит профессионал играя с пингом под 500.
Разумеется, никто и никогда не будет делать дефолтного бота слишком хорошим, это главная заповедь игродела — ИИ должен быть достаточно умным, чтобы не раздражать игроков, но достаточно тупым, чтобы средний игрок легко его мог победить. Это во всех стратегиях так, никому не интересно играть с совершенным ИИ.
Кстати, двойной опыт, двойное золото, и мап хак. это тоже одна из стратегий игродела, игроки должны верить, что ИИ их обыгрывает только за счет этих плюшек, даже если они играют безобразно.
Ну так-то и среди людей, кто кликает быстрее, тот потенциально имеет преимущество… не?
А смысл? Доказать, что если обвешать изначально более совершенную систему ограничениями, то она будет показывать результаты на уровне системы ограниченной?
Доказать, что она изначально более совершенна. А значит поставить в равные условия, иначе получается человек обвешан ограничениями, а система — банальный бот, просто более продвинутый.
В реальном мире нет API…
Брокман говорит, что научиться такому умению для ИИ – задача тривиальная, и она никогда не была основной для исследований в OpenAI. Он говорит, что институтский бот справился бы и без информации от API, но «он просто потратил бы гораздо больше времени на приобретение навыков зрения, которое и так работает, так в чём же тогда смысл?»
Компания Riot Games (League of Legends) не так давно проводила исследование о том, как задержка в сети (latency) влияет на результаты игроков. Там было много разных моментов, но в том числе было хорошо видно, что просто эта чисто техническая величина часто является решающей.
Вот цитата из одной статьи по теме того исследования:
A small delay can leave a gamer in League of Legends dead in a pit
Но тут как раз суть в том, что его не настраивали.
Также его научили определённым стратегиям, используя технику проб и ошибок под названием «стимулированное обучение». В общем, его немножечко потренировали.
Неплохое такое преимущество. Даёшь битву нетренированного бота и нетренированного человека!
Это по какому рейтингу он в топ-10? По рейтингу ммр он где-то в конце топ-200 европы.
Но посыл я ваш понял. В 2017 он уже не топ. Но в любом случае он один из тех, кого нельзя просто так выиграть. Тем более, что бот учился только 2 недели
Потому-то и понравился момент про "компьютер немножечко потренировали".
К тому же для машинного обучения разница между полной информацией и неполной не такая уж и большая.
А вот скорость реакции в видеоиграх имеет большое значение — здесь ИИ в выгодном положении.
Радоваться тому, что робот обыграл человека в игре на скорость реакции...
Ах да, там же ещё фаза выбора героев была, рошан на нулевой минуте, вардинг, размен башнями — куча очень важных тактических решений. Хотя постойте ...
Что лучше — добить пару своих крипов или одного чужого? Беречь ближний койл? Стоит ли отводить крипов за вышку или под вышку? Вражеский герой пошел проверять руну — идти биться или проверить другую сторону. Бот эти вопросы так или иначе решает. Не за счёт реакции.
Не было там ситуаций с кучей кандидатов на ластхит. Возле вышки они не дрались: оба фрага были в канаве. За руной никто не ходил. А вот ластхитов там было 25/10 (бот) против 11/2 (денди) прямо перед первым фрагом.
Что лучше — добить пару своих крипов или одного чужого?
Элементарно. "Первый вариант улучшает ситуацию на 0.3331434%, второй — на 0.333155%". Это человеку надо интуицию и опыт подключать, робот это просто считает.
Во многом — да. Робот явно быстрее кликать будет.
Dota и Starcraft II представляют собой сложные вызовы, с которыми компьютеры пока ещё не справляются.
Как это не справляются? 1v1 Dota2 как видно уже справились, в Starcraft боты давно уже переигрывают людей.
Для SC2 официально Eula запрещает
Как раз почти одновременно с этим матчем был выпущен API для Starcraft II
http://us.battle.net/sc2/en/blog/20944009/the-starcraft-ii-api-has-arrived-8-9-2017
На сколько помнится, проигроки даже читерящих ботов обыгрывают.
Вот когда бот обыграет человека в SC2 тогда родится скайнет)
1. Никто из игравших с ботом профессионалов не является специалистом по игре 1v1 на СФ-ах. Это довольно специфическое ответвление Доты, которое как соревновательная дисциплина не существует. Пытались проводить подобные соревнования в рамках турниров по Доте, но это было не интересно ни игрокам, которым хотелось сосредоточиться на доте 5v5, ни зрителям. Т.е. победу бота над игроками нельзя сравнить с победой над чемпионом по шахматам или Го.
2. Бот не продемонстрировал в этих матчах никакой интересной линии поведения. Стандартные вещи, блок крипов, стандартная раскачка, подвоз фласок и манго, стандартная модель поведения на линии. Т.е. он действует совершенно стандартно, просто исполняет все на очень высоком уровне. Было бы намного интереснее, если бы бот, «взглянув» на проблему свежим взглядом, продемонстрировал что-то новое, до чего игроки не додумались. Вообще эта гибкая модель самообучения никак не замета по поводению бота. Можно представить себе жестко алгоритмизированную систему, ведущую себя точно так же: идеальное исполнение в стандартной ситуации, потерянность и тупизна в нестандартной.
После видео было ощущение что вот оно будущее, а сейчас понятно что это тоже самое как дать боту в кс бесконечную реакцию. Если сделать без апи, то даже средний человек уже будет нагибать такого бота, просто потому что у человека есть реальная система предсказания, а у бота только реакция на текущую ситуацию.
Думаю, сейчас разработчиков заваливают предложениями менеджеры команд, претендующих хотя бы на что-то на TI2018. Получить на тренировки такого противника, пусть даже ластхит и харас на миде потренировать — это же мечта. А если они разработают полноценную команду — то это будет просто переворот. Не нужно будет искать спарринг-партнёров (которые заведомо слабее основных команд), бояться, что они сольют твой драфт с тренировок и какие-то стратегии. Думаю, пару сотен тысяч баксов за такое отвалят.
Ну да, мне вполне кажется, что ИИ лучше обучать на таких играх, как Дота. Все эти шахматы и прочее заезженная тема, так как результат обучения там сводится к тому, что можно было бы и спокойно запрограммировать. Так как в Доте этого сделать нельзя, в меру действительно слишком большого количества возможных решений и возможностей в принципе, к тому же игра в команде, достаточное число соперников, то смысл в этом действительно есть. Скилы разные у персонажей, предметов более чем достаточно, которые влияют на ход игры.
и сказал, что не смог бы победить неудержимого бота.
Вообще-то он сказал: «мне надо больше практики с этим ботом, рано или поздно мы научимся его выигрывать».
— не использовался ботл (что в игре 1 на 1 является мастхэв, это одна из лучших вещей на начальной стадии, и после начального закупа сильные игроки берут именно его);
— не использовались руны (временные бафы);
— использовался одинаковый пик (герой у человека и у бота один и тот же). В реальной игре есть контрпик, когда один герой заведомо сильнее другого. Игры 5 на 5 иногда выигрываются еще на стадии подбора персонажей, до начала игры, то есть исход игры, при равной игре всех 10 участников, может быть предрешен выбором персонажей.
То есть для бота упростили условия игры. Также можно добавить отсутствие мотивации к победе у игроков, это игры просто для развлечения.
Объявленная победа бота над человеком в доте преждевременна даже при игре 1 на 1, про 5 на 5 и речи нет.
Игровой ИИ-чемпион от Илона Маска уничтожил людей в видеоиграх? Не так всё просто