Comments 322
AlphaStar побеждал вовсе не из-за сверхчеловеческой скорости и точности кликов, все намного проще — он видел сразу все поле боя, что позволяло полноценно контролить несколько групп юнитов одновременно. Это же и служило одной из причин высокого APM: когда игрок контролит 1 отряд, бот справляется с тремя и больше. Как только боту ограничили зону видимости он сразу превратился в куклу для битья для Маны.
Вообще стоит посмотреть на игры других ботов, там APM бывает и по 20к, но это слабо помогает в играх против людей.
Ну и несколько мыслей вслух:
eAPM корректнее чем EPM;
Serral не самый «ярый кликер»;
AlphaStar это не один бот, а набор агентов с разными стратегиями, в этих шоуматчах использовались разные агенты в каждой игре.
Вообще стоит посмотреть на игры других ботов, там APM бывает и по 20к, но это слабо помогает в играх против людей.
Ну и несколько мыслей вслух:
eAPM корректнее чем EPM;
Serral не самый «ярый кликер»;
AlphaStar это не один бот, а набор агентов с разными стратегиями, в этих шоуматчах использовались разные агенты в каждой игре.
Авторы утверждают, что агент с меньшей зоной видимости недоучился — учился 7 дней против 14 у других.
Ага, за два года разработки моделей — у разработчиков не хватило всего одной недели, чтобы доучить.
Что-то не верится мне в такой расклад = )
Что-то не верится мне в такой расклад = )
Как они говорили в трансляции, факт что зона видимости так важна они осознали когда была сыграна первая серия игр. Они добавили ограничение, и решили что после его ввода обучение нужно запустить заново.
Возможно, разработчикинеосознанно хотят чтобы их детище выиграло. Но подозревать в злонамеренной подтасовке я бы их не стал.
Возможно, разработчики
Разработчики доучили 5 агентов и провели серию игр, которая закончилась со счётом 5:0 и 5:0 в пользу бота. Одинадцатая игра была с неподготовленным ботом вне шоуматча.
Не думаю что они конкретно сидели и учили ботов всей командой 2 года. Скорее костяк перехожит с проекта на проект, у них же еще Го, Дота и сворачивание белков было. Да и 90% времени ушло на тесты структуры, написания метрик и тестовой инфраструктуры. Так что да, выглядит вполне убедительно.
Тогда надо вводить ограничения на скорость переключения карты. Потому что если ограничить видимость то можно же просто сканировать карту постоянно со сверх человеческой скоростью.
Ну в обычной игре переключение карты это тоже клики, потому не нужно никаких дополнительных ограничений, разве что выделить процент кликов на переключение из общего APM. Но по хорошему и это не нужно: при «правильном» обучении смена вьюпортов должна тригерится событиями на миникарте и контролем войск во время атак, что слабо повлияет на APM.
Да там кучу ограничений нужно вводить. Только что сразу пришло в голову:
1. Разумный EPM;
2. Мисклики (некий процент) и низкая (как у человека) скорость их обнаружения;
3. Способность контролировать несколько групп одновременно.
4. Что-то делать с рабочей памятью. Человек не может помнить куда идёт каждый из 70 юнитов 3 групп, окруживших толпу имморталов. Бот — может. Как и точно рассчитать, успеет ли сталкер добить пилон перед тем, как к нему прибегут гости (был там такой эпизод).
Это если ставить задачу сделать максимально «человечного» бота. У DeepMind, подозреваю, задача не такая.
1. Разумный EPM;
2. Мисклики (некий процент) и низкая (как у человека) скорость их обнаружения;
3. Способность контролировать несколько групп одновременно.
4. Что-то делать с рабочей памятью. Человек не может помнить куда идёт каждый из 70 юнитов 3 групп, окруживших толпу имморталов. Бот — может. Как и точно рассчитать, успеет ли сталкер добить пилон перед тем, как к нему прибегут гости (был там такой эпизод).
Это если ставить задачу сделать максимально «человечного» бота. У DeepMind, подозреваю, задача не такая.
аргумент хорош, но ведь человек тоже видит все поле на миникарте
нет, там только квадратики, непонятно, что это за юниты и чем занимаются
нуу, не знаю, я когда играл мне понятно было примерно
UFO just landed and posted this here
Одна точка прет — разведчик. много — ломанулись атаковать. Идет точке на соседнюю базу — ее занимать. Когда ломанулись толпой атаковать, то грех не глянуть быстро переключиться, оценить кто идет.
Одна точка может запросто быть дропом или либератором, которые могут нанести не слабый ущерб экономике.
Это легко определяется таймингами который каждый профессионал отлично знает. На 20 секунде может произойти то. На 40 другое и тд.
а на 10 минуте (например) это может быть что угодно
Тут нюанс. Противник допустим по навыкам игры как человек, но имеет х3 точность и х3 реакцию. При возможности видеть всю карту — он просто получает возможность свою х3 реакцию реализовать, за счет чего и побеждает. Если бы был лимит на пиковый AMP — он бы столь идеально контролировал 3 группы юнитов. Как и если бы ему пришлось ловить их по карте, а не видеть всех.
Это на самом деле не все: то, что вы сказали надо обязательно дополнить:
Устранение всех перечисленных ограничений увеличивает сложность игры нелинейно. Т.о. успех AlphaStar не стоит переоценивать, все эти крики про скайнет и прочее — это все фон и маркетинг, однако несомненным фактом остается то, что разработчики наверняка пойдут дальше и рано или поздно мы увидим много интересного уже не втиснутого в прокрустово ложе.
- одной картой
- зеркальным матчапом (чтобы было понятно людям не в теме: противники играли одинаковым набором возможных юнитов и строений, а конкретнее протосами)
Устранение всех перечисленных ограничений увеличивает сложность игры нелинейно. Т.о. успех AlphaStar не стоит переоценивать, все эти крики про скайнет и прочее — это все фон и маркетинг, однако несомненным фактом остается то, что разработчики наверняка пойдут дальше и рано или поздно мы увидим много интересного уже не втиснутого в прокрустово ложе.
он видел сразу все поле боя, что позволяло полноценно контролитьДругие боты точно так же получают информацию о всей видимой области и контролируют каждый юнит на карте. Это не особенность AlphaStar, а особенность API, который близы написали для работы ботов. Это тоже не является преимуществом и фактором победы ботов AlphaStar.
Ну кстати, в последнем шоуматче бот проиграл ИМХО не из-за ограниченности экрана. В начале он всё так же вывозил на микро и получил нормальное преимущество.
Если бы MaNa не нашёл как вызвать deadlock у бота своим фальшивым дропом, то исход матча был бы противоположным.
Вот потому сражения старкрафте и в доте с ИИ мало интересны.
Слишком много преимуществ от полного обзора на карте и от идеального микроконтроля на бешенных скоростях.
Интереснее было бы посмотреть на пошаговые игры, где от скорости кликов ничего не зависит. Но только чтобы обзор карты и ресурсов был честный.
Слишком много преимуществ от полного обзора на карте и от идеального микроконтроля на бешенных скоростях.
Интереснее было бы посмотреть на пошаговые игры, где от скорости кликов ничего не зависит. Но только чтобы обзор карты и ресурсов был честный.
Шахматы — как пример.
Шахматы не совсем удачный пример, т.к. это игра с полной информацией. Думаю можно посмотреть на успехи ИИ в области покера.
Зато шахматистам ИИ очень полезен. Вместо изучения сотен томов литературы, достаточно планшета, который по ходу игры будет подсказывать хорошие и плохие ходы, почти в игровой форме, далее анализ почему ход сильный или слабый. Раньше такое было невозможно.
Пошаговые игры в лице шахмат и ГО уже давно покорены, думаю никто не питает тут иллюзий на счет возможности победы человека в них.
Насколько я читал, шахматы не просчитаны до конца. Слишком большое количество комбинаций. И при игре в равных условиях с одинаковыми ограничениями на время хода шансы у человека еще есть. Но я могу ошибаться.
Шахматы не обязательно считать до конца, чтобы обыграть человека.Шансов нет.
Если ничего не путаю, то пятифигурные окончания в шахматах просчитаны все. Сейчас считают шестифигурные, но там пока завершения в обозримом будущем не видно.
Шести и даже семифигурные окончания уже полностью просчитаны. Шестифигурные ещё в 2005 году, семифигурные в 2012. В принципе, даже восьмифигурные уже определённо по зубам современному железу.
А теперь — задачка для средних классов физматшколы: оценить, когда при таких темпах можно ожидать 32-фигурные таблицы, и сколько места они будут занимать. При том, что с добавлением каждой новой фигуры сложность и объем данных растут экспоненциально.
Многофигурные таблицы окончаний — это полный перебор, вот прям всех-всех-всех вариантов. Но шахматные движки так не играют.
В до-AlphaZero эпоху движки использовали альфа-бета отсечения. Этого хватает, чтобы в играх на звание чемпиона мира показывать ошибки людей в real-time. В играх против компьютера гроссмейстеры из топ-20 играют с нарастающей форой: шансы на ничью появляются далеко не с первой пешки.
ИИ на нейросетях (AlphaZero, Leela) делают предыдущих программ-чемпионов с крупным счетом, при этом количество анализируемых позиций у них гораздо меньше, в разы.
Таким образом, несмотря на то, что полностью шахматы не решены, у человека нет шансов при игре с компьютером, даже настольным (не говоря про кластер или супер-компьютер)
В до-AlphaZero эпоху движки использовали альфа-бета отсечения. Этого хватает, чтобы в играх на звание чемпиона мира показывать ошибки людей в real-time. В играх против компьютера гроссмейстеры из топ-20 играют с нарастающей форой: шансы на ничью появляются далеко не с первой пешки.
ИИ на нейросетях (AlphaZero, Leela) делают предыдущих программ-чемпионов с крупным счетом, при этом количество анализируемых позиций у них гораздо меньше, в разы.
Таким образом, несмотря на то, что полностью шахматы не решены, у человека нет шансов при игре с компьютером, даже настольным (не говоря про кластер или супер-компьютер)
Моя идея именно в просмотре матчей против ИИ в современных пошаговых играх, вроде цивилизации. Там же число комбинаций очень огромно и простым перебором эдшпилей не отделаешься.
AlphaZero в прошлом году победила с разгромным счетом программу, работающую пересчетом, которая считается сильнее чемпионов мира среди людей (собственно со времен Каспарова, люди с программами уже всерьез не играют). А ее дебюты с большим интересом изучают живые шахматисты.
Только до Цивилизации, боюсь, этот ai нескоро дойдет — слишком партии длинные. Да и поиграть с ним нельзя — работает где-то в гугловском кластере, и для простых смертных недоступен.
Только до Цивилизации, боюсь, этот ai нескоро дойдет — слишком партии длинные. Да и поиграть с ним нельзя — работает где-то в гугловском кластере, и для простых смертных недоступен.
Вот только покорялка требует, заоблачных мощностей. По сути, там тоже бот побеждает механикой: моделирует все варианты наперёд и выбирает те, где больше благоприятных вариантов. Люди так не делают и не могут. Алгоритма игры в шахматы, побеждающего людей, ещё не написано и не планируется.
Не совсем так.
Во-первых, заоблачных мощностей не надо: современного домашнего компьютера хватает, чтобы обыгрывать гроссмейстеров. С помощью старой доброй Stockfish, без нейросетей.
Во-вторых, бот перебирает далеко не все варианты.
В-третьих, Leela Zero перебирает гораздо меньше вариантов, чем тот же Stockfish. В разы меньше.
В-четвертых, люди играют в общем-то так же: они считают варианты. По послематчевым комментариям топ-гроссмейстеров видно, что они рассчитывают позиции на 5-10 ходов. В середине игры. Чем меньше фигур, тем дальше могут считать.
Сильный шахматист точнее оценивает позицию и считает только перспективные варианты. Раньше люди оценивали позицию лучше компьютера, но сейчас позиционно переиграть движки не получится.
В-пятых, программа — это закодированный алгоритм. По определению. И есть десяток программ, не основанных на нейросетях, написанных 10+ лет назад, которые побеждают людей. С внятным алгоритмом, понятным его создателям.
Во-первых, заоблачных мощностей не надо: современного домашнего компьютера хватает, чтобы обыгрывать гроссмейстеров. С помощью старой доброй Stockfish, без нейросетей.
Во-вторых, бот перебирает далеко не все варианты.
В-третьих, Leela Zero перебирает гораздо меньше вариантов, чем тот же Stockfish. В разы меньше.
В-четвертых, люди играют в общем-то так же: они считают варианты. По послематчевым комментариям топ-гроссмейстеров видно, что они рассчитывают позиции на 5-10 ходов. В середине игры. Чем меньше фигур, тем дальше могут считать.
Сильный шахматист точнее оценивает позицию и считает только перспективные варианты. Раньше люди оценивали позицию лучше компьютера, но сейчас позиционно переиграть движки не получится.
В-пятых, программа — это закодированный алгоритм. По определению. И есть десяток программ, не основанных на нейросетях, написанных 10+ лет назад, которые побеждают людей. С внятным алгоритмом, понятным его создателям.
Все-таки, в доте тактика и стратегия решают намного сильнее, чем механические скиллы. В отличие от старкрафта, видимо — за него говорить не могу, поскольку не играл.
ну то что я видел в исполнении бота на SF — было перебором. Там скоростной микроконтроль отъедал весь фарм и шансов у человека фактически не было.
Ну так это как раз и было демонстрацией механических скиллов, и именно поэтому пришлось зарезать все возможности тактики/стратегии: 1х1, одинаковые герои, половину предметов нельзя покупать. Потому что скоординированные пять человек, которым позволили самим набирать себе героев, открутили бы этому боту голову, не посмотрев на нечеловеческий ластхит.
Upd: Извиняюсь за плохую формулировку — пять человек, разумеется, пяти таким ботам головы бы открутили, а не одному.
Upd: Извиняюсь за плохую формулировку — пять человек, разумеется, пяти таким ботам головы бы открутили, а не одному.
При кривых руках никакая тактика не поможет.
В доте не умея ластхитить на ладдер лучше даже не заходить. В Старкрафте можно не уметь кайтить и сплитить войска — и всё равно побеждать в низких лигах.
"в низких лигах" — это вплотную до мастер лиги?
В целом есть примеры людей, которые побеждают в гранд-мастер лиге по F2.
Если хорошо «читать» билд соперника и уметь в макро(оптимизировать экономику, правильно выбирать билдордер и апгрейды, знать контрпики) то 6000 ммр покорить вполне реально, а это уже грандмастер лига. И хорошее микро(кайт, сплит) будет не нужно.
Думаю, игру под обсуждаемый кейс придется проектировать специально. Dota тоже не годится…
Героев 3 посмотреть бы
Это будет что-то похожее на игру в Rogue экспертной системы, созданной ещё в начале 80-х. Безо всяких нейронных сетей были показаны результаты, намного превосходившие лучшие достижения человека.
Если предобучать сетки с использованием большого количества партий людей, как это сделали для AlphaStar, и потом оставить ИИ вот так тренироваться с самим собой, то может получться очень сильный ИИ. Было бы намного интереснее попробовать обучить агента с нуля, чтобы он изобретал абсолютно новые способы игры и т.п.
Герои ещё и с инженерной точки зрения намного сложнее. В SC2 все действия можно сгенерировать с помощью двух-трёх «голов» у нейронной сетки, а в Героях придётся ещё как-то кликать по менюшкам, городам, героям, передавать артефакты и т.п. С технической точки зрения это все непросто.
Герои ещё и с инженерной точки зрения намного сложнее. В SC2 все действия можно сгенерировать с помощью двух-трёх «голов» у нейронной сетки, а в Героях придётся ещё как-то кликать по менюшкам, городам, героям, передавать артефакты и т.п. С технической точки зрения это все непросто.
Третьи герои слишком прямолинейны и не сбалансированы. Посмотреть, конечно, интересно, но это ничего не даст.
В смысле прямолинейны и сбалансированы? Посмотрите хотя бы пару партий на соревновательном уровне. Стратегия и тактика там будут похлеще Старкрафта: цепи, мувпоинт менеджмент, бои, давление на оппонента. Вот первая попавшаяся партия, думаю вам будет интересно www.youtube.com/watch?v=MnZzrdt9r_k
Ну не знаю, по ходу и в HMM3 например, такой ИИ тоже разорвет любого игрока. Единственное что там может смутить высокий % вероятностных решений.
Ребята, ну чего вы привязались к APM. Ну да, эта проверка, эта демонстрация не показала, что AI может обыграть человека, играя на равных. Ну и что. Даже если бы там был жёсткий лимит на мало действия в секунду — всё равно было бы несложно найти ещё десяток вещей, которые AI делает нечеловечески хорошо — "а вот он слишком точно попадает по пикселю", "а вот он посмотрел на нужную постройку в слишком подходящий момент времени", "а вот он слишком быстро перевёл взгляд из левой половины экрана в правую", "а вот он подумал больше мыслей в секунду чем способен самый быстромыслящий человек" — это можно бесконечно регулировать и балансировать. Зато уже произошла куча вещей, которые, ну, офигенны!:
- Впервые AI хоть как-то обыграл человека в эту игру, и в целом хоть в какую-то игру такого рода. Предыдущие жалкие попытки были абсолютно жалкими, даже при неограниченном APM. Меня это восхищает просто даже как человека, в своё время потратившего ну где-то годик человекочасов на разработку AI для RTS.
- Из этого AI уже сейчас можно извлекать теоретические знания об игре, полезные для людей. Даже просто вот это наше overprobing — смотрите как Beastyqt (в своё время один из топовых игроков) минут 5 недоумевает, как мы раньше до этого не додумались [1]. Это вот, если угодно, пример чисто человеческого, человекопонятного вместе с объяснениями и доказательствами знания, добытого машиной — много вы такого знаете? Люди были настолько уверены, что этого не может быть, что даже в игре специально сделали подсветку красным, но сейчас они признаются, что возможно они восемь лет играли неправильно в одном из совершенно базовых аспектов. А это ещё только один match-up на одной карте. Также мне, например, очень любопытно, изобретёт ли AI новые пригодные для человеческого использования механики (паттерны кликания мышкой), если продолжать ему урезать APM, зону видимости, вот это всё.
- Это офигенно в том числе и чисто эстетически. Это событие — примерно как если бы мы встретились с расой инопланетян ("агенты" выведены же чем-то вроде генетических алгоритмов) и поговорили с ними на нетривиальную, интересную и, я бы даже сказал, вполне гуманитарную тему и узнали что-то новое. Произошло, если угодно, культурное обогащение человечества из какого-то внешнего относительно человечества источника. А вы тут только и думаете, что "ну у них было больше щупалец, поэтому они и выиграли". Какая разница, кто выиграл. Люди повстречали какую-то новую форму жизни — и не просто повстречали, а создали сами — которая мыслит совсем не так как мы, но тоже каким-то понятным образом, и с ней есть о чём поговорить!
> я бы даже сказал, вполне гуманитарную тему и узнали что-то новое
Насколько я понял из комментариев к играм, новое-то как раз и не узнали. Никаких нетривиальных стратегий машина не продемонстрировала. В отличие от тех же шахмат и го.
Насколько я понял из комментариев к играм, новое-то как раз и не узнали. Никаких нетривиальных стратегий машина не продемонстрировала. В отличие от тех же шахмат и го.
Посмотрите видео Beastyqt, он как раз размышляет о том, что ИИ играл в 3 барака, 2 старгейта, сталкеры + фениксы. Он прям так и говорит: «Если бы мне кто-то сказал, что это лучшая стратегия в пвп, то я бы сказал, чувак, ты тупой».
Обсуждали же, что такая стратегия для людей бесполезна — не смогут они физически так микрить этими юнитами, чтобы это стало лучшей стратегией в пвп.
А можно ссылку, пожалуйста, или более развернутый ответ. Чем вы хотите контрить эту стратегию и зачем вам так нужно запредельное микро для этой стратегии?
Более развернутый ответ. Разные юниты имеют разный потенциал микроконтроля, т.е. полезность одних от качества контроля почти не зависит, например carrier, у других, наоборот, сильно растет, например zerling, marine, stalker.
Игра балансировалась под живых людей, у который есть определенный предел, выше которого они полезность юнитов повышать не могут.
Если этот предел превышается — баланс меняется, и это видно на примере тактики масс-сталкеров, бесполезной в условиях ограниченного контроля.
Игра балансировалась под живых людей, у который есть определенный предел, выше которого они полезность юнитов повышать не могут.
Если этот предел превышается — баланс меняется, и это видно на примере тактики масс-сталкеров, бесполезной в условиях ограниченного контроля.
ну дык если ты можешь так эффективно блинкать сталкерами, то отличная стратегия
Каким образом у него получелось сделать overprobing? Я не специались по SC2. Помню, по SC:BW, что если уничтожат пилон, то все юниты перестают строится, пока не будет нужного количества пилонов.
Под overprobing имелось в виду, что бот строил на несколько пробок больше считавшегося оптимальным количества (по 2 пробки на минерал).
Каким образом у него получелось сделать overprobing?
Пока рабочий сверлит минерал второй рабочий несёт добытый ресурс на базу или идёт обратно. Сверлить один минерал вдвоём нельзя. Но некоторые кучки минералов немного дальше от базы, чем другие и пока второй рабочий ходит первый успевает досверлить и тоже отправляется в дорогу и какое-то небольшое время никто не сверлит такой минерал. Считалось, что эти «простаивающие» минералы — не такое большое дело, и не окупают дополнительных рабочих.
Как мне кажется, смысл не в добыче чуть большего количества минералов, а в том, что когда у тебя 25 рабов потеря 5 из них практически не снижает скорость добычи, а переход на вторую сопровождается скачкообразным ростом добычи.
Ну старкрафтер Beastyqt считает, что это побочный эффект. А у нейросети мы спросить не можем. Интересно, создаются ли где-то нейросети, способные обучившись обосновать свои действия?
Современные нейросети работают по тому же принципу, что и эволюция. Ответ на этот вопрос очевиден… Данная линия поведения приносила больший процент успеха.
Да, для медицинских применений активно разрабатывается это наравление. Т.к. никто не хочет лечить живых людей по диагнозу и рекомендациям, поставленным «черным ящиком». И некоторые подвижки вроде есть.
Это стандартное заблуждение.
Мы можем спросить у нейросети, но получить качественный ответ на этот вопрос — часто отдельная сложная задача (см. способ 1) или дополнительная нагрузка на железо (см. способ 2).
1) Например, вместо классификации «на картинке — котик/собачка» производится детекция или сегментация: «собачка — здесь, кошечка — вот там и вот там».
2) Упрощённый вариант детекции/сегментации выдаёт сама нейросеть в процессе обратного распространения ошибки. Есть способы этот вариант улучшить разными методами (без тренировки другой нейросети).
Мы можем спросить у нейросети, но получить качественный ответ на этот вопрос — часто отдельная сложная задача (см. способ 1) или дополнительная нагрузка на железо (см. способ 2).
1) Например, вместо классификации «на картинке — котик/собачка» производится детекция или сегментация: «собачка — здесь, кошечка — вот там и вот там».
2) Упрощённый вариант детекции/сегментации выдаёт сама нейросеть в процессе обратного распространения ошибки. Есть способы этот вариант улучшить разными методами (без тренировки другой нейросети).
UFO just landed and posted this here
Ну да, эта проверка, эта демонстрация не показала, что AI может обыграть человека, играя на равных. Ну и что.
Проблема не в этом, а в том, что и сами DeepMind и журналисты в интернетах поспешно презентуют это именно как безусловную победу AI при игре на равных, а не как лишь предварительный результат при большой форе у AI. Проблема в несоответствии заявляемого и действительного. Это fraud, фальсификация, введение в заблуждение, «эксперимент поставленный нечистыми руками».
То есть, никто не умаляет заслуги DeepMind в том что они смогли представить первого бота который хоть как-то смог обыграть человека в SC, но то как это было подано — это вызывает возмущение.
Такие вещи (поспешная презентация достижений которых еще нет) происходят нередко, и очень вредят науке и прогрессу. Потому что теперь все будут считать что задача уже решена, хотя она еще не решена. И если завтра кто-то сделает более «трушный» AI для SC, никому до этого уже не будет дела, мол, «мы это уже видели». Собственно, это и демотивирует даже пытаться делать это, потому что кто-то уже получил лавры (пусть и незаслуженно) за решение этой проблемы.
DeepMind следовало бы признать свою ошибку и выступить с публичными разъяснениями. Если они этого не сделают, я глубоко разочаруюсь в их команде.
Среди киберспортсменов в SC2 так же у кого-то микро лучше, у кого-то хуже, зато вытаскивает на понимании игры и оригинальных билдах. До этого матча не было вообще ботов без явных читов (бесконечные ресурсы/мапхак) способных стабильно обыгрывать киберспортсменов. Теперь есть. Бот играет в рамках правил которые установили Близы (тулкит для ботов они выпустили официально), спортсмены играют в рамках тех правил которые установили те же Близы (механика иры, запреты на макросы). Если я буду играть в против вас и мой APM будет выше — исгра сразу станет нечестной?
Вот только для Близы регулярно вносят дополнения в свои правила в попытках сбалансировать игру и сделать её интереснее. Так почему вы считаете, что правила для ботов в таких уточнениях не нуждаются?
Нет, а вот если один грает на модеме 56к из 90х а другой на оптике недалеко от магистрали то явно нечестной.
У бота совсем другая скорость интерфейса ввода/вывода с игрой. Там и зумхак (вроде как признаный а вроде и довольно тихо) и произвольное выделение юнитов (без контролок и не «квадратом») и выделение строений на которые вообще ни разу не смотрел экран.
У бота совсем другая скорость интерфейса ввода/вывода с игрой. Там и зумхак (вроде как признаный а вроде и довольно тихо) и произвольное выделение юнитов (без контролок и не «квадратом») и выделение строений на которые вообще ни разу не смотрел экран.
Бот играет в рамках правил которые установили Близы (тулкит для ботов они выпустили официально), спортсмены играют в рамках тех правил которые установили те же Близы
Если вы будете демонстрировать такой микроконтроль на ladder, на вас нажалуются и забанят за читы (на ютубе полно видео таких читеров). Поэтому бот как раз играет не по правилам. Правила это не «то, что позволяет делать API», это несколько больше. Просто на уровне API нет было смысла вводить дополнительные ограничения, которые и так продиктованы мышечно-моторными возможностями человека. Игра сбалансирована под эти неявные моторные ограничения, они являются частью правил. Абилки разных юнитов, их характеристики — все это тонко настроено именно под то, что вы управляете игрой через мышцы, мышь и клавиатуру.
Если я буду играть в против вас и мой APM будет выше — исгра сразу станет нечестной?
Если ваш APM будет выше того, что могут в принципе делать люди — то да, она сразу станет нечестной и вас забанят. Это происходит постоянно, кстати. Дело в том, что если ваш APM слишком высок, то никакие «оригинальные билды» оппоненту не помогут выиграть, вы можете задавить его тупо механикой в 100% случаев, если у вас есть хотя бы минимальное понимание игры.
у кого-то микро лучше, у кого-то хуже, зато вытаскивает на понимании игры и оригинальных билдах
Прекрасно, значит пусть бот «вытащит» на понимании игры и оригинальных билдах. Сделаем ему эффективный APM даже чуть ниже чем у человека, чтобы ни у кого не было сомнений, что дело не в моторных преимуществах!
А если бот не сможет победить в таких раскладах — значит, не очень-то он и интеллектуален. А ведь именно это мы и пытаемся выяснить — есть там превосходящий человека интеллект или нет.
AI не изобрел overprobing и не добыл никаких знаний по нему.
Вот вполне стандартная статья на аналоге википедии, вот обсуждение на реддите трехлетней давности. Помню что winter видео от которого есть в статье рассказывал это в одном из своих гайдов.
В общем-то ставить на базу больше рабочих чем положено подсказкой — стандартная практика.
Вот вполне стандартная статья на аналоге википедии, вот обсуждение на реддите трехлетней давности. Помню что winter видео от которого есть в статье рассказывал это в одном из своих гайдов.
В общем-то ставить на базу больше рабочих чем положено подсказкой — стандартная практика.
Так вот в той статье ошибочный график. Он после 16 падает, а если правильно оптимизировать добычу, то полка.
А можно ссылку на видео с такой стандартной практикой, где игрок массит рабочих до 21 и только потом ставит экспанд? Да, знания были, и от случая к случаю игроки делают больше 16 рабочих, но стандарта такого, что обязательно нужно раскачать базу до 21 рабочего — нет.
Впервые AI хоть как-то обыграл человека в эту игру, и в целом хоть в какую-то игру
такого рода.
OpenAI в доте?
AI сделанные без машинного обучения?
Есть сообщество которое соревнуется в "ботостроении" на основе первого старкрафте и показывают хорошие результаты, но обыгрываются профессионалами банальными тактиками, наподобие той, которой победил MaNa (варп-призма + обс)
Даже просто вот это наше overprobing
Я все ещё не определился — это баг, связанный с тем что они сначала специально тренировали только на добыче минералов (см. Материалы на их сайте) без "настоящих матчей" или они просто приспособились играть друг против друга ("мета", "баланс" и "стратегии" зависят в большОй степени от игроков) — потому что отличный контроль при атаке приведет к убийству рабочих.
Так же по поводу баланса — взгляните на юнитов которых строил бот — сталкер или сталкеры + дизрапторы — он тоже о многом говорит, так как эти юниты при нечеловеческом контроле гораздо лучше.
Я это к тому что люди у него не многому научатся. Его тактики — это тактики для идеального контроля, который пока ни один игрок в мире не может осуществить(и возможно не сможет никогда)
Также, по поводу "учиться у бота" — насколько ужасные размеры были в узких проходах — это отдельный разговор. Это такая ошибка, которую увидели игроки всех уровней.
Это офигенно в том числе и чисто эстетически.
Просто бот vs человек с огромной долей хайпа. Опять же посмотрите на любительских ботов для первого ск. Некоторые вещи они делают лучше, а как показала последняя игра с MaNa — он подвержен некоторым таким же хитростям
Я конечно извиняюсь, но еще во времена первого старкрафта было досконально изучено, сколько пробок сколько майнят минералов, я лично помню обсуждения в RU.STARCRAFT. И делать рабочих больше разумного количества придумали еще тогда, в прошлом веке — не обязательно как защитный маневр, но и чтобы после постройки «экспаншна» сразу перевести лишних туда.
Господин стример, вероятно, утрирует для определенной манипуляции своей аудиторией, чтобы удержать их интерес.
Мне больше интересно, как так вышло, что кучка из 15-20 голых «дизраптеров» — это внезапно выгодная стратегия.
Господин стример, вероятно, утрирует для определенной манипуляции своей аудиторией, чтобы удержать их интерес.
Мне больше интересно, как так вышло, что кучка из 15-20 голых «дизраптеров» — это внезапно выгодная стратегия.
Так ведь новизна в том, что при «бОльшем разумного» добыча на рабочего не снижается. Специально выверенные тайминги позволяют трём рабикам добывать с дальнего минерала не мешая друг другу.
Доказательств этому утверждению нет. Теоретически это возможно на какой-то конкретной карте, хотя бы даже и той, которую использовали в тесте, но я сильно сомневаюсь.
Что значит нет, откройте продакшен в реплее и посмотрите: 16 рабочих — 900 минералов в минуту, 21 рабочий — 1000 минералов в минуту.
По вашим же цифрам очевидно что добыча на рабочего как раз таки снижается. Если бы нет, то 5 дополнительных рабочих работали бы так же эффективно как и все остальные, а дальше математика школьного уровня. То, что добыча в сумме увеличивается не значит что она остается такой же для каждого отдельного рабочего.
Никто не говорит о том, что игроки не знали, что 21 рабочий приносит больше минералов, речь о том, что ИИ в каждой игре строил 21 рабочего до постановки экспанда, чего не делает никто. ПЛЮС после хараса и убийства 3-5 пробок, ИИ их не достраивает, потому что он почти не проседает по экономике, т.к. остается с 16 рабочими, в стандартном же случае у игрока бы осталось 11 рабочих, что привело бы к 50% потери добычи, что равно проигрышу.
Дизрапторы там из предпоследнего патча, когда взрыв шара происходит при столкновении с юнитом. KingCobra играл в фениксы+дизрапторы против террана в том патче, так что вот тут, как раз, ничего нового ИИ не октрыл.
Мне больше интересно, как так вышло, что кучка из 15-20 голых «дизраптеров» — это внезапно выгодная стратегия.
Дизрапторы там из предпоследнего патча, когда взрыв шара происходит при столкновении с юнитом. KingCobra играл в фениксы+дизрапторы против террана в том патче, так что вот тут, как раз, ничего нового ИИ не октрыл.
Из этого AI уже сейчас можно извлекать теоретические знания об игре, полезные для людей.
То же самое с Го было, даже в более чистом виде, так как обучение игре шло с нуля
habr.com/ru/post/373919
… В своей работе разработчики замечают, как AlphaGo Zero постепенно сама изобрела некоторые дзёсэки (дебютные комбинации), включая одну комбинацию, которая встречается в профессиональной игре.
…
По новинкам в дебютах: как и в прошлых партиях альфа-ли и альфа-мастер мы встречаем ходы, которые люди считали плохими. Я уже 15 лет преподаю го и вспоминаю, что ругал своих учеников за такие ходы. Сейчас все профессионалы го пытаются их копировать, даже гордые японцы, которые редко брали на вооружение китайские и корейские новинки. Все согласны с тем, что идеи «Альфы» мощные, никто даже не пытается из опровергнуть.
Это событие — примерно как если бы мы встретились с расой инопланетян («агенты» выведены же чем-то вроде генетических алгоритмов) и поговорили с ними на нетривиальную, интересную и, я бы даже сказал, вполне гуманитарную тему и узнали что-то новое.
Гм
Я правильно понимаю, что все правильные вопросы придумали разработчики обучающей программы: на какие аспекты поведения живых игроков следует обратить внимание, из каких аспектов состоит стратегия игры, а как характеризуется игровая ситуация? Ошеломляют стримеров — ответы, но ответы даёт тоже не «самообучившаяся машинка» и никакой не «хаос». Отвечает статистика, отвечают (неосознанно) те самые участники тысяч просмотренных матчей.
Насколько я понимаю, инопланетянами, получается, являются программисты, которые придумали, как и какую статистику собрать. Не опросом участников тысяч матчей — статистику их неосознанных и случайных действий. Круто, скорее, то, что эти инопланетяне скорее всего знают о Старкрафт больше, чем авторы игры из «Близзард», но ведь это нормально, когда критик знает о литературе больше писателя, например. :)
(это если дело не в микроконтроле. ))
Не совсем. Первый этап просмотры матчей — второй игры внутри ИИ, в этих играх проходит аналог эволюции. Как вывести мышь для жизни на Марсе рассуждениями учёных, а потом забыть ее там на сто тысяч лет. Когда ее снова найдут — мышь эволюционно приспособится к условиям планеты и выведет новые качества о которых никто не думал)
Не выведет. Не приспособит. Без Творца — никто ещё не доказал, что работает.
Но дело даже не в этом.
Что значит — просмотры матчей? Какую информацию считать важной, какую второстепенной — определили программисты ИИ. Как понять, что тот игрок победил, а этот — проиграл — подсказали программисты, но это уже несложно.
Я говорю о постановке вопросов.
Но дело даже не в этом.
Что значит — просмотры матчей? Какую информацию считать важной, какую второстепенной — определили программисты ИИ. Как понять, что тот игрок победил, а этот — проиграл — подсказали программисты, но это уже несложно.
Я говорю о постановке вопросов.
Вроде бы тут уже обсуждалась статья Хомского по поводу AI и как мы далеки от него. То что нам демонстрируют сегодня это просто жалкая фикция не стоящая даже обсуждения.
www.theatlantic.com/technology/archive/2012/11/noam-chomsky-on-where-artificial-intelligence-went-wrong/261637
www.theatlantic.com/technology/archive/2012/11/noam-chomsky-on-where-artificial-intelligence-went-wrong/261637
Тут представлена точно обратная точка зрения
Все несколько сложнее…
Хомский говорит об «интеллектуальных» системах типа IBM-овского Ватсона, которые дают ответы на естественных языках, используя статистические модели и семантический анализ. В этом он прав — Ватсон действительно не понимает о чем говорит. Он «всего-лишь» подбирает ответ, который больше всего подходит по некоторым калибровочным параметрам. В кавычках — потому, что сама процедура «подбора» довольно нетривиальна и дает результаты, которые кажутся фантастическими. Но это лишь видимость интеллектуальной деятельности.
А вот игры, особенно с полной информацией, такие как шахматы и го — это качественно иной подход. Там, условно «знание правил» вполне возможно, т.к. конечно. И ИИ знает об игре ровно столько же, сколько игрок-человек. Последние агенты по игре в шахматы/го обучались игре не на примерах игр людей, а сами с собой, т.е. у них не было ничего, кроме правил и возможности играть. И они научились так, что у людей больше нет шансов. Они переоткрыли заново закономерности, на которые людям понадобились тысячи лет, за несколько дней (с учетом их скорости это примерно тоже самое).
В моем понимании такие вот игровые движки гораздо ближе к интеллекту, чем Ватсон.
Кроме того, есть еще один интересный момент: по английски эта область называется AI, что расшифровывается, как Artificial intelligence, где второе слово, не совсем интеллект. ;) Это буквально можно перевести, как «интеллектуальная деятельность». Они как бы сразу на интеллект не замахиваются, хорошо это или плохо…
Хомский говорит об «интеллектуальных» системах типа IBM-овского Ватсона, которые дают ответы на естественных языках, используя статистические модели и семантический анализ. В этом он прав — Ватсон действительно не понимает о чем говорит. Он «всего-лишь» подбирает ответ, который больше всего подходит по некоторым калибровочным параметрам. В кавычках — потому, что сама процедура «подбора» довольно нетривиальна и дает результаты, которые кажутся фантастическими. Но это лишь видимость интеллектуальной деятельности.
А вот игры, особенно с полной информацией, такие как шахматы и го — это качественно иной подход. Там, условно «знание правил» вполне возможно, т.к. конечно. И ИИ знает об игре ровно столько же, сколько игрок-человек. Последние агенты по игре в шахматы/го обучались игре не на примерах игр людей, а сами с собой, т.е. у них не было ничего, кроме правил и возможности играть. И они научились так, что у людей больше нет шансов. Они переоткрыли заново закономерности, на которые людям понадобились тысячи лет, за несколько дней (с учетом их скорости это примерно тоже самое).
В моем понимании такие вот игровые движки гораздо ближе к интеллекту, чем Ватсон.
Кроме того, есть еще один интересный момент: по английски эта область называется AI, что расшифровывается, как Artificial intelligence, где второе слово, не совсем интеллект. ;) Это буквально можно перевести, как «интеллектуальная деятельность». Они как бы сразу на интеллект не замахиваются, хорошо это или плохо…
Он «всего-лишь» подбирает ответ, который больше всего подходит по некоторым калибровочным параметрам
Мозг делает то же самое в фоновом режиме. Проявляется в форме озарения. Как при открытии таблицы Менделеева, например. Мозг перебирает комбинации в виде абстрактных образов и при появлении интересного результата перекидывает его в сознание для проверки или реализации. То же самое когда вспоминаешь чье-то имя или «где я его видел», результат индексирования БД может вернуться тогда, когда уже и не нужно. При игре в шахматы так же примерно, по крайней мере у новичков, перебираются все варианты на 1-2 шага, сначала всё важное вокруг ключевых фигур, потом вокруг всякой мелочи, отсеивая совсем бесполезные ходы.
Просто наблюдаю, что много общего у искусственных нейронных сетей, и биологических. Такой же поиск локального или глобального минимума ошибки в многомерном пространстве вариантов.
А что такое человеческий интеллект уже другая тема. Возможно просто глюк, «фича», который мы считаем чем-то важным. Необходимость живого понимания или осознания, против эффективных алгоритмов ИИ.
Они переоткрыли заново закономерности, на которые людям понадобились тысячи лет, за несколько дней
Тут отдельная интересная тема, как эти закономерности извлечь. При игре в Го их просто наблюдали по ходу игры. Но, уверен, в глубинах нейросетей ИИ таких интересных закономерностией в тысячи раз больше. Можно сотни книг по ним написать, про разные предельные случаи игр, интересные ситуации и приемы, закономерности, которые просто не всплыли в играх за ненадобностью.
--
Мозг делает то же самое в фоновом режиме.
Не то же самое, в том-то и дело. Ватсон работает по принципу китайской комнаты — он не понимает, он подбирает по параметрам.
АльфаСтар понимает игру ровно в том же объеме, что игрок-человек. По сути он проходит (или почти проходит) тест Тьюринга в рамках возможностей игры (если исключить чат и сверх быстрый АПМ). Т.е. играя с ним и не имея возможности использовать чат — только по его поведению в игре вы не сможете определить — человек на той стороне или ИИ. Может быть сейчас это верно еще не на 100%, но уже очень близко к тому. И со временем — они этого точно добьются.
В моем понимании такие вот игровые движки гораздо ближе к интеллекту, чем Ватсон.
Движок просто выполняет вычисления по довольно несложной формуле (но с огромным числом параметров) с большим числом входов и выходов. Обучение — подбор константных параметров в формуле. До интеллекта в вашем понимании тут очень далеко.
Сейчас принято делить весь AI на сильную и слабую формы. Вот AlphaStar — это слабая форма искусственного интеллекта. И в такой форме AI массово применяется.
А как сделать сильную форму — пока не понятно. И в общем не понятно, а нужно ли.
Есть мнение, что единственная известная нам сильная форма, естественный интеллект человека, развилась для социализации и общения с себе подобными. Зачем нам AI который будет котиков во вконтакте постить?:)
Движок просто выполняет вычисления по довольно несложной формуле— вы это заявляете на основании какой-то конкретной информации о работе движка, или это ваше предположение?
Я согласен, что в данном случае имеет место быть слабая форма, т.е. движок решает конкретную практическую задачу и не является универсальным. Вопрос в другом: сугубо в рамках этой задачи можно ли сказать, что он работает так же, как мозг человека? Т.е. что он проходит усеченный тест Тьюринга (т.е. такой тест, в котором возможность взаимодействия с ним ограничена логикой игры)? Вполне допускаю, что нет. Пока нет…
Но думаю — недолго осталось.
В тех же Шахматах и Го скорее другая проблема — там можно понять, что на той стороне не человек, но уже потому, что он слишком хорош! Т.е. превосходит человека.
На основании конечно же. Движок использует обучение с подкреплением и реализован на библиотеке TensorFlow с ускорением на TPU (Tensor Processing Unit) — обе разработки Google. Собственно библиотека — целиком про операции над матрицами, а TPU позволяет их очень быстро и экономично в плане электричества перемножать. Обучение сводится к подбору коэфициентов множителей во всех ячейках.
Вокруг еще много всяких «костылей», но в основе математика довольно тривиальна (с нетривиальным результатом).
Насколько я знаю, большинство ученых считает, что слабая форма ИИ сама по себе — тупик. Экстенсивного перехода от нее к сильной нет, нужно менять подходы.
P.S. На мозг это похоже довольно слабо. Да, имеется некая вырожденная концепция «нейрона», но совсем абстрактная, в виде двух чисел и функции порога активации.
Вокруг еще много всяких «костылей», но в основе математика довольно тривиальна (с нетривиальным результатом).
Насколько я знаю, большинство ученых считает, что слабая форма ИИ сама по себе — тупик. Экстенсивного перехода от нее к сильной нет, нужно менять подходы.
P.S. На мозг это похоже довольно слабо. Да, имеется некая вырожденная концепция «нейрона», но совсем абстрактная, в виде двух чисел и функции порога активации.
В тех же Шахматах и Го <...> можно понять, что на той стороне не человек, но уже потому, что он слишком хорош!Это зависит от разности уровней. С точки зрения шахматиста-второразрядника, игра против компа или против гроссмейстера не отличается: противник слишком хорош, и по грубым прикидкам (разница в рейтинге -> шанс выиграть) игра идет в одни ворота. То есть для большинства шахматистов, отличить бота от Карлсена будет крайне трудно.
При этом работает он точно не так же, как мозг человека.
Ну и к тому же, и AlphaStar, и Stockfish написаны не с целью пройти усеченный тест Тьюринга. Если это и случится, то как побочный эффект.
В идеальной ситуации нужно предоставлять равные условия обоим игрокам — чтобы вывод информации был только на экран, а ввод только через стандартные интерфейсы ввода (со всеми их ограничениями вроде невозможности клика в другой точке без реального перемещения курсора)
Ну и так очевидно, что роборука будет двигать мышку быстрее и точнее, чем человеческая. Получается только бессмысленное усложнение, не имеющее отношения непосредственно к AI.
Почему бессмысленное? Например — нужно указать двум юнитам атаковать двух вражеских юнитов, каждый атакует своего. Для человека порядок будет такой — выделить одного юнита, перевести курсор на врага, кликнуть, перевести курсор на второго юнита, кликнуть, снова перевести курсор уже на другого врага и снова кликнуть. Какая бы быстрая рука не была у живого игрока, это в любом случае миллисекунды на перемещение курсора. Как я понял, AI же отдает команды в виде «курсор на координаты x1,y1; клик; курсор на координаты x2,y2; клик» и т.д., то есть курсор переносится как бы моментально и точно в нужные координаты. Если юниты находятся рядом, то еще куда ни шло, а если они на разных концах экрана? Человеку нужно как минимум 3 раза полностью пересечь курсором экран (а точность движений человека больше в центре экрана и падает к краям), плюс неизбежный лаг зрения и нервных реакций, которых лишен AI. Разница может быть в миллисекунды, но за всю игру она накапливается.
Если цель стоит в том, чтобы сделать молотилку, которая «закликивает» противника, то это уже удалось. Если же цель в том, чтобы создать более-менее равные условия для игрока и бота, нужно вводить все эти поправки. И тогда боту для победы нужно будет обучаться стратегии, а не микротактике.
Если цель стоит в том, чтобы сделать молотилку, которая «закликивает» противника, то это уже удалось. Если же цель в том, чтобы создать более-менее равные условия для игрока и бота, нужно вводить все эти поправки. И тогда боту для победы нужно будет обучаться стратегии, а не микротактике.
Если цель стоит в том, чтобы сделать молотилку, которая «закликивает» противника, то это уже удалось.Только эта «молотилка» строит базы, разведывает, харасит, отступает, разводит. А кликает всего в два раза больше, а лучше? Если уж прогеймеры делают бессмысленные и бесполезные клики, то почему мы считаем, что клики бота все полезны? Кликающих молотилок было не мало, и кликали они на порядки больше, только толку это не даёт. Альфастар это прорыв по всем аспектам игры, где-то больше, где-то меньше.
А вы понимаете, что там соревновались человек и бот? А вы понимаете, что человеку будет несколько неудобно пользоваться API, который Близард сделали как «стандартные интерфейсы ввода» для ботов? С каким счётом проиграл бы Мана при игре через API для ботов?
Надо разделять — человеку монитор и мышку, а боту — API.
Надо разделять — человеку монитор и мышку, а боту — API.
Конечно, но ведь ситуация тут зеркальная. Бот не может играть клавой/мышкой/монитором и человек не может через API. Так почему мы ставим в неудобные условия только бота?
Потому что поставленная задача – ограничить бота до человеческого уровня, а не наоборот. Разумеется, это не единственный способ это сделать, и я даже не говорю, что лучший. Но это можно рассмотреть как вариант.
А с какого перепуга надо ограничивать бота? У нас боты топовых европейских прогеймеров вперёд ногами выносят?
Недавно у Алекса на канале вышло видео, где игрок алмазной лиги порвал двух ботов, так никто не вопил, что матч был не честным, давайте игрока ограничивать.
Стоило боту (пятерым ботам) победить двух прогеймеров(!), как началось.
Ещё раз — ситуация зеркальная. Если мы ограничиваем бота, то тем самым признаём, что бот в реалтайм стратегию без шансов обыгрывает человека.
Недавно у Алекса на канале вышло видео, где игрок алмазной лиги порвал двух ботов, так никто не вопил, что матч был не честным, давайте игрока ограничивать.
Стоило боту (пятерым ботам) победить двух прогеймеров(!), как началось.
Ещё раз — ситуация зеркальная. Если мы ограничиваем бота, то тем самым признаём, что бот в реалтайм стратегию без шансов обыгрывает человека.
Об этом в посте тоже есть. Смысл не в том, чтобы сделать бота, который будет выигрывать у человека, а в том, чтобы сделать бота, который будет выигрывать у человека при равных возможностях по управлению юнитами. Иначе бот сможет побеждать за счёт микроменеджмента, не особо заботясь о стратегии, а нужно не это.
У AlphaStar были ограничения на число действий, но недостаточные.
А если убрать все ограничения, то да, боты легко переиграют человека. Гляньте видео в посте, где земли выносят танки при абсолютном контроле ИИ. Люди не могут пройти это испытание (уничтожить все танки), насколько я знаю. ИИ может, и с минимальными потерями.
*недостаточные с точки зрения автора статьи (извините, не соображу, как редактировать комментарий из мобильной версии)
В том то и дело, что не сможет побеждать, в старкрафт не сможет. Т.е. до этого момента таких случаев не было, а ботов делают давно, ещё с первой игры.
В старкрафте три вида деятельности — экономика, макро и микро. Чтобы победить нужно превосходить хотя бы в двух. Раньше боты показывали АПМ и 10к и 20 и даже 100к, но победить это им не помогало от слова совсем.
AlphStar, вероятно, первый бот, который умно контролит. Но этого мало, он ещё и умно развивает экономику. Вот два крыла, позволяющие птице полететь.
Пляски вокруг АПМ идут давно и не в разрезе ботов, а вообще как мерило скила. Аля «хочешь в более высокую лигу — учись кликать». Может для человека, который знает механику, понимает действия противника, знает как реагировать это полезный совет, но не надо доводить это до абсолюта. Мой АПМ (или даже еАПМ) выше твоего — у тебя нет шансов. Есть известные прогеймеры с низким АПМ, выезжающие за счёт экономики и макро.
В старкрафте три вида деятельности — экономика, макро и микро. Чтобы победить нужно превосходить хотя бы в двух. Раньше боты показывали АПМ и 10к и 20 и даже 100к, но победить это им не помогало от слова совсем.
AlphStar, вероятно, первый бот, который умно контролит. Но этого мало, он ещё и умно развивает экономику. Вот два крыла, позволяющие птице полететь.
Пляски вокруг АПМ идут давно и не в разрезе ботов, а вообще как мерило скила. Аля «хочешь в более высокую лигу — учись кликать». Может для человека, который знает механику, понимает действия противника, знает как реагировать это полезный совет, но не надо доводить это до абсолюта. Мой АПМ (или даже еАПМ) выше твоего — у тебя нет шансов. Есть известные прогеймеры с низким АПМ, выезжающие за счёт экономики и макро.
У меня есть ощущение, что тут ещё несколько лет будет феномен «настоящего шотландца».
Потому что у меня есть 99% уверенность, что если бы AlpaStar сильнее зарезали бы клики — он бы забил на микро и научился бы выигрывать чисто за счёт экономики и макро.
И все статьи были тоже «разгромными»: «ну что это за игра, это вообще не Старкрафт, а Цивилизация какая-то».
P.S. Это, кстати, показывает ущербность теста Тьюринга: когда появится ИИ, который сможет долгие годы выдавать себя за человека… это будет значить, что всё — человек уже живёт исключительно за счёт милости этого ИИ. Потому что он должен будет не просто быть лучше, сильно лучше, человека во всём, но понимать чего человек может, а чего не может — причём настолько хорошо, что сможет себя ограничивать — и очень-очень точно ограничивать.
Потому что у меня есть 99% уверенность, что если бы AlpaStar сильнее зарезали бы клики — он бы забил на микро и научился бы выигрывать чисто за счёт экономики и макро.
И все статьи были тоже «разгромными»: «ну что это за игра, это вообще не Старкрафт, а Цивилизация какая-то».
P.S. Это, кстати, показывает ущербность теста Тьюринга: когда появится ИИ, который сможет долгие годы выдавать себя за человека… это будет значить, что всё — человек уже живёт исключительно за счёт милости этого ИИ. Потому что он должен будет не просто быть лучше, сильно лучше, человека во всём, но понимать чего человек может, а чего не может — причём настолько хорошо, что сможет себя ограничивать — и очень-очень точно ограничивать.
Ситуация не зеркальная.
Когда боты были слабые, то они просто были слабые, баланс игры не нарушался, вопросов к ботам не было.
Когда боты стали играть сравнимо с человеком, нарушился баланс игры, из-за более удобного API, нежели интерфейса пользователя. API отличается от интерфейса пользователя, нарушается зеркальнность.
Когда играют люди с людьми, интерфейсы одинаковые, всё зеркально.
Когда играют боты с ботами, API одинаково, всё зеркально.
Когда играют люди с ботами, появляются вопросы, из-за нарушения баланса в игре. Это касается стратегий реального времени, в пошаговых играх, в которые играли ранее проблемы такой не было. Проблема новая. Надо думать что делать.
Например, до Старкрафта, была Дюна, там каждому юниту нужно было указывать в кого стрелять, автоматического выбора цели не было. Естественно боты там были бы еще в более выигрышном положении.
Или представим себе карту Старкрафта размером на 200 стандартных баз, внимания человека просто не хватит всё контролировать.
Еще из положения можно выйти добавив скрипты управления юнитами, развивая пользовательский интерфейс, чтобы микроконтроль и стратегию на себя брал игровой движок. Например, указал юниту атаковать, и некоторое время юнит становится недоступен и действует по своему стандартному алгоритму, не обязательно эффективному, главное одинаковому у всех игроков, для создания зеркальности, одинаковых условий игры. Микроконтроль уходит на второй план, а на первое место приходит стратегия более высокого уровня. Хотя если на помощь игроку придет ИИ, то игра может выродится в игру от шахмат, до «камень, ножницы, бумага». Указал параметры развития при старте, и далее игровой движок сам всем управляет, с минимальным вмешательством игрока. Игрок анализирует игровую ситуацию, и изредка вносит коррективы в игру, меняя приоритеты.
Когда боты были слабые, то они просто были слабые, баланс игры не нарушался, вопросов к ботам не было.
Когда боты стали играть сравнимо с человеком, нарушился баланс игры, из-за более удобного API, нежели интерфейса пользователя. API отличается от интерфейса пользователя, нарушается зеркальнность.
Когда играют люди с людьми, интерфейсы одинаковые, всё зеркально.
Когда играют боты с ботами, API одинаково, всё зеркально.
Когда играют люди с ботами, появляются вопросы, из-за нарушения баланса в игре. Это касается стратегий реального времени, в пошаговых играх, в которые играли ранее проблемы такой не было. Проблема новая. Надо думать что делать.
Например, до Старкрафта, была Дюна, там каждому юниту нужно было указывать в кого стрелять, автоматического выбора цели не было. Естественно боты там были бы еще в более выигрышном положении.
Или представим себе карту Старкрафта размером на 200 стандартных баз, внимания человека просто не хватит всё контролировать.
Еще из положения можно выйти добавив скрипты управления юнитами, развивая пользовательский интерфейс, чтобы микроконтроль и стратегию на себя брал игровой движок. Например, указал юниту атаковать, и некоторое время юнит становится недоступен и действует по своему стандартному алгоритму, не обязательно эффективному, главное одинаковому у всех игроков, для создания зеркальности, одинаковых условий игры. Микроконтроль уходит на второй план, а на первое место приходит стратегия более высокого уровня. Хотя если на помощь игроку придет ИИ, то игра может выродится в игру от шахмат, до «камень, ножницы, бумага». Указал параметры развития при старте, и далее игровой движок сам всем управляет, с минимальным вмешательством игрока. Игрок анализирует игровую ситуацию, и изредка вносит коррективы в игру, меняя приоритеты.
из-за более удобного API, нежели интерфейса пользователяВот я и предлагаю человеку перейти на более удобный интерфейс — отказаться от монитора, мышки и клавиатуры, в пользу API.
Это как личностные особенности — кому-то обутым нормально играется, а кто-то любит разуваться. Кто-то играет в очках, а у кого-то хорошее зрение. У кого-то по молодости лет хорошие рефлексы, а кому-то за 30.
Никто же не разделяет турниры и регалии по таким различиям и неравенствам.
Ваши предложения — точно сломают равенство. Кто-то хорош в микро — вы нивелируете его скил, кто-то играет в микронезависимые билды — вы упрочите его игру.
Когда боты стали играть сравнимо с человекомДа, но не за счёт микро. Вы боретесь с несуществующей проблемой.
Вот я и предлагаю человеку перейти на более удобный интерфейс — отказаться от монитора, мышки и клавиатуры, в пользу API.
Так сказать, вы пойманы с поличным! Сбросьте кожаную оболочку и пройдите в изолятор для роботов!
Каким образом вы себе представляете человека, способного играть исключительно через апи? Тем более без мышки, экрана и клавиатуры. Чем будет посылать запросы и где читать ответы? ;)
Каким образом вы себе представляете человека, способного играть исключительно через апи? Тем более без мышки, экрана и клавиатуры. Чем будет посылать запросы и где читать ответы? ;)но ведь тот же самый вопрос можно задать и про мышку для робота
Отнюдь. Оно было бы так, если бы роботы были отдельным «биологическим» видом. Однако, роботов создаём мы, конструируем мы и мы выбираем интерфейсы, через которые они будут работать.
Таким образом, если мы себе поставим цель «научить бота играть мышкой и экран», то и реализовывать тоже нам её, а не роботам.
Таким образом, если мы себе поставим цель «научить бота играть мышкой и экран», то и реализовывать тоже нам её, а не роботам.
> Каким образом вы себе представляете человека, способного играть исключительно через апи?
Ну технически если посмотреть на sc2 bot api, то там игра по сути пошаговая. каждый ход игры боту отгружается вся информация про все что он видит (все юниты/здания вне тумана войны + некоторые под туманом + вся инфа про все видимые юниты/здания), бот делает несколько действий (а-ля юнит такой-то — двигайся туда, юнит такой-то — используй абилку «атака» на таком-то юните) и говорит «закончить ход». Просто чтобы это было в real-time'е — бот должен заканчивать свой ход достаточно быстро. Технически можно сделать ботов, которые играют медленнее реал-тайма и заставить их друг с другом играть. Можно сделать так же и для ходов человека — пусть человек играет через bot api, без ограничений на продолжительность хода, со всей информацией которую предоставляли боту.
Ну технически если посмотреть на sc2 bot api, то там игра по сути пошаговая. каждый ход игры боту отгружается вся информация про все что он видит (все юниты/здания вне тумана войны + некоторые под туманом + вся инфа про все видимые юниты/здания), бот делает несколько действий (а-ля юнит такой-то — двигайся туда, юнит такой-то — используй абилку «атака» на таком-то юните) и говорит «закончить ход». Просто чтобы это было в real-time'е — бот должен заканчивать свой ход достаточно быстро. Технически можно сделать ботов, которые играют медленнее реал-тайма и заставить их друг с другом играть. Можно сделать так же и для ходов человека — пусть человек играет через bot api, без ограничений на продолжительность хода, со всей информацией которую предоставляли боту.
Мысль любопытна, но можно представить, сколько времени у человека займёт одна игра :).
Единственное, для такого нужно будет изменить механику игры, чтобы после каждого «хода» она замораживалась, поскольку нам не нужно, чтобы за время одного «человеческого» хода все кд прошли, ресурсов набежало в пару тысяч, а все юниты достроились. ж)
Но в целом, в пошаговую игру без ограничения по времени, действительно, без проблем можно играть и без мышки, экрана и клавиатуры, только через bot-api. А команды, в конце-то концов, можно и голосовым вводом отправлять, а пришедший ответ записывать на диктофон и затем в тетрадь переписывать.
Но, хороший вопрос, сколько времени займёт одна игра? Год? Два? Пару поколений? :D
Но в целом, в пошаговую игру без ограничения по времени, действительно, без проблем можно играть и без мышки, экрана и клавиатуры, только через bot-api. А команды, в конце-то концов, можно и голосовым вводом отправлять, а пришедший ответ записывать на диктофон и затем в тетрадь переписывать.
Но, хороший вопрос, сколько времени займёт одна игра? Год? Два? Пару поколений? :D
Пускай учат играть ИИ в Majesty. Там вообще нет контроля над юнитами. Только их создание и назначение награды за врагов и разведку. Вот где стратегия.
Потому что игра StarCraft — для людей, а не для ботов, а для ботов это получится уже не StarCraft. Это нечто, как минимум, без правил. В чём боты оказываются лучше. А уборщик дядя Лян, который закоротит силовой кабель — лучше всех, побеждает вообще всех.
Чего-то тут половину народу переклинило в спортивный аспект. Киберспорт — конечно, спорт, но только игровые его виды. Что это значит? Что интересны не сами по себе показатели, а сопоставление их с человеческими возможностями и ограничениями! Точнее, преодоление ограничений людьми-участниками. ПРАВИЛА ИГРЫ придуманы в основном, чтобы выпячивать именно эти ограничения. Если для старкрафта не надо будет «учиться кликать» «почти как бот», то это тоже будет уже не старкрафт.
Ну или так же шашиста «побеждает» игрок «в чапаева». Тоже можно сказать, что у того просто навыки лучше. Или робота выпустить на реальное футбольное поле (не вратарём), только сказать, что раз у этой модели ног нет, а только колёсики, то вот этому «игроку» разрешаем мяч хватать руками (манипуляторами).
Об интеллекте, стратегическом «мышлении» и технике «игры» машин это не говорит никак; вероятно, микроконтроль — это всего один аспект «нечестной игры», самый наглядный. Если даже разработчикам бота удастся снять эту претензию к упору на тактику боя вместо экономики и развития, вероятно, найдутся и другие.
Чего-то тут половину народу переклинило в спортивный аспект. Киберспорт — конечно, спорт, но только игровые его виды. Что это значит? Что интересны не сами по себе показатели, а сопоставление их с человеческими возможностями и ограничениями! Точнее, преодоление ограничений людьми-участниками. ПРАВИЛА ИГРЫ придуманы в основном, чтобы выпячивать именно эти ограничения. Если для старкрафта не надо будет «учиться кликать» «почти как бот», то это тоже будет уже не старкрафт.
Ну или так же шашиста «побеждает» игрок «в чапаева». Тоже можно сказать, что у того просто навыки лучше. Или робота выпустить на реальное футбольное поле (не вратарём), только сказать, что раз у этой модели ног нет, а только колёсики, то вот этому «игроку» разрешаем мяч хватать руками (манипуляторами).
Об интеллекте, стратегическом «мышлении» и технике «игры» машин это не говорит никак; вероятно, микроконтроль — это всего один аспект «нечестной игры», самый наглядный. Если даже разработчикам бота удастся снять эту претензию к упору на тактику боя вместо экономики и развития, вероятно, найдутся и другие.
> Бот не может играть клавой/мышкой/монитором
Не вижу проблемы. Дырка usb, дырка d-port, спеки чёто стоят но не космически.
Не вижу проблемы. Дырка usb, дырка d-port, спеки чёто стоят но не космически.
На мой если бы у AlphStar была бы проблема со спам-кликами ее бы элементарно решили. Просто бы выделили клики в одну точку и заменили бы их одним кликом и в обучающих играх
Это стало возможным благодаря трюку под названием «быстрый огонь». TLO не щёлкает супербыстро. Он просто держит кнопку — и игра регистрирует это как 2000 APM. Единственное, что вы можете сделать с быстрым огнём — это спамить с сумасшедшей скоростью. Вот и всё. TLO просто использует это по какой-то причине.
Протосы его используют для одной простой цели — быстро призывать юнитов. Без этого приема необходимо сначала выбрать юнита, которого хочешь призвать, а после этого кликнуть мышкой в нужном месте. А вот с помощью «быстрого огня» клики мышки совсем не нужны — первое нажатие клавиши выбирает юнита, а второе нажатие клавиши призывает его в место, куда указывает курсор мыши. Таким образом, достаточно зажать одну кнопку, и провести курсором мыши, чтобы призвать сразу большой отряд.
Сам по себе он не мог дать такое распределение как на графике: ну не мог же TLO пол-игры юнитов варпать. Там явно он использовался для чего-то ещё.
Rapid Fire работает не только с призывом юнитов, есть другие способности с «быстрым» прменением, например snipe у призраков за терранов: youtu.be/4k3CXRRrHbM?t=21
Проблема в том, что StarCraft слишком сложен для того, чтобы решить эту задачу «в один прием». Даже если ты — DeepMind, у тебя есть Google TPU и все деньги мира.
Когда эти господа делали ИИ, который играл в Atari, если мне не изменяет память, они дали ИИ в качестве «устройства ввода» имитацию джойстика, а в качества «устройства вывода» просто картинку н экране. Сеть училась набивать максимальный счет — единственная доп информация, которую она получала (и это — разумное допущение, так как обучение чтению и интерпритации чисел, написаных на экране — вне пределов поставленной задачи).
Вполне понятно, почему Object Detection не использовался для SC2. Смысла тратить силы на обнаружение юнитов на экране не особо много. Это не влияет на результат.
А вот со вводом они явно напортачили. Сетка умеет выполнить команду «выделить юниты» или «отправить на атаке туда-то». До кучи, она видит всю огромную карту, вместо одного экрана. Фактически, если проводить аналогию с человеком, она «чувствует, как меняется состояние каждого юнита на карте и отдает приказы силой мысли». Думаю, что имея такие сверхспособности, многие из нас смогли бы обыграть прогеймера с мышкой и клавиатурой…
Решение тут очень простое. Выдать сетке ту самую мышку и ту самую клавиатуру. И задать лимиты, с которыми она может тыкать в кнопки и двигать курсором. Бог с ней, с точностью. Лишь бы скорость была «человеческой».
Да, уить ее пользоваться мышью и хоткеями было бы несколько дольше и сложнее. Но этим мы автоматически снимаем проблему спам-кликов. Люди спам-кликают рядом с тем местом, где кликнули только что. Сделать пять «спам-кликов» подряд по разным юнитам на разных частях карты не удастся.
Когда эти господа делали ИИ, который играл в Atari, если мне не изменяет память, они дали ИИ в качестве «устройства ввода» имитацию джойстика, а в качества «устройства вывода» просто картинку н экране. Сеть училась набивать максимальный счет — единственная доп информация, которую она получала (и это — разумное допущение, так как обучение чтению и интерпритации чисел, написаных на экране — вне пределов поставленной задачи).
Вполне понятно, почему Object Detection не использовался для SC2. Смысла тратить силы на обнаружение юнитов на экране не особо много. Это не влияет на результат.
А вот со вводом они явно напортачили. Сетка умеет выполнить команду «выделить юниты» или «отправить на атаке туда-то». До кучи, она видит всю огромную карту, вместо одного экрана. Фактически, если проводить аналогию с человеком, она «чувствует, как меняется состояние каждого юнита на карте и отдает приказы силой мысли». Думаю, что имея такие сверхспособности, многие из нас смогли бы обыграть прогеймера с мышкой и клавиатурой…
Решение тут очень простое. Выдать сетке ту самую мышку и ту самую клавиатуру. И задать лимиты, с которыми она может тыкать в кнопки и двигать курсором. Бог с ней, с точностью. Лишь бы скорость была «человеческой».
Да, уить ее пользоваться мышью и хоткеями было бы несколько дольше и сложнее. Но этим мы автоматически снимаем проблему спам-кликов. Люди спам-кликают рядом с тем местом, где кликнули только что. Сделать пять «спам-кликов» подряд по разным юнитам на разных частях карты не удастся.
Немного сарказма. Претензии к ИИ по поводу "чувствует, как меняется состояние каждого юнита на карте и отдает приказы силой мысли" — очень похожи на жалобы терранов, что королева Роя чувствует всех своих подопечных и отдаёт им приказы телепатически, т.е. их система коммуникаций превосходит таковую у людей, и «это нечестно». =)
Это же не претензии. Просто я попытался в первом приближении создать модель задачи для ИИ, приближенную к той, которую решает реальный игрок. Там некоторые комментаторы уже написали про «добавить ему определенный процент мисскликов и уменьшить память!!» Вот это я считаю уже перебором.
По аналогии несколько человек бы за одну комманду играли бы тогда — прикольно было бы посмотреть. Один человек отвечает за стратегию (где строим базу и когда атакуем) и еще трое человек(напритер) микрят отрядами юнитов.
Иерархия управления как в человеческой армии.
Иерархия управления как в человеческой армии.
Зато у людей каждый юнит думать умеет… Самые читеры в этом плане — протоссы, у них есть (ну, был до событий кампании LotV) и индивидуальный интеллект, и телепатическая связь друг с другом.
А вот со вводом они явно напортачили. Сетка умеет выполнить команду «выделить юниты» или «отправить на атаке туда-то».
Вы критикуете, не разбираясь в вопросе. Сетка не умеет выделять юнитов. Сетка использует API, который Близард написали для работы ботов. Какой интерфейс сделали для ботов — таким бот и пользуется. Так вы придёте к проведению матчей бот и человек играют мышкой, и бот и человек играют через API. Ну чтобы все были «в равных условиях».
Сетка не умеет выделять юнитов. Сетка использует API, который Близард написали для работы ботов.
Лол. Я не только знаю об этом, я сам скачивал pysc2 и изучал его API, пытаясь что-то тогда даже изучать и кодить. Жаль, знания на тот мемент подвели. Я только начинал изучать tensorflow. А еще я несколько лет назад что-то делал на BWAPI. Правда, увы, тоже безуспешно.
Под «умеет выполнить команду «выделить юниты»» я имел в виду как раз API команду. Человек же такой опции не имеет. Ему надо либо Ctrl+Click+Click+Click, либо «резинку», которая выделяет рамкой и совсем не мгновенно.
Это все не то, ни го, ни шахматы, ни победы в 1х1 в доте, ни в старкратфте. То есть это, конечно же, сильный шаг вперед, но все равно — не это ожидается от ИИ. Игры, в которых можно выиграть благодаря чудесному микроконтролю или особо далеким просчетам туч комбинаций — это все естественно рано или поздно падет перед компами. ИИ интересен именно с точки зрения стратегического мышления в условиях недостатка данных — и я не очень понимаю, почему как раз эту интересную тему вечно обходят и пытаются выехать на микроконтроле. Да кому нужны ваши клики в нужный пиксель вообще, очевидно что компьютер это делает лучше, чем человек и быстрее! Интересно как бы повела себя стратегия в условиях недостатка микро, как она смогла бы переигрывать на макро уровне — вот что важно, а не эти тыки. А для этого нужно во-первых ограничение сверху на апм, во-вторых игра, в которой макро влияет на результат существенно больше, чем микроконтроль (например, LoL, только не урезанный «1х1 на миде», а полноценный 5х5 и со всеми героями).
Старкрафт не требователен к микроконтролю. В игре три кита, в двух из которых надо быть лучше соперника для победы. Это экономика, макро и микро. Эта победа показала, что у бота может быть что-то ещё, кроме хорошего микро. Да и микро мягко говоря было несравнимо лучше других SC2 ботов, что тоже огромное достижение или даже прорыв на новый уровень.
UFO just landed and posted this here
или особо далеким просчетам туч комбинаций
Шахматы и Го были выбраны как раз из-за того, что просчет тучи комбинаций там практически невозможен. Построение полного дерева на текущем этапе развития техники невозможно. И по сути Альфа играет в эти игры именно как человек — базируясь на текущем опыте и прикидывая сравнительно недалеко…
ИИ интересен именно с точки зрения стратегического мышления в условиях недостатка данных— именно поэтому Старкрафт. Ну, по крайней мере должен быть. Потому, что планировалось, что всю карту он не будет видеть, как и человек.
Я думаю, что высокий АПМ — это временный этап. Им нужно было что-то показать, и если бы они показывали бота, проигрывающего, это не вызвало бы резонанса.
А вот про шахматы — это вы, как раз, зря.
Если посмотрите ролики со знающими людьми, все сходятся на том, что Fritz, которого на голову разнес AlphaZero, как раз, играл на «глубоком просчете», а сам AlphaZero делал нестандартные ходы и очень элегантные комбинации, которые «железке, мыслящей в лоб» в голову не придут.
Но шахматы намного проще, чем СК…
Если посмотрите ролики со знающими людьми, все сходятся на том, что Fritz, которого на голову разнес AlphaZero, как раз, играл на «глубоком просчете», а сам AlphaZero делал нестандартные ходы и очень элегантные комбинации, которые «железке, мыслящей в лоб» в голову не придут.
Но шахматы намного проще, чем СК…
Majesty.
Что-то не понимаю в статье. С одной стороны, утверждается, что для AlphaStar подняли APM, потому что среди нажатий много спам-кликов. С другой стороны, педалируется мысль, что с 500 APM и без спам-кликов бот легко победит человека. Так были спам-клики или нет?
Сначала подняли лимит по APM из-за спам-кликов. Потом бот отучился делать так много спам-кликов, а лимит APM остался.
Спам клики были. Автор статьи вообще не разбирается в ботах и старкрафте про уровня (не знает что таое рапид фаир и для чего его все используют), выдаёт желаемое за действительное (приравнивает АПМ бота к ЕПМ без доказательст этого).
И вообще пишет про «точность кликов» в игре с неполной информацией. Это можно вообще перевести, как «Мана проиграл 5:0 (с ТЛО вместе) по причине неточных кликов», что феерическая чушь.
И вообще пишет про «точность кликов» в игре с неполной информацией. Это можно вообще перевести, как «Мана проиграл 5:0 (с ТЛО вместе) по причине неточных кликов», что феерическая чушь.
Хм, ну как раз через rapidfire можно спамить APM. Более простой метод — удерживать кнопку любого бинда и APM будет набиваться сам собой.
Надо разобраться, что и зачем делает TLO, но явно не кликает 25 раз в секунду.
Edit: говорят побочный эффект хоткейного макроса
Разумеется не кликает.
Вот один момент, АПМ:
i.s-pic.ru/5c4f5d081e331.jpg
эАПМ (eAPM):
i.s-pic.ru/5c4f5d0800139.jpg
У него макросы. Высокий АПМ даже не в замесах.
Вот один момент, АПМ:
i.s-pic.ru/5c4f5d081e331.jpg
эАПМ (eAPM):
i.s-pic.ru/5c4f5d0800139.jpg
У него макросы. Высокий АПМ даже не в замесах.
По поводу спам-кликов и высокого APM в целом: обычно же делают, что каждое действие агента(которое не дает reward) уменьшает reward, из-за чего агент учится делать всё наиболее рационально. Интересно использовалось ли это в AlphaStar?
Мне кажется, тогда мы бы видели средний APM в районе 100, просто потому что в "ответственные" моменты он бы выдавал >2000 apm.
Мне кажется суть AlphaStar не в том как быстро он может управлять юнитами или быстро кликать, а в том что он сумел адаптироваться к игре и создать план, следуя которому он может победить.
В том то и дело что он не смог адаптироваться, что наглядно показано в последней игре)
Ну он вроде в минералы потом фотонки поставил.Оракулом подсветил и… и потом уже его окончательно заглючило. Кстати некоторые люди так же тупят, особенно те которые не в гмл лиге.
В последней игре Мана проиграл и это был счёт 5:0. Следующая игра была отдельно, с недоученным ботом, которому прикрутили ненужный костыль.
А я вот на фоне всплеска ИИ позволю себе обратить внимание на людей. Все удивляются как смогла машина выиграть у людей. Но посмотрите на удивительные результаты самих людей! На какую безумную высоту могут подняться отдельные личности в отдельных дисциплинах.
Как доминирует Магнус Карлсен в блице, что последнюю партию в классику на последних двух своих чемпионских матчах в классику просто сводит быстренько в ничью в уверенности что просто размажет соперника в блиц.
На что способны чемпионы по старкрафту, го, Усейн Болт в беге в конце-концов! Просто удивительно на что способно сочетание факторов генетики, тренировки и сумасшедшей мотивации и упорства на протяжении десятилетий
Как доминирует Магнус Карлсен в блице, что последнюю партию в классику на последних двух своих чемпионских матчах в классику просто сводит быстренько в ничью в уверенности что просто размажет соперника в блиц.
На что способны чемпионы по старкрафту, го, Усейн Болт в беге в конце-концов! Просто удивительно на что способно сочетание факторов генетики, тренировки и сумасшедшей мотивации и упорства на протяжении десятилетий
Ещё один довод к статье, графики распределения APM вводят в заблуждение, потому что людям нужно раскликиваться.
Прогеймеры все кликают примерно как MaNa, посмотрите внимательно: нет моментов с 1500 APM, но и почти нет моментов с < 100 APM. Хотя в начале игры и многих других ситуациях совершенно нефиг делать с высоким APM. Прогеймеры спамят клики в спокойных ситуациях только для того, чтобы в начале решающего сражения руки были готовы к высокой скорости.
Поэтому средний APM у бота ниже, ему это нафиг не нужно.
Судя по ситуации с AlphaGo Zero, ребята из Deepmind должны довести эту работу до конца, удачи им. Возможно их PR служба и выпускает такие кривоватые графики и заявления, чтобы сорвать побольше хайпа на подобных разоблачениях ;)
Я играю в Starcraft 2 на достаточно высоком уровне, регулярно залетаю в Grandmaster League (5500 MMR ± 300 в зависимости от фазы Луны). Просмотрел игры, ИИ в целом победил далеко не за счет нечеловеческой механики. Принятие решений в целом было очень хорошо.
Помню, еще после AlphaGo и во время первого ажиотажа ботов в sc:bw, когда были интервью с Флешем, реддит пестрел заявлениями о том, что в ИИ в старкрафте делать нечего. Мол, в целом «понимание игры» подведет. А вот что-то нифига, вполне себе что надо понимание.
Помню, еще после AlphaGo и во время первого ажиотажа ботов в sc:bw, когда были интервью с Флешем, реддит пестрел заявлениями о том, что в ИИ в старкрафте делать нечего. Мол, в целом «понимание игры» подведет. А вот что-то нифига, вполне себе что надо понимание.
Как мне кажется, понимания достаточно разработчику, а всю логику можно заскриптовать
Если бы это было так, то бота сделали бы давным-давно и не пришлось бы ждать, пока DeepMind это сделает.
Боты сделаны давным-давно и на sc2ai.net ими для них есть ладдер
UFO just landed and posted this here
"Специалист подобен флюсу" — и обсуждение ИИ на самых разных платформах это подтверждает. В данном случае:
Можно как угодно много, полезно и со знанием дела обсуждать, как человек проиграл (или нет) программе. Но надо понимать при этом, что все виды нейросетей пока что освоили самообучение. Это в биологии называется условный рефлекс. Просто человек сам настолько плохо обучается (слишком универсален, да и отлажен изначально на задачах "по веткам лазить"), что проигрывает специашьно обученному.
Если продолжить биологическую линейку — впереди еще весьма длинный путь до разумных эпизодов (то есть разумности уровня любого млекопитающего или птицы ), а оттуда до разума как непрерывного процесса еще топать и топать.
Но, конечно, путь этот будет пройден, сомнений нет.
AlphaStar играл со сверхчеловеческой скоростью и точностью.
Сверхчеловеческая скорость и точность не помогли спасти этого сталкера:
i.s-pic.ru/5c4f6837d41b9.jpg
Сверхчеловеческая точность не помогла поставить пилон и батарейку в одну точку:
i.s-pic.ru/5c4f705c50c60.jpg
Хотя ехало туда аж две пробки:
i.s-pic.ru/5c4f711977c2d.jpg
Сверхчеловеческая точность не помогла послать на газ не 4 пробки:
i.s-pic.ru/5c4f713fb9001.jpg
Целых 2,5 игровых минуты:
i.s-pic.ru/5c4f717884038.jpg
Ай-яй-яй как же так не лезет в одну клетку:
i.s-pic.ru/5c4f71b8d8fc8.jpg
Нужно больше старгейтове:
i.s-pic.ru/5c4f720d2f8f3.jpg
Форжа и старгейт — братья на век:
i.s-pic.ru/5c4f72485b89a.jpg
Одна пробка не справится:
i.s-pic.ru/5c4f72758e59c.jpg
Остальные тезисы статьи примерно на том же уровне реалистичности. Вы только представьте каким мог быть заголовок: «Недостижимо высокий АПМ бота позволил в сухую победить двух известнейших прогеймеров европы».
Как-будто раньше не существовало ботов с ещё более высоким АПМ и которые не могли победить не то что прогеймера, а просто хорошего игрока из алмазной лиги.
Очень интересно!
Особенно интересно, в чем причина такого поведения…
Это выглядит так, как если бы у каждой пробки был свой AI и общее понимание того, что и как должно происходить на поле…
Если развить мысль, то вероятно и у каждого боевого юнита может быть своя модель поведения, не без общей координации конечно, но… Забавно.
Особенно интересно, в чем причина такого поведения…
Это выглядит так, как если бы у каждой пробки был свой AI и общее понимание того, что и как должно происходить на поле…
Если развить мысль, то вероятно и у каждого боевого юнита может быть своя модель поведения, не без общей координации конечно, но… Забавно.
высказал свое предположение здесь: habr.com/en/post/437796/#comment_19687842
если коротко: у бота нет контекста и истории действий (или они очень ограничены и он не умеет их использовать). Соответственно нет стратегии и долгосрочных планов, решение принимается по оценке текущей ситуации каждый заново (или почти каждый раз).
если коротко: у бота нет контекста и истории действий (или они очень ограничены и он не умеет их использовать). Соответственно нет стратегии и долгосрочных планов, решение принимается по оценке текущей ситуации каждый заново (или почти каждый раз).
Ну…
Вообще, это характерно для игрового ИИ в условиях нескольких действующих единиц.
Я пару раз, чисто фана ради принимал участие в russian AI Cup, который мейл.ру каждый год проводит, так там собственно непосредственно API так в большинстве случаев реализовано, что функция MyStrategy() вызывается один раз в тик для каждого юнита в игре. Конечно в момент вызова доступна информация и о других юнитах (своих и противника), состоянии мира и тп. И наверное при желании можно сделать глобальный контексТ, хранящий действующие приказы, отданные в этом тике, но… Это ведь дополнительный анализ…
Вообще, это характерно для игрового ИИ в условиях нескольких действующих единиц.
Я пару раз, чисто фана ради принимал участие в russian AI Cup, который мейл.ру каждый год проводит, так там собственно непосредственно API так в большинстве случаев реализовано, что функция MyStrategy() вызывается один раз в тик для каждого юнита в игре. Конечно в момент вызова доступна информация и о других юнитах (своих и противника), состоянии мира и тп. И наверное при желании можно сделать глобальный контексТ, хранящий действующие приказы, отданные в этом тике, но… Это ведь дополнительный анализ…
«Нереально крутым микро» можно было бы назвать ситуацию, когда каждый юнит отдельно в режиме «пока cooldown идём, быстро стреляем, потом опять идём итд» постоянно ротировались на поле боя, а при уходе здоровья в минус выбегали с поля боя, чтобы снять с себя огонь, а потом сразу опять возвращались.
Причём на это не нужен колоссальный АРМ. Ничего подобного у Альфы не заметил.
Причём на это не нужен колоссальный АРМ. Ничего подобного у Альфы не заметил.
только первый кейс по теме, остальное — явные баги обучения
Подоспел более подробный разбор микро в матчах, конкретно на эту тему с 21:20:
https://www.youtube.com/watch?v=FFJRd9l6kW4
Оказалось, дело-то даже не в APM, и вовсе не в том что бот не делает ошибок, дофига ошибок он делает. Дело в способе фокусировки огня в замесах.
Думаю, в какой-то момент в будущем ИИ научится побеждать людей с честным обзором и низким APM. Просто на психологии.
Вот тогда будет страшно.
Вот тогда будет страшно.
Многие так думают
Шахматы, старкрафт… Честный обзор, APM, eAPM…
«Авраам Линкольн дал людям свободу, а полковник Кольт уравнял их шансы»
— а ИИ превратит их достижения в тлен :)
«Авраам Линкольн дал людям свободу, а полковник Кольт уравнял их шансы»
— а ИИ превратит их достижения в тлен :)
Очень хочется надеяться, что к моменту когда ИИ научится управлять реальными войсками — с учетом психологии юнитов из мяса и крови которым не хочется умирать — реальные войны уже уйдут в далекое прошлое.
А то так… уж больно соблазнительно — экономику войны просчитать сравнительно легко, взаимодействие скажем самолетов с ПВО — тоже — в вероятностном аспекте. Разведка непрерывно работает добывая данные и специально обученные люди в форме и очках загружают эти данные в компьютеры. Беспилотники и спутники висят над всеми территориями надзирая за происходящим. ИИ говорит, что надо отряду выдвинуться на высоту и там гарантированно погибнуть? Значит этому отряду надо предварительно показать патриотическое кино. И т.п… Наверняка что-то подобное уже есть в виде моделей.
Кстати, думается компьютерное управление государством можно сделать проще — все же у государства как у целого, цели именно созидательные, хотя рассмотрение системы государство как целое против государства как отдельных особей тоже интересно.
А то так… уж больно соблазнительно — экономику войны просчитать сравнительно легко, взаимодействие скажем самолетов с ПВО — тоже — в вероятностном аспекте. Разведка непрерывно работает добывая данные и специально обученные люди в форме и очках загружают эти данные в компьютеры. Беспилотники и спутники висят над всеми территориями надзирая за происходящим. ИИ говорит, что надо отряду выдвинуться на высоту и там гарантированно погибнуть? Значит этому отряду надо предварительно показать патриотическое кино. И т.п… Наверняка что-то подобное уже есть в виде моделей.
Кстати, думается компьютерное управление государством можно сделать проще — все же у государства как у целого, цели именно созидательные, хотя рассмотрение системы государство как целое против государства как отдельных особей тоже интересно.
компьютерное управление государством
На счет государства сложно сказать, а крупные корпорации охотно внедряют системы управления, логистики, аналитики. На Хабре было много статей по этой теме.
ru.wikipedia.org/wiki/Общегосударственная_автоматизированная_система_учёта_и_обработки_информации
Вот оно. Но если тогда это было утопично, то скоро станет вполне реальным.
Вот оно. Но если тогда это было утопично, то скоро станет вполне реальным.
Армией состоящей из мяса ИИ будет управлять без проблем. Иерархическая структура в которой не принято задавать вопросы, а только исполнять приказы идеально подходит для этого. При чем отдавать приказы ИИ может без посредников, напрямую, благо рация создает такие голосовые помехи что да же особо с имитацией человеческого голоса заморачиваться не придется. Офицеры на местах да же представления иметь не будут о том КТО на самом деле отдал им тот или иной приказ.
Если бы скайнет произошел на самом деле то выглядело бы это как война людей против людей, а роботы бы сидели бы в штабах, при чем в штабах обеих сторон.
Если бы скайнет произошел на самом деле то выглядело бы это как война людей против людей, а роботы бы сидели бы в штабах, при чем в штабах обеих сторон.
«Если бы скайнет произошел на самом деле то выглядело бы это как война людей против людей»
Я понял бы, если это посреди второй мировой сделать, некоторое время тупые приказы, цель которых слить обе армии, возможно прокатили бы. Некоторое время.
А уж сейчас, с глобализацией (СМИ, сарафанное радио и тд) и самое главное, войнушки все локальные. Попробуй незаметно для людей мобилизацию объявить для начала. Смешно.
Я понял бы, если это посреди второй мировой сделать, некоторое время тупые приказы, цель которых слить обе армии, возможно прокатили бы. Некоторое время.
А уж сейчас, с глобализацией (СМИ, сарафанное радио и тд) и самое главное, войнушки все локальные. Попробуй незаметно для людей мобилизацию объявить для начала. Смешно.
все же у государства как у целого, цели именно созидательныеИстория знает примеры, когда это не так.
Например, национал-фашисткое «уничтожим всех, кроме арийцев». Или революционное «уничтожить старое, а потом уж построим новое». Или официальная доктрина «уничтожить Израиль».
И это лозунги, главная цель которых повести людей за собой. В лозунгах неизбежно обещание светлого будущего. Цели же были достаточно деструктивными, а уж методы…
Множество диктатур/абсолютных монархий, главная цель которых — обогащение и безопасность верхушки. Например, феодальная Япония — жизнь за Императора! Не только элита, большинство страны так думало. Вроде как цель созидательная, «все лучшее — людям», только вот список людей настолько ограниченный, что государство как целое разрушается.
UFO just landed and posted this here
Совершенно непонятно зачем нужен ИИ который может обыгрывать про игроков. В чем вообще цель создания игрового ИИ? Мне кажется что шахматы и го сильно спутали мозги самим дипмайнд — там они пытались создать ИИ что бы обыгрывать людей. Вместо того что бы создавать самый эффективный ИИ нужно создавать ИИ который будет максимально похож по игре на человека, и вообще не важно сможет ли этот ИИ обыгрывать Серрала — цель вообще не в этом, а в том что бы сыграв партию человек да же не смог бы сказать играл ли он с человеком или с ботом — этакий игровой Тест Тьюринга. Вот это и будет настоящая революция — однако тут конечно непонятно да же с какого бока подходить к такой проблеме, я так понимаю что дипмайнд хотят просто создать для ИИ человеческие лимиты, в надежде что тогда ИИ начнет вести себя как человек.
Тест Тьюринга — зло. ;)
Ну посудите сами — неужели люди, ученые не могут ответить на вопрос — мыслит машина ли нет? Мне кажется, что если будет представлена мыслящая машина, даже если мыслить она будет ну совсем не как человек — зная ее концепцию, принципы на которых она построена вполне реально ответить на вопрос интеллект это или нет.
Тьюринг исходил из посыла, что мы НЕ ЗНАЕМ, что значит «мыслить», а значит можем судить только по внешним проявлениям. И на долгие годы эта аксиома придавила прогресс. А надо-то было «всего лишь» ответить на этот вопрос и двигать дальше.
Я не думаю, что дипмайнд хочет создавать машину, обыгрывающую людей… Старкрафт во многом игра на скорость и здесь у машины фора. Я думаю их цель именно создать машину, которая САМА выработает стратегию игры, которая приведет к победе, как было с шахматами и го. Текущие наработки — просто этап.
Тут важно понимать, что их же кто-то финансирует и им нужно показывать результаты. Хоть какие-то. Они и показывают. Примерно то, что от них ждут: дескать смотрите, работает, играет, но пока не все идеально — работаем дальше…
Ну посудите сами — неужели люди, ученые не могут ответить на вопрос — мыслит машина ли нет? Мне кажется, что если будет представлена мыслящая машина, даже если мыслить она будет ну совсем не как человек — зная ее концепцию, принципы на которых она построена вполне реально ответить на вопрос интеллект это или нет.
Тьюринг исходил из посыла, что мы НЕ ЗНАЕМ, что значит «мыслить», а значит можем судить только по внешним проявлениям. И на долгие годы эта аксиома придавила прогресс. А надо-то было «всего лишь» ответить на этот вопрос и двигать дальше.
Я не думаю, что дипмайнд хочет создавать машину, обыгрывающую людей… Старкрафт во многом игра на скорость и здесь у машины фора. Я думаю их цель именно создать машину, которая САМА выработает стратегию игры, которая приведет к победе, как было с шахматами и го. Текущие наработки — просто этап.
Тут важно понимать, что их же кто-то финансирует и им нужно показывать результаты. Хоть какие-то. Они и показывают. Примерно то, что от них ждут: дескать смотрите, работает, играет, но пока не все идеально — работаем дальше…
Ну посудите сами — неужели люди, ученые не могут ответить на вопрос — мыслит машина ли нет?Представьте себе, это до сих пор открытый вопрос. И носятся с тестом Тьюринга, т.к. лучшего теста никто не придумал.
Не только IvanGanev, но и многие другие считают, что главная задача ИИ — действовать как человек.
При этом я согласен с вами, что быть похожим на человека не является конечной целью ни у дипмайнда в частности, ни при создании сильного ИИ в общем случае.
Представьте себе, это до сих пор открытый вопрос.
Одно дело выдвинуть определение, которое по куче формальных и не очень параметров удовлетворило бы всех. Другое: представить рабочий образец и объяснить как он работает. Согласен — все равно будет много споров, но еще раз: он может не проходить тест Тьюринга, т.к. не будет являться разумом человеческим и даже имитирующим человека, но может при этом быть признан разумом. Ну мне так кажется.
А тест Тьюринга фактически заставляет разработчиков стремится в сторону имитации, вместо того, что бы «закрыть вопрос», разве нет?
Согласен, что из-за теста Тьюринга мы имеем перекос в сторону как человек.
Но проблема в том, что лучшего консенсуса не достигли!
И много лет назад говорили, что в шахматы обыграть человека может только другой разум. Потом говорили, что го не поддается перебору и поэтому, наверное, победить человека может только ИИ. Теперь говорят, что покер, где блеф имеет важное значение, а информация очень неполна — непосильная задача для бота. Но каждый раз, когда программа достигает новых вершин, мы соглашаемся это еще не настоящий искусственный разум.
Поэтому есть сомнения, что даже если к нам прилетит другой разумиз будущего, мы его признаем таковым. Именно поэтому важны теоретические разработки. Иначе мы действительно рискуем оказаться в ситуации, когда признаем другой разум только когда Skynet объявит войну, т.е. когда будет уже поздно (при этом я противник теории, что сильный ИИ обязательно будет стремиться уничтожить человечество)
Лично я считаю, что стоит идти на риск того, что часть людей не будет признана разумными. Что важно не пускать на самотек «там видно будет», а определить критерии разумности. Причем сделать это как можно быстрее. Это даст ускорение и в области ИИ (будет понятно направление исследований), и в гуманитарно-социальных науках.
Хотя, видимо, это уже офф-топик и меня унесло в сторону. В целом я согласен с вами, что DeepMind создает ИИ не для того, чтобы выигрывать в игры у людей, и что мысли о тесте Тьюринга приводят к требованию human-like, что может уводить в сторону.
Но проблема в том, что лучшего консенсуса не достигли!
И много лет назад говорили, что в шахматы обыграть человека может только другой разум. Потом говорили, что го не поддается перебору и поэтому, наверное, победить человека может только ИИ. Теперь говорят, что покер, где блеф имеет важное значение, а информация очень неполна — непосильная задача для бота. Но каждый раз, когда программа достигает новых вершин, мы соглашаемся это еще не настоящий искусственный разум.
Поэтому есть сомнения, что даже если к нам прилетит другой разум
Лично я считаю, что стоит идти на риск того, что часть людей не будет признана разумными. Что важно не пускать на самотек «там видно будет», а определить критерии разумности. Причем сделать это как можно быстрее. Это даст ускорение и в области ИИ (будет понятно направление исследований), и в гуманитарно-социальных науках.
Хотя, видимо, это уже офф-топик и меня унесло в сторону. В целом я согласен с вами, что DeepMind создает ИИ не для того, чтобы выигрывать в игры у людей, и что мысли о тесте Тьюринга приводят к требованию human-like, что может уводить в сторону.
неужели люди, ученые не могут ответить на вопрос — мыслит машина ли нет?
Не могут ответить даже на вопрос «мыслят ли другие люди» ))). Я как-то писал об этом уже — я знаю/считаю, что сознание есть у меня, но не знаю есть ли сознание у вас — и проверить никак не могу. И вы также — знаете, что сознание есть у вас, а про меня… на самом деле сказать не можете.
И соответственно кроме как ориентироваться на внешние проявления — увы — больше ничего не можем. Вовнутрь головы залезть не получается.
Не могут ответить даже на вопрос «мыслят ли другие люди» ))). Я как-то писал об этом уже — я знаю/считаю, что сознание есть у меня, но не знаю есть ли сознание у вас — и проверить никак не могу. И вы также — знаете, что сознание есть у вас, а про меня… на самом деле сказать не можете.
И соответственно кроме как ориентироваться на внешние проявления — увы — больше ничего не можем. Вовнутрь головы залезть не получается.
Если в это все углубляться, то ни вы, ни я даже про себя не можем сказать есть ли у нас сознание. То есть считается что есть, но так ли это. Может быть это просто конечный автомат реагирующий на внешние раздражители в соответствии с внутренним состоянием и его количество состояний — конечно? Если же такой конечный автомат обозвать сознанием, то придется признать что сознания в компьютерных программах хоть отбавляй.
В том-то и дело! Есть ли сознание у вас я наверняка сказать не могу, т.к. в голову не залезешь. Но в реализацию конкретного ИСКУССТВЕННОГО интеллекта залезать можно и нужно! Там вполне реально понять как именно он функционировать и делать выводы на этом знании, а не на внешнем проявлении.
Есть ли сознание у вас я наверняка сказать не могу, т.к. в голову не залезешьВ голову как раз «залазят», снимая электродами импульсы с отдельных нейронов. Все нейроны разом так не просканируешь, но есть всякие томографии, которые дают картинку уровнем выше.
Отладчиком в программе пройтись можно гораздо детальнее, но что толку? В фокусе можно удержать ограниченное число параметров/переменных.
И есть мнение (не мое), что полное копирование не приведет к разгадке феномена сознания.
Ну залезем мы в голову ИИ, ну будем знать, что «внутре у ней неонка». Но эта информация ничего не даёт, так как не исключено что в реальном мозгу точно такая же неонка.
Спам клики вовсе не бессмысленны. Они используются для кучкования юнитов и для тупящего поиска путей(сужу по SC1) — юниты то разбредаются кто куда(особенно в узких местах), то стоят тупят, если другой юнит перегородил путь.
Для чего нужны ограничения APM?
Зачем эти попытки очеловечивания ИИ? Это ИИ, он делает все не так как человек и работает как ИИ, как он считает нужным и должен сам принимать решения.
Экран нужно ограничить, не спорю. Но если ИИ может в 2000 APM и игра это позволяет, то пусть играет. Для какой-то там честности можно ограничить это со стороны игры, но никак не со стороны ИИ. Задача разработчиков научить ИИ максимально эффективно использовать эти Actions, и снизить спам клики.
Ведь другие системы ИИ не пытаются подстроить под человека — «Так, человек в среднем распознает картинку за X миллисекунд, поставим тут задержку, чтобы подогнать нашу систему под человеческие возможности». Это же бред, суть ИИ в обратном.
Нам нужна система ИИ которая может выигрывать в Старкрафт? Пусть использует все возможные навыки и техники. Микроконтроль юнитов — вперед, 100 зергов против 20 танков — вперед, я уверен, что человек найдет стратегии борьбы с этим.
Почитал все комментарии (не все внимательно, сорри) и не увидел ни одного с такой точкой зрения.
Зачем эти попытки очеловечивания ИИ? Это ИИ, он делает все не так как человек и работает как ИИ, как он считает нужным и должен сам принимать решения.
Экран нужно ограничить, не спорю. Но если ИИ может в 2000 APM и игра это позволяет, то пусть играет. Для какой-то там честности можно ограничить это со стороны игры, но никак не со стороны ИИ. Задача разработчиков научить ИИ максимально эффективно использовать эти Actions, и снизить спам клики.
Ведь другие системы ИИ не пытаются подстроить под человека — «Так, человек в среднем распознает картинку за X миллисекунд, поставим тут задержку, чтобы подогнать нашу систему под человеческие возможности». Это же бред, суть ИИ в обратном.
Нам нужна система ИИ которая может выигрывать в Старкрафт? Пусть использует все возможные навыки и техники. Микроконтроль юнитов — вперед, 100 зергов против 20 танков — вперед, я уверен, что человек найдет стратегии борьбы с этим.
Почитал все комментарии (не все внимательно, сорри) и не увидел ни одного с такой точкой зрения.
Для чего нужны ограничения APM?Потому что иначе борьба интеллектов перетекает в плоскость борьбы интерфейсов. Никто не сомневается, что бот может кликать с неограниченной скоростью.
Но и человека тоже никто не ограничивает в скорости.
Дело же не только в скорости кликов, это просто то, до чего можно докопаться, самое главное — стратегии ИИ, то, что он сам принимает решения.
Человек и ИИ должны быть в равных условиях, видеть игру одинаково и иметь один и тот же интерфейс, способность ИИ кликать чаще это его преимущество, и он, мне кажется, сейчас, на заре ИИ, в праве его использовать.
Дело же не только в скорости кликов, это просто то, до чего можно докопаться, самое главное — стратегии ИИ, то, что он сам принимает решения.
Человек и ИИ должны быть в равных условиях, видеть игру одинаково и иметь один и тот же интерфейс, способность ИИ кликать чаще это его преимущество, и он, мне кажется, сейчас, на заре ИИ, в праве его использовать.
Тут уже кучу раз приводили в пример толпу зерлингов жрущих танки в сидже практически один на один под индивидуальным управлением, когда все знают, что эта группа разлетается за 3 залпа.
Нам нужна система ИИ которая может выигрывать в Старкрафт?Нет. DeepMind создает ИИ, умеющий хорошо играть в Старкрафт, для того чтобы научиться создавать ИИ, умеющий принимать решения а)в режиме реального времени и б)в ситуации с неполной информацией
А критерий того, насколько у них получилось — это игра с сильным противником-человеком.
И для того, чтобы доказать, что их решение умеет не только в микроконтроль и контроль-по-всей-карте, они вводят новые ограничения. Например, видеть только один экран, а не всю карту.
Я ожидаю, что будет еще одна итерация, которая продемонстрирует что AlphaStar неплохо умеет и в макро, и в экономику. Точно так же как AlphaGo продемонстрировала, что нейросети хороши в задачах, где полный перебор недостижим.
Конечной же целью является разработка и продажа решений с ИИ на нейросетях для практических задач. Например, в области постановки диагнозов, или торговле акциями.
Ограничение APM нужно, потому что сверхвысокий APM качественно меряет игру. В пределе мы получаем ситуацию, когда 100 зерлингов под управлением бота съедают 20 танков — а это уже не старкрафт, это другая игра, в старкрафте дешёвая армия не побеждает дорогую. Обычно трюки, которые портят баланс запрещаются разработчиками — например у абилок вводится кулдаун. Старкрафт был придуман с учётом человеческих ограничений, неисполнимые человеком имбалансные механики они не дали себе труда запретить.
Например в футболе в правилах не запрета игрокам летать или телепортироваться по полю, но футбол "сборная России против команды ангелов" не будет футболом, что бы там правила не говорили.
UFO just landed and posted this here
Господи боже мой, знаете сколько раз я в прошлом мечтал о боте, который бы меня мог обыгрывать — пусть даже без тумана войны и с запредельным АПМ.
Услышьте главное, сделано то, что раньше было невозможным. Был создан бот, который не просто выиграл, а выиграл у людей которые играли профессионально. Раньше ни один бот не мог выиграть даже у платины, обладая все полнотой информации.
И все, что сейчас обсуждается, это уже проблемы, решение которых не является чем-то прорывным.
Услышьте главное, сделано то, что раньше было невозможным. Был создан бот, который не просто выиграл, а выиграл у людей которые играли профессионально. Раньше ни один бот не мог выиграть даже у платины, обладая все полнотой информации.
И все, что сейчас обсуждается, это уже проблемы, решение которых не является чем-то прорывным.
UFO just landed and posted this here
И Вы правы. Только, раньше, не один бот не мог сделать и этого. Даже по строго заточенной схеме. А сейчас он может не только это. Он реально может играть, а не делать те глупости, что делались прочими ботами. Алфастар, со всеми ограничениемя играет на голову выше любого современного бота, и он играет, а не выполняет строго заложенные в него алгоритмы поведения. Я вот о чем.
Это связано с тем, что за дело взялось подразделение гугла (их человек 15-40?), а не по одному любителю, как в случае с существующими ботами. Для самого близарда разработка ботов тоже не приоритетна, насколько я понимаю.
Конечно Вы правы в том, что ресурсы позволяют делать большие вещи. Безусловно. Но у нас тут принципиально новый подход, в построении алгоритма который играет против человека, в игре, которую не очень просто обьсянить машине.
В отличии от того же Го.
В случае Го, разработчики решали проблему КАК в это можно выиграть. В случае ск2 решают проблему как описать тот обьем данных который даст возможность АИ понять что делать. И им это удалось. И случилось ровно то, что любой про игрок знает (не смотря на то что меня сейчас попробую заминсовать) — в ск2 нет ума. Выигрывают руки, и набор базовых паттренов поведения. Что и было продемонстрировано Альфаго.
В отличии от того же Го.
В случае Го, разработчики решали проблему КАК в это можно выиграть. В случае ск2 решают проблему как описать тот обьем данных который даст возможность АИ понять что делать. И им это удалось. И случилось ровно то, что любой про игрок знает (не смотря на то что меня сейчас попробую заминсовать) — в ск2 нет ума. Выигрывают руки, и набор базовых паттренов поведения. Что и было продемонстрировано Альфаго.
Ну дык раздобудьте бота, который кучкой собак выносит двадцать танков, в самом начале статьи ссылка на видео.
Я не могу найти инфу. А AlphaStar вход модель карты или картинка на экране? Иными словами он распознаёт изображение или видит всю цифровую модель поля боя?
Он видит цифровую модель боя.
Ну тогда я вообще не вижу прорыва равно как и цели его разоблачения. Сделали бота без явных слабых мест. При радикально других физических возможностях он выигрывает, ну ок. Ждём футбольного турнира сборной гугла со сборной людей без ног.
Deepmind утверждает, что запретила ИИ выполнять действия, которые физически невозможны для человека.
Вот это утверждение и разоблачается.
Исходные данные не картинка на экране а координаты всех видимых объектов на карте. Для человека физически невозможно их одновременно воспринять, конец истории.
Но можно поставить программный фильтр, который ограничит возможности бота и сделает их сравнимыми с человеческими. Deepmind утверждают что так и сделали. Автор утверждает, что у них этого не получилось.
Там, похоже, координаты не только видимых объёктов. AlphaStar реагировал на невидимого юнита, значит «невидимых» он тоже видит (в пределах поля зрения), просто не может прямо атаковать. Это значит, что он знает где висят обсерверы противника и может их легко уничтожить, а в игре против зерга будет видеть вообще всех закопанных юнитов. Для профессионального игрока это огромное преимущество. При этом AlphaStar всё равно строил кучу своих обсерверов, хотя с таким микроконтролем мог легко отбиваться юнитами со сплэшем.
Конечно не возможно. А еще не возможно просчитать кучу вариантов в секунду. А еще не возможно отыграть тысячи матчев за день и тд
Давайте честно, DeepMind пытается сделать бота, который буде учится играть в старкрафт, что б потом эту технологию можно было перенести на другие области. Для того, что б это сделать, есть конечно «человеческие» ограничения, но не стоит к этому сильно придираться — цель другая
Давайте честно, DeepMind пытается сделать бота, который буде учится играть в старкрафт, что б потом эту технологию можно было перенести на другие области. Для того, что б это сделать, есть конечно «человеческие» ограничения, но не стоит к этому сильно придираться — цель другая
а помните тот момент в шестой партии маны когда сталкеры зависли, пытаясь убить леталку в нижнем левом углу? Толпились и блинкали без толку. В тот тактический момент бот вел себя натурально как бот.
Да там было много других моментов, посмотрите разбор от Алекса. Был момент когда бот заказал 3х керриеров с одного старгейта, а потом поставил еще 6 дополнительных старгейтов (всего их стало 8). Был момент когда бот уничтожал свои войска чтобы построить точно таких же юнитов. Был момент когда бот пришёл в атаку и начал разбивать противнику камни под рампой.
Как игрока в Го меня несколько удивляет противопоставление тактики и стратегии в статье. Любому игроку (в Го, во всяком случае:) совершенно очевидно, что стратегические возможности полностью основаны на тактических. Если танк сносится тремя (это фигура речи) умело управляемыми пехотинцами, то умело управляемые пехотинцы становятся противотанковым средством, и это необходимо иметь ввиду обеим сторонам. Кажется, это тривиально.
Далее, если разработчики прямо заявляют, что поставили боту человеческие ограничения, а кому-то кажется, что это не так, то это больше похоже на нежелание признать, что человек делает что не так. Гораздо комфортнее убедить себя, что разработчик бота открыто соврал. Но это когнитивное искажение, как и многое другое в этой статье.
Далее, если разработчики прямо заявляют, что поставили боту человеческие ограничения, а кому-то кажется, что это не так, то это больше похоже на нежелание признать, что человек делает что не так. Гораздо комфортнее убедить себя, что разработчик бота открыто соврал. Но это когнитивное искажение, как и многое другое в этой статье.
что стратегические возможности полностью основаны на тактических
Возможности и цели не одно и то же. Стратегически, что в го, что в старкрафте важен «контроль карты» и «захват стартегически важных позиций». Тактика отвечает на вопрос — КАК это сделать.
Конечно стратегия должна учитывать возможности тактики (иначе это будет невозможная стратегия), однако одни и те же тактические приемы могут обеспечить сотни различных стратегий, как и наоборот — одна стратегия может быть достигнута разными тактическими приемами.
В статье не то-что бы противопоставляется тактика и стратегия, а просто делается акцент на то, что ИИ за счет большей точности и скорости может позволить себе несовершенство стратегии (в отличии от шахмат и го, где ИИ демонстрировал именно высокое качество стратегий — вплоть до жертвы фигур в обмен на инициативу).
ИИ за счет большей точности и скорости может позволить себе несовершенство стратегии
при всём уважении, если ваша тактика никуда не годится, то ваше мнение о стратегии, построенной на этой тактике, тоже стоит немногого.
я со всей ответственностью могу сказать, что в го произошло следующее: альфаго играла, как очень сильный человек. мы точно знаем, что мы играли бы так же. нам просто не хватило человеко-веков. но мы-то играем три тысячи лет. а старкрафту всего двадцать лет. не могу выразить, насколько самонадеянным мне представляются заявления о профессионализме в старкрафте. за это жалкое время даже вменяемой статистики не собрать.
может, парни просто решили, что раз они всех обыграли, то лучше них никого нет? это очевидное заблуждение
Даже при тактике, используемой ботом, ставить 8 старгейтов было очевидной стратегической ошибкой: добычи на имеющихся базах никак не могло хватить для одновременного заказа 8 керриеров.
при всём уважении, если ваша тактика никуда не годится, то ваше мнение о стратегии, построенной на этой тактике, тоже стоит немногого.
Посыл не понял.
Стратегия строится не от тактики. В том же старкрафте понятно, что стратегически важно занимать базы для добычи, контролировать проходы и тп. Все это строится на критериях победы в конечном счете, а не на тактике (если вы под тактикой не понимаете механику сражений в СК вообще).
Соответственно вы изначально в общем случае решаете чего вы хотите добиться, а потом как. Да без сомнения нельзя при планировании стратегии совсем не учитывать тактические возможности, а так же есть стратегии, базирующиеся исключительно на особенностях отдельных юнитов, но это скорее некие экстремумы, чем общий подход.
пойнт как раз в этом: все стратегии строятся на всех особенностях всех юнитов, и это единственно возможный подход (разумеется, если мы выбираем в соперники го-бога). конкретно, то место в статье, где обсуждается удивительный автору снос тяжёлого юнита лёгкими лично у меня вызывает ощущение, что возможности игры ещё не вполне изучены хуманами, и бот указал на это.
когда альфаго обыграла человека, стало очевидно следующее: несмотря на многосотлетнее профессиональное изучение игры, её принципов, стратегий, тактик, техники и прочего за пределами рассмотрения остался ряд важных идей. может быть люди и дошли бы до них самостоятельно, но это потребовало бы ещё какого-то количества человеко-лет. но железка обогнала людей, это было очень болезненно и неприятно. но пришлось признать: на момент этого противостояния люди в деле, которому посвятили сотни лет, знали и умели, как оказалось, далеко не всё.
когда альфаго обыграла человека, стало очевидно следующее: несмотря на многосотлетнее профессиональное изучение игры, её принципов, стратегий, тактик, техники и прочего за пределами рассмотрения остался ряд важных идей. может быть люди и дошли бы до них самостоятельно, но это потребовало бы ещё какого-то количества человеко-лет. но железка обогнала людей, это было очень болезненно и неприятно. но пришлось признать: на момент этого противостояния люди в деле, которому посвятили сотни лет, знали и умели, как оказалось, далеко не всё.
Посмотрите разбор от Алекса. Разработчики, может, и пытались поставить боту человеческие ограничения — но явно ошиблись. У бота была нечеловеческая скорость реакции, нечеловеческое зрение (он видел сразу всю карту и всех невидимых юнитов), нечеловеческий APM и нечеловеческая фокусировка огня (сразу по двум юнитам).
Человеческие возможности подразумевают что мышкой нельзя сплитануть 3 мариков за анимацию атаки танка. Ну или выделить 8 сталкеров на ренже атаки из толпы в 20.
Тут дискуссия немного потонула в технических подробностях. Но реальная претензия в том что в игре бота не было разведки и не было игры по ситуации. Откатывались стандартные билды, которые предсказуемо приносят победу при 10-15% преимущества в размене войск. А оно имело место из за физики мышки, устройства выделения в интерфейсе игры и логики работы биндов.
В Го тоже можно было в 80е выиграть, сделать камни по тонне и дать роботу управлять подъёмным краном.
Тут дискуссия немного потонула в технических подробностях. Но реальная претензия в том что в игре бота не было разведки и не было игры по ситуации. Откатывались стандартные билды, которые предсказуемо приносят победу при 10-15% преимущества в размене войск. А оно имело место из за физики мышки, устройства выделения в интерфейсе игры и логики работы биндов.
В Го тоже можно было в 80е выиграть, сделать камни по тонне и дать роботу управлять подъёмным краном.
В Старкрафт есть много вещей, которые недоступны человеку, но доступны боту, например тот же микроменежмент. И ИИ должен юзать свои сильные стороны, а не повторять за человеком.
Если б ИИ, юзая микроменеджмент, показал как он сотней зерлингов, выносит 10 танков, вместо 2, как в видосике, это был бы реально прорыв.
И ваще такие соревнования ИИ должен проводить против человека, подкрепленного ботами. Которые исправляют его невнимательноость и ошибки, быстро реагируют и выполняют стандартные задачи идеально.
Если б ИИ, юзая микроменеджмент, показал как он сотней зерлингов, выносит 10 танков, вместо 2, как в видосике, это был бы реально прорыв.
И ваще такие соревнования ИИ должен проводить против человека, подкрепленного ботами. Которые исправляют его невнимательноость и ошибки, быстро реагируют и выполняют стандартные задачи идеально.
Если б ИИ, юзая микроменеджмент, показал как он сотней зерлингов, выносит 10 танков, вместо 2, как в видосике, это был бы реально прорыв.
В чем прорыв-то? Таких техник много — и с зерлингами и с блинк сталкерами и с мариками, вовремя уходящими в бункер. Такие техники чаще используются даже не в ботоводстве, а в чит-скриптах.
Тут уже неоднократно писали, что цель всего этого не в разработке бота, рвущего всех и вся в старкрафт, а отработка общих принципов решения задач из области ИИ. Использовать сильные стороны — всегда успеется, важно подтянуть слабые!
Задача ИИ продемонстрировать, что он умеет мыслить и рожать новые идеи, выбирать выигрышные стратегии. Самая выигрышная стратегия для него супермикроменеджмент, он этой стратегии не придумал.
Если он обучаясь по играм, где играют люди без ботов и скриптов «понял», что он способен реализовать супермикрменеджмент и упирал бы на это, это было бы новой супервыигрышной стратегией. А так он просто повторял за людьми, только быстрее и точнее, хотя имел гораздо более широкие возможности.
Другими словами, если дать ИИ медсправочник, то он не должен открыть человечеству, что сифилис надо лечить пенициллином, мы и без него знали, в справочнике про это написано. Но если он поймет по справочнику, как вылечить СПИД, то это действительно покажет его уровень.
Если он обучаясь по играм, где играют люди без ботов и скриптов «понял», что он способен реализовать супермикрменеджмент и упирал бы на это, это было бы новой супервыигрышной стратегией. А так он просто повторял за людьми, только быстрее и точнее, хотя имел гораздо более широкие возможности.
Другими словами, если дать ИИ медсправочник, то он не должен открыть человечеству, что сифилис надо лечить пенициллином, мы и без него знали, в справочнике про это написано. Но если он поймет по справочнику, как вылечить СПИД, то это действительно покажет его уровень.
Другими словами, если дать ИИ медсправочник, то он не должен открыть человечеству, что сифилис надо лечить пенициллином, мы и без него знали, в справочнике про это написано. Но если он поймет по справочнику, как вылечить СПИД, то это действительно покажет его уровень.Ваш пример только подтверждает слова оппонента. Игроки и без ИИ знают, что
В медсправочнике не написано про лекарство от СПида и если ИИ обучался по играм без читеров, то ему тоже неоткуда взять знания о читерстве.
Есть решения, которые лежат на поверхности для человека, но которые он не способен реализовать из-за своей ограниченной скорости и точности. Вовремя оттягивать побитых бойцов на лечение, не долбить залпом по врагу у которого одна красная черточка, нападать разрозненными рядами, если по тебе долбят оружием, которое работает по площадям и т.д.
ИИ способен их реализовать, но не стал, потому что тупой. Я про это.
Есть решения, которые лежат на поверхности для человека, но которые он не способен реализовать из-за своей ограниченной скорости и точности. Вовремя оттягивать побитых бойцов на лечение, не долбить залпом по врагу у которого одна красная черточка, нападать разрозненными рядами, если по тебе долбят оружием, которое работает по площадям и т.д.
ИИ способен их реализовать, но не стал, потому что тупой. Я про это.
Хм… Может вы и правы…
Если блинкающие сталкеры и рассредотачивающиеся зерлинги — его персональная находка, а не кейс заложенный изначально, то вроде как не очень правильно его в этом ограничивать…
С другой стороны — в том-то и дело, что эти кейсы ИЗВЕСТНЫ. Смысл их заново переоткрывать? Тем более, что они неприменимы для людей… Скажем если ИИ откроет, что микробы погибают при высоких температурах и жестком излучении — это конечно будет в его пользу (т.к. это правда), но для людей это не применимо, поэтому разумно его в таких кейсах ограничить…
Если блинкающие сталкеры и рассредотачивающиеся зерлинги — его персональная находка, а не кейс заложенный изначально, то вроде как не очень правильно его в этом ограничивать…
С другой стороны — в том-то и дело, что эти кейсы ИЗВЕСТНЫ. Смысл их заново переоткрывать? Тем более, что они неприменимы для людей… Скажем если ИИ откроет, что микробы погибают при высоких температурах и жестком излучении — это конечно будет в его пользу (т.к. это правда), но для людей это не применимо, поэтому разумно его в таких кейсах ограничить…
Так как область ИИ еще только зарождается, то даже переоткрытие известных фактов является достижением.
С одной стороны, ИИ за короткое по человеческим меркам достигает выводов, на которые людям требуются года/десятилетия.
С другой стороны, мы можем убедиться, что открытия, сделанные ИИ, валидны.
С третьей, кто-то здесь говорил, что в Го ходы бота заставили людей переосмыслить некоторые шаблоны.
В целом, я считаю что анализировать какие открытия ИИ применимы для человека — это дело людей. Специалистов экстра-класса. Возможно, в будущем мы увидим новую профессию интерпретатор — человек, который будет из открытий ИИ отбирать применимые и полезные. Объяснять когда, почему и как уже на человеческом языке — то есть делать работу, в некотором смысле обратную работе программиста (переводить с человеческого на языки, понятные компьютеру)
С одной стороны, ИИ за короткое по человеческим меркам достигает выводов, на которые людям требуются года/десятилетия.
С другой стороны, мы можем убедиться, что открытия, сделанные ИИ, валидны.
С третьей, кто-то здесь говорил, что в Го ходы бота заставили людей переосмыслить некоторые шаблоны.
В целом, я считаю что анализировать какие открытия ИИ применимы для человека — это дело людей. Специалистов экстра-класса. Возможно, в будущем мы увидим новую профессию интерпретатор — человек, который будет из открытий ИИ отбирать применимые и полезные. Объяснять когда, почему и как уже на человеческом языке — то есть делать работу, в некотором смысле обратную работе программиста (переводить с человеческого на языки, понятные компьютеру)
Я из поколения ageofempires и с&c, мож счас по другому. Допустим, мы знаем что солдат убивает другого солдата с трех выстрелов. Т.е. если у нас есть 30 солдат против 10 солдатов, то теоретически если 30 солдат выстрелят первыми и куда надо, то бой закончится без потерь, в реальности, они либо все выстрелят в туда, не тогда, и не из того места.
Т.е. я за пять секунд могу догадаться о выигрышной стратегии, но не могу ее реализовать, так как мне не хватает скорости.
Этот ИИ не дошел до этого, хотя человеку требуется на это очень мало времени, просто исходя из здравого смысла.
Т.е. я за пять секунд могу догадаться о выигрышной стратегии, но не могу ее реализовать, так как мне не хватает скорости.
Этот ИИ не дошел до этого, хотя человеку требуется на это очень мало времени, просто исходя из здравого смысла.
Так смысл его игры не в удивление а в выигрыши. Он выбрал самую эффективную стратегию и играл. Да и вполне возможно что это и был самый эффективный билд(люди всё таки не такие уж и глупые=). При переходе в технологии возможно был большой риск отлететь от тех же масс сталкеров.
В том что бот победит в данной игре вопрос больше в количестве времени. Меня больше озадачил другой нюанс. Люди конструируют ИИ-ботов по своему подобию. Затачивают на одну «глобальную» задачу. В этом отношении люди на старте проиграли. Каждый человек силен в чем-то одном, бот же может быть сильным и в нескольких задачах одновременно. Что как раз пример с данной игрой и показал. Да, пусть бот не так поступал как некоторым представляется, но бот был успешнее в нескольких «глобальных задачах» лучше человека. Может настала эпоха когда нужны сверх-люди? Самые быстрые, самые выносливые, самые сильные, самые умные и самые одаренные и чтоб это было в каждом а не по отдельности.
Скорее наоборот: человек более универсален. Он может делать разнородные задачи, бот — нет.
В частности, нейросеть-победитель в Го не сможет играть в старкрафт. Если ее натаскать на вторую игру, то фактически мы получим комбинацию из двух нейросетей.
Человек же может играть и в шахматы, и в доту — правда, чемпионом в обеих дисциплинах не станет.
В частности, нейросеть-победитель в Го не сможет играть в старкрафт. Если ее натаскать на вторую игру, то фактически мы получим комбинацию из двух нейросетей.
Человек же может играть и в шахматы, и в доту — правда, чемпионом в обеих дисциплинах не станет.
Есть подозрение что с сильно отличающимися задачами это тоже будет, грубо говоря, комбинация нейросетей для человека. Я даже не удивлюсь если это физически в разных частях мозга окажется и можно будет посмотреть на томографе. Да и сама игра (как процесс) во что угодно это уже множество разных по факту сетей, просто взаимодействующих друг с другом. Банально — для того чтобы уметь играть в Го не нужно даже видеть, можно и на слух реагировать и давать команды голосом. Но обычно игроки все-таки умеют парсить изображение поля.
Про универсальность согласен.
Вообще-то миссия DeepMind в последние годы состоит как раз в построении универсальных нейросетей общего профиля.
Переход от AlphaGo Zero к AlphaZero — как раз такая универсализация. AlphaGo Zero была нейросеткой, заточенной только на победу в го, AlphaZero справляется с любыми известными играми с полной информацией, начиная со списков правил, без каких-нибудь предварительно введенных стратегий и без обучения на человеческих партиях.
Переход от AlphaGo Zero к AlphaZero — как раз такая универсализация. AlphaGo Zero была нейросеткой, заточенной только на победу в го, AlphaZero справляется с любыми известными играми с полной информацией, начиная со списков правил, без каких-нибудь предварительно введенных стратегий и без обучения на человеческих партиях.
5 декабря 2017 года коллектив DeepMind выпустил препринт AlphaZero, которая в течение 24 часов достигла сверхчеловеческого уровня игры в шахматы, сёги и го, победив чемпионов мира среди программ, Stockfish, Elmo и трехдневный вариант AlphaGo Zero в каждом случае
Почему бы не тренировать ИИ на пошаговых играх, дабы исключить «не человеческие физические возможности»?
Вышел интересный обзор игры AlphaStar. Рассмотрены вопросы из этой статьи и многие другие. Разобраны элементы игры ИИ, которые недоступны обычному человеку. Например, в некоторых случаях, когда человек реагирует на события не менее чем за 0.3 секунды, ИИ реагирует гораздо быстрее, это дает ему большое преимущество. Действий за период времени может сделать в таких ситуациях и не больше чем человек, но если они начали выполняться раньше, это иногда очень значимо. Также, например, ИИ во время битвы моментально точно рассчитывает сколько урона нужно для уничтожения определенного юнита соперника и дает команду нужному набору своих юнитов на атаку нужного юнита соперника (а остальные юниты ИИ в это время атакуют другого юнита соперника). Человек никак не сможет сделать такой расчет моментально во время битвы. И есть другие подобные моменты. В общем apm, конечно, важен, но в данном случае это далеко не главное. Также в видео рассмотрены абсурдные действия бота. Например, он убивает своих юнитов и тут же строит таких же. Человек иногда убивает своих юнитов ненужного в данный момент типа чтобы высвободить место и построить на их место юнитов другого типа. Но делать так и строить таких же — бессмысленно.
Ну может он убивает камни так же что бы не сделать миссклик. Совсем как человек, а вы тут ноете что он на человека не похож =)
Да и по поводу расчёта не соглашусь. Многие прогеймеры знают сколько нужно юнитов для убийства с одного захода, например муты для хараса рабочих и тд. Возможно бот не так уж и эффективно это делал, зачем он выделял рабочих, сентри, и батонов в одну группу и атаковал ей? Думается он весьма приблизительно делил все свои батоны на 2 отряда, т.к очевидно что 20 штук на одного архона это избыток.
Да и по поводу расчёта не соглашусь. Многие прогеймеры знают сколько нужно юнитов для убийства с одного захода, например муты для хараса рабочих и тд. Возможно бот не так уж и эффективно это делал, зачем он выделял рабочих, сентри, и батонов в одну группу и атаковал ей? Думается он весьма приблизительно делил все свои батоны на 2 отряда, т.к очевидно что 20 штук на одного архона это избыток.
Вы не поняли. Он ломал камни в атаке, под огнём противника. То есть, фактически, он этот самый мисклик как раз сделал, только намеренно. Три раза подряд.
Ну может он убивает камни так же что бы не сделать миссклик.Нет, этот момент как раз разобран «по косточкам». Посмотрите видео. То какие-то нелогичные действия.
А это пример из выигранной или проигранной ботом игры? Видео я посмотреть толком не могу, потому и спрашиваю. Насколько я помню, бот учился на играх людей. А люди часто делают нелогичные с точки зрения стратегии или тактики действия просто чтобы покрасоваться. Я конечно не очень серьезно сейчас, но может это было такое: «Да я тебя и так сделаю, смотри какую фигню я творю, а ты все равно проигрываешь»?
Это мы пока не узнаем, нужно чтобы ИИ играл за теранов(Я про то когда терраны сбрасывают мулов когда уверены что победят.=)
А вообще было бы круто если ИИ собирал из юнитов GG в конце как в трейлере starcraft2.
А вообще было бы круто если ИИ собирал из юнитов GG в конце как в трейлере starcraft2.
Просто люди мисскликают, а бот учится — «О, ЕСЛИ РАЗБИТЬ КАМНИ, ТО ВЕРОЯТНОСТЬ ПОБЕДЫ ПОВЫШАЕТСЯ НА 10%!»
Китайская комната это, а не интеллект.
Китайская комната это, а не интеллект.
А это пример из выигранной или проигранной ботом игры?
Это как раз из первой игры TLO, которую ИИ выиграл
18:45
Ну, чат бот достаточно быстро научился у интернета матам и нацизму, почему бы игровому боту не научиться токсичности от игроков. Чем больше я об этом думаю тем более вероятным мне кажется такое развитие событий. Нет, оно все еще на грани анекдота и практически наверняка это не так, но в какой-то момент обучения на играх людей мы с этим столкнемся 100%.
Так он научился чему-то, но не так. Там логика поломана. Человек убивает своих юнитов, чтобы заменить их другими. А ИИ убивает, чтобы заменить… такими же, ибо у него получается как-то параллельно работают процессы постройки и управления армией. Да, он научился убивать своих, потому, что так делает человек, но не понимает зачем. Возможно еще через неделю он не будет этого делать.
Возможно еще через неделю он не будет этого делать.А возможно и будет, если окажется, что это выгодно. Да, он заменяет убитые юниты такими же — но они оказываются в другом месте. Откуда у вас уверенность, что этот, пусть дорогостоящий, перенос — обязательно плох?
Я говорю немного о другом. Если взять цель — победить, и идти к ней максимально эффективным способом, то да, такие действия скорее всего нелогичны. Но, компьютер не учился играть максимально эффективно, он учился играть победждая как человек. Просто потому что он учился на играх людей. И если люди в очевидно выигрышной ситуации начинают совершать нелогичные и бессмысленные действия, то и бот мог этому научиться. Более того, я утверждаю что если активно в этот процесс не вмешиваться и учить бота только на играх людей, то он на самом деле в конце концов научится издеваться над проигрывающим противником. Возможно что уже. Маловероятно, но возможно. Надо смотреть будет ли он вести себя также в играх в которых он будет проигрывать. 100% уверености это не даст, в конце концов бот мог научится такому без привязки к балансу сил, но если в проигрышных ситуациях такого поведения не будет, то это достаточно сильный довод в пользу моей идеи.
В Го он уже к этому пришёл — причём сам по себе. Так как «качество» выигрыша не учитывалось, а учитывалась вероятность проигрыша, то гарантировав себе полочка преимущество AlphaGo начинала играть как последняя сволочь: не давая ничего захватить, но и не захватывая ничего тоже.
С точки зрения это выглядит как издевательство.
С точки зрения это выглядит как издевательство.
он, судя по всему, очень плохо держит контекст и историю происходящих событий, что характерно для НС вообще. То есть оценивает моментальную ситуацию и принимает решение о следующем действии, но не помнит, что делал до этого и какие были «планы». Если бы ресурсы были бесконечны, думаю доходило бы до мертвых циклов и прочего абсурда навроде постройки тысяч зданий параллельно, когда нужно одно (в показанных матчах было такое с несколькими зданиями и юнитами)
Помнит не плохо, ибо окружает с 3-х сторон, делает дропы/харасы, те же невидимые юниты, которые он «видит», тоже запоминает на очень долго. Он ничего не забывает, вопрос в другом — как использует эту информацию.
ну вот фиг знает, я специально пытался понять, помнит или нет и большинство кейсов вполне объясняется просто анализом текущей ситуации. Скажем, дроп-харасс это вроде бы сложная последовательность действий, но если разложить по отдельным командам и состояниям, то вполне может быть, что просто каждый раз принимается новое решение о том же харассе. А иногда, когда несколько вариантов близки по оценке, могут получатся казусы навроде постановки-отмены-постановки здания. То есть в момент 1 здание нужно, в момент 2 ситуация слегка изменилась и нужно что-то другое, в момент 3 снова нужно. Этим очень легко объясняется убийство юнитов с дозаказом новых. Допустим есть 200 лимита, и Х денег, человеки в такой ситуации убивали пару мелких юнитов и строили один большой. Бот убивает первого, имеет ситуацию 198 лимита и Х денег, но не помнит, как в нее попал. Потому принимает решение о постройке мелкого юнита. И так по кругу, пока не закончатся деньги. Видимо в ситуации лимита 200 жертвование юнитами более вероятно и иметт больший вес, чем при 198.
В общем, после увиденного я все больше убеждаюсь, что в плане создания ИИ на НС мы далеко не уедем.
В общем, после увиденного я все больше убеждаюсь, что в плане создания ИИ на НС мы далеко не уедем.
Согласен. Когда они Го делали — у них в качестве входных параметров было состояние поля за последние 8 ходов. Все, что было раньше — не имело значения для принятия решений… Возможно здесь так же: существует какой-то вариант кратковременной памяти (хотя если бы он существовал, пробки бы не делали одну и ту же операцию и не пытались строить в одном месте), но наверняка на очень небольшую «глубину».
я все больше убеждаюсь, что в плане создания ИИ на НС мы далеко не уедем
НС — отличный инструмент, но это лишь ЧАСТЬ общего подхода, причем, насколько я могу судить — даже в этом случае.
В общем, после увиденного я все больше убеждаюсь, что в плане создания ИИ на НС мы далеко не уедем.Описанные проблемы решаются добавлением рекуррентной связи, когда часть (или весь) выхода НС, возможно обработанная, идет на вход на следующий или через несколько циклов. Либо добавлением внутреннего состояния, но тут не очень понятно что именно там хранить и как и когда его менять. Не то чтобы это была нерешаемая проблема впрочем.
Блин…
Мне это напоминает пролог, на котором элегантно решаются задачи, условно «хранения и извлечения знаний», но стоит только перейти к обычным проблемам ввода-вывода, UI и тп. — начинаются такие навороты, что делается страшно…
Рекурентные сети мне кажутся попыткой натянуть сову на глобус! :) Может конечно я просто не разобрался, но… Нет в них уже той элегантности, как в обычном перцептроне! Но это именно рекурентные — не путать с обратной связью — там все ок. ;)
В общем, мысль в том, что может надо решать задачи, подходящими методами… Не сошелся же свет клином не нейронных сетях!
Мне это напоминает пролог, на котором элегантно решаются задачи, условно «хранения и извлечения знаний», но стоит только перейти к обычным проблемам ввода-вывода, UI и тп. — начинаются такие навороты, что делается страшно…
Рекурентные сети мне кажутся попыткой натянуть сову на глобус! :) Может конечно я просто не разобрался, но… Нет в них уже той элегантности, как в обычном перцептроне! Но это именно рекурентные — не путать с обратной связью — там все ок. ;)
В общем, мысль в том, что может надо решать задачи, подходящими методами… Не сошелся же свет клином не нейронных сетях!
Элегантность что в коде, что в математике — безумно субъективные понятия.
В общем, мысль в том, что может надо решать задачи, подходящими методамиНу да, но для этого эти методы хорошо бы иметь и понимать их плюсы и минусы. Это сложно сделать если объявить часть методов неэлегантными и сразу их отбросить.
да, я знаю, что проблема контекста кое-как решается, но я к тому, что это не тот способ, которым мы получим ИИ, который понимает и думает как человек (что бы это не означало). Даже с поправкой на стандартные в таком случае аргументы, вроде «ну у человека больше опыта, он больше видел» и тд
что бы это не означаловот в этом — суть всей проблемы. Пока мы не поймем что же это означает шансов создать эмулятор не эмулируюя каждый атом и квантовые эффекты до кучи у нас нет.
Все варианты которые я видел либо описывают так, что половина человечества оказывается думать и понимать не умеет, либо это доступно тупейшим алгоритмам.
и дает команду нужному набору своих юнитов на атаку нужного юнита соперника (а остальные юниты ИИ в это время атакуют другого юнита соперника). Человек никак не сможет сделать такой расчет моментально во время битвы.
В общем apm, конечно, важен, но в данном случае это далеко не главное.
Почему же не главное? Ведь если бота заставить выделять юниты как человека — курсором мыши (с сопутствующими ограничениями), а не моментально, то такой расчет совершенно обессмыслится, так как если бот в горячке битвы будет пытаться выделять огромные количества нужных юнитов для «оптимального фокуса», то проиграет битву, потому что для такого выделения нужно будет потратить огромное количество действий и времени на это самое выделение. При ограниченном APM оптимальным стилем контроля будет примерно то, что сейчас делают люди — заранее продумывать группы и грамотно разводить войско в пространстве.
То есть, демонстрируемый стиль микроконтроля бота возможен только при отсутствии ограничений на необходимость двигать курсором и нажимать кнопки на (виртуальной) клаве. А это уже совсем другая игра получается — не такая, в которую играют люди.
Вот интересное видео от Alex007 появилось youtu. be/FFJRd9l6kW4
Достаточно подробный разбор действий ИИ.
Достаточно подробный разбор действий ИИ.
Каюсь я обыкновенный человек и не обладаю «зоркостью» ИИ, и не заметил ссылки в полотне текста размещенных под этой статьей :)
Хороший анализ, что-то такое кстати и по Доте мелькало.
Если человеку прикрутить возможность одной кнопкой делать оптимальный фарм, а другой — давать оптимальные умения по сопернику(то есть за человеком оставить только контроль перемещения по сути+кого первым атаковать), то не факт, что ИИ обыграет в доту даже среднего уровня игрока. Также и в старкрафте можно какую-то гибридную модель реализовать — человек собирает звено и отправляет в точку, а компьютер уже сам ведёт бой.
Очень интересная статья и с большим интересом почитал комментарии и посмотрел видео.
Действительно, считаю несколько «нечестным» способ ведения игры в следующем:
доступ ко всей «карте» разом (нужно давать доступ только к видимому экрану);
если опустить момент распознавания ( вроде как с этим особой проблемы уже нет, хотя невидимый юнит пусть отдельная нейросеть определяет «по честному», но видимо для простоты эксперимента считают, что это уже система будет уметь «из коробки»), то в принципе, можно «согласиться» на то, что у сети есть цифровая модель боя.
Отдача команд и техника их отдачи конечно же, должна базироваться на управлении через клавиатуру\мышь, потому как это есть неотъемлемая часть игры и техническая невозможность выделения в рамке только нужных юнитов делает игру «нечестной». Это как если бы мы управляли на войне, но наши команды долетали бы до войск с помощью лошадей, а ИИ использовал бы для этого радиоинтерфейс.
Аналогия при полном контроле карты с помощью ИИ с огромным АПМ — это как игра одного человека против 5,10, 100 человек разом за другую команду.
Кстати, было бы интересно посмотреть, как бы подобный ИИ сыграл в игру, где не требуется молниеносная реакция и АПМ, например, в WoT — по одну сторону супербыстрый ИИ с огромным АПМ управляет 10ю танками с молниеносным обменом информации между танками в пределах игровой механики и 10 живых человек с голосовой связью.
Сможет ли ИИ научиться «заходить» с тыла или будет предельно точно целиться из раза в раз, высчитывая идеально место выстрела, в то время как Петя скажет: «Вася пока он тут мозги ***т — заходите вдвоем с тыла и дайте ему в жопу!..
Сможет ли такой ИИ путем проведения миллиона итераций постичь некие тактики, которые могут дать нам пользу?
Да, если представить что АльфаЗеро будет управлять, скажем, американской армией, контролируя в один момент времени цифровую модель из 1000 самолётов, 500 танков, несколько там всяких дивизий и т.д. и т.д. в реалтайме… — пожалуй, ни один генерал генералов не „обыграет“ такого противника.
Действительно, считаю несколько «нечестным» способ ведения игры в следующем:
доступ ко всей «карте» разом (нужно давать доступ только к видимому экрану);
если опустить момент распознавания ( вроде как с этим особой проблемы уже нет, хотя невидимый юнит пусть отдельная нейросеть определяет «по честному», но видимо для простоты эксперимента считают, что это уже система будет уметь «из коробки»), то в принципе, можно «согласиться» на то, что у сети есть цифровая модель боя.
Отдача команд и техника их отдачи конечно же, должна базироваться на управлении через клавиатуру\мышь, потому как это есть неотъемлемая часть игры и техническая невозможность выделения в рамке только нужных юнитов делает игру «нечестной». Это как если бы мы управляли на войне, но наши команды долетали бы до войск с помощью лошадей, а ИИ использовал бы для этого радиоинтерфейс.
Аналогия при полном контроле карты с помощью ИИ с огромным АПМ — это как игра одного человека против 5,10, 100 человек разом за другую команду.
Кстати, было бы интересно посмотреть, как бы подобный ИИ сыграл в игру, где не требуется молниеносная реакция и АПМ, например, в WoT — по одну сторону супербыстрый ИИ с огромным АПМ управляет 10ю танками с молниеносным обменом информации между танками в пределах игровой механики и 10 живых человек с голосовой связью.
Сможет ли ИИ научиться «заходить» с тыла или будет предельно точно целиться из раза в раз, высчитывая идеально место выстрела, в то время как Петя скажет: «Вася пока он тут мозги ***т — заходите вдвоем с тыла и дайте ему в жопу!..
Сможет ли такой ИИ путем проведения миллиона итераций постичь некие тактики, которые могут дать нам пользу?
Да, если представить что АльфаЗеро будет управлять, скажем, американской армией, контролируя в один момент времени цифровую модель из 1000 самолётов, 500 танков, несколько там всяких дивизий и т.д. и т.д. в реалтайме… — пожалуй, ни один генерал генералов не „обыграет“ такого противника.
Сейчас посмотрел видео от ноября 2019 с боями Альфастара. Якобы разработчики ещё уменьшили АПМ и сделали видимость только в экране (но это неточно), но Альфастар проиграл — после крипа на мейне он из раза в раз пытался построить новую базу, После потери всех сканеров он ничего не пытался сделать люре, не производя опять же сканеров.
Честно говоря, смотрел как и многие, «с облегчением» — типа «агааа, попался кремниевый болванчик! Шаг влево-шаг в право и всё, привет!». Скорее всего сетка попала в состояние, в котором она ни разу не была (крип на мейне), т.е. такие позиции ниразу с ней не обыгрывались, она действительно не знала, что на крипе нельзя строить и т.д., ей никто не объяснял. Другое дело, что когда она поймёт… Но тогда всё тоже сводится к игровому опыту и просто перебору доступных механик (что в принципе, делает и человек, на самом деле)…
Честно говоря, смотрел как и многие, «с облегчением» — типа «агааа, попался кремниевый болванчик! Шаг влево-шаг в право и всё, привет!». Скорее всего сетка попала в состояние, в котором она ни разу не была (крип на мейне), т.е. такие позиции ниразу с ней не обыгрывались, она действительно не знала, что на крипе нельзя строить и т.д., ей никто не объяснял. Другое дело, что когда она поймёт… Но тогда всё тоже сводится к игровому опыту и просто перебору доступных механик (что в принципе, делает и человек, на самом деле)…
Сверхчеловеческую скорость AlphaStar внедрили как заплатку для ошибки имитационного обучения?