а) «у вас нет гарантий что лог сохранится, в связи с падением ОС» Как выполнение пользовательской программы может привести к падению ОС? На Linux бывало, что память заканчивается и вываливаются какие-нибудь штуки, которые ошибочно считают частью ОС (например, какие-то куски GUI). Но даже такого я уже долго не встречал. Кстати в этом сценарии Python вешает систему с таким же успехом, причем из-за своей любви к отжиранию памяти это произойдет быстрее.
Что мешает вывести лог в файл, чтобы его даже после падения посмотреть? Почему вы считаете, что дебагер — это стартануть с первой инструкции и жать F(цифра) до того места когда упадет?
Про «кроличью нору»: сам видел, как люди включают тот же дебагер и начинают входить все глубже и глубже в какие-то дебри системных библиотек. Вопрос: зачем? Наличие ошибки в таких местах маловероятно. В первую очередь нужно понять, правильно ли вы вызвали функцию (нулевые указатели и т.п.). Всегда есть valgrind, memory-sanitizer для поиска проблемных мест с перезаписыванием чужой памяти и т.п.
По-поводу неожиданных падений. Неужто в python не встречали такой же штуки? Приходишь через час, а там уже все лежит и написано «nonetype is not iterable»? Имхо, если вы не умеете писать программы, которые работают, то 1) никакой язык вам не поможет 2) тупо сохраняйте результаты вычислений регулярно на диск, чтобы потом продолжить не с нуля.
В используемой сети, судя по ссылке на ту статью, откуда взят код, первые два скрытых слоя имеют ReLU активации. Такая функция может хорошо обучиться отделять белые пиксели от черных, но после случайного перемешивания значений теряется линейная зависимость «что-то нарисовано» от значения. Так как слоев всего 2, то даже на одном пикселе, как сходу мне кажется, не получится сделать простой классификатор на черный и белый пиксель, не говоря о каких-то более сложных образах. Сигмоида тоже не поможет. Думаю, что большее число слоев может помочь решить проблему.
Огромное спасибо за информацию! А как вы в серверные платформы ставили GeForce карты? Коллега рассказывал, что им приходилось перепаивать разъемы на картах, т.к. на GeForce они торчат вверх от PCI слота, а на Tesla (под которые точат платформы) они торчат назад. В общем, штекер часто упирается в корпус платформы.
И если не секрет, какие модели платформ вы использовали (может на них нет проблемы с разъемами питания)?
Прошу прощения, вчера ошибся со второй ссылкой. Искал по названию статьи в гугле и перепутал. В общем исходил из просьбы и форм оставления ссылок, которые у НИВЦ описаны (пункт 7). В общем вот правильная ссылка. Там много физики и химии, т.ч. не могу оценить качество работ.
Еще можно искать по конкретным отсылкам в текстах статей (ссылка 1, ссылка 2)
По первой ссылке с предыдущего комментария из названия статьи (Практика суперкомпьютера «Ломоносов») кажется логичным, что ссылки по большей части из серии «что-то применили на суперкомпьютере», «на нем заработала какая-то программа», «удалось что-то эффективно применить». То есть тема — процесс применения, а не прорывной результат в других сферах (компьютер — все-таки инструмент).
Говорят, различные статистические показатели по статьям, журналам и прочему сильно влияют на оценку эффективности лабораторий. Плюс многие студенты и преподаватели не видят ничего плохого, чтобы любой результат опубликовать в журнале соответствующего уровня. Это как минимум полезный опыт в написании и грамотном оформлении. По-хорошему к концу магистратуры у студента должна быть хотя бы одна статья, а от подачи до публикации проходит очень много времени: около года. Т.е. уже в первом семестре магистратуры должен быть хоть какой-то результат. Я все это говорю к тому, что журналы и конференции бывают разного уровня, и по одной отдельно выбранной статье нельзя судить.
По поводу набора в Word. У меня самого была ситуация: отослал материалы статьи в LaTeX, их там перебили в Word (иногда от этого даже опечатки вылазят). Думаю так делают, либо потому что в TeX не разбираются, либо потому что в Word большинство присылает и сделать LaTeX -> Word быстрее, чтобы все скомпоновать.
Я знаю, что один из суперкомпьютеров используется студентами для практики, потому что программировать для таких систем нужно уметь. На страничке НИВЦ есть информация, что системы были загружены 80 процентов времени в прошлом году.
Какой-то конкретики там по поводу конкретных результатов, к сожалению, мало. Так у нас везде, потому что писать новости на сайт скучно и никому не нужно. Лучше тоже время потратить на что-то более полезное. Может быть у нас когда-нибудь прикрепят к каждой лаборатории по журналисту, тогда новостей будет больше. Результаты лучше смотреть по публикациям и статьям. При использовании суперкомпьютера просят ставить ссылку на одну из двух статей. Так что, возможно, эти статьи и эти статьи написаны с использованием суперкомпьютера.
C ReadOnly аккаунтом я, к сожалению, не могу такого делать. Согласен, что возможно не стоило «возникать» лишний раз, т.к. от этого пользы тоже нет. Но просто уже бесит в комментариях почти к любой статье читать про духовные скрепы и отделять 95 процентов сарказма от 5 процентов пользы.
Ожидал увидеть больше подробностей об организации прогонов сети в production. Сколько в итоге используется карт и какой модели? Какие платформы под это дело выбираются (хотя бы сколько GPU на процессор)?
Занимался недавно оптимизацией прогонов через Caffe для курсовой работы и пришел к выводу, что там творится непонятно что. Например, выяснил через Nvidia Visual Profiler, что часть параметров сети копируется в карту при каждом прогоне, и что копирования в память карты и обратно занимают столько же времени, сколько вычисления. Кажется, что все фреймворки заточены под фазу обучения, а про финальную производительность никто не морочился. Если кто-то готов поделиться такими подробностями использования карт в production, буду рад узнать подробности.
Вы меня неправильно поняли. Я понимаю, что их USB свисток ничего не перехватывает. Я сразу говорил о программной реализации, которая по сути должна быть сильно интегрирована в драйвер или звуковую подсистему Windows/Mac/Linux.
По поводу ASIO4ALL: есть конкретный usecase: хочется включать гитарный процессор и подыгрывать под backing tracks с youtube. Когда у меня была Audigy 2 ZS звук от ASIO и из обычных приложений выводился одновременно, потом она накрылась (думаю, просто старая около 8-9 лет уже). Realtek (поправьте, если я не прав) вообще не умеет asio без ASIO4ALL. Сейчас пользуюсь гитарным интерфейсом, в нём такой проблемы нет. В общем, я веду к тому, что странно, что нету прослойки для ASIO4ALL, которая звук обычных приложений подмешивает. Соответственно с опцией её отключения, если мешает.
Можете пояснить почему alsa при низких задержках ухудшает качество звука? Мне казалось, что это влияет только на размер некоторых буферов, которые накапливаются внутри. Т.е. имеет место стандартный tradeoff throughput/latency, который на сам результат обработки не влияет.
По поводу быстрой обработки звука. На linux есть прикольный вариант. Настраивается Jack с блокировкой памяти и realtime режимом, pulseaudio перенаправляется в него. В итоге приложения, которые работают с Jack выдают звук достаточно быстро, но при этом остается возможность включить плеер или видео с того же youtube. Если еще взять wine и пихнуть к нему wineasio, то можно даже всякие гитарные процессоры запускать. У меня получилось Guitar Rig 5 и Revalver 3 завести. BIAS FX включается, секунду даже дает звук, а потом падает, т.к. не реализованы некоторые функции в части отрисовки интерфейса. К сожалению, Jack неплохо кушает батарейку на ноуте, поэтому к этому добавляется jackdbus, который позволяет перенаправлять pulseaudio в Jack, только когда он включен.
Сначала возмутился так же как и вы. Но потом подумал, какой же это, наверное, ад: в Windows перехватить аудио потоки обработать их с разумной задержкой и выдать на выход при условии произвольной звуковой карты и драйверов. Сейчас даже с ASIO проблемы бывают. Небезызвестный ASIO4ALL при активации глушит все не поддерживающие ASIO приложения. Немного в сторону, но хочу сказать, что весьма вероятно сделать коробочку usb -> jack легче, чем поладить с операционной системой. С другой стороны, продавали бы тогда отдельно коробочку. Но это не при рынке и капитализме. Телевизионные панели не хотят нормально разлучить с теми «мозгами», которые в комплекте идут. Потому что ПО стареет быстрее, чем панель. Тут, думаю, примерно то же самое.
Теперь выходит для написания рекламных постов, совсем уже даже ничего придумывать не нужно. Стряпается минут за 20, даже быстрее. Ведь тут всего 222 слова. И 3 бесполезных картинки. И куча рекламы внутри.
Мне интересно, когда geektimes уже окончательно укатится в формат картинки 64x64 с подписью «ШОК! Новый гаджет изменит мир! Очереди уже стоят»?
Господа восторженно комментирующие, вы хотя бы удосужились остановится на примерах работы, которые в приложенном видео так быстро пролистываются (не дай бог разглядят)? Снова купились на желтых заголовок?
Цитата из статьи:
Furthermore, by making the model conditional on an input image, our model can sometimes predict a plausible (but “incorrect”) future.
На примерах тупо расплывается кадр в разные стороны, происходит какой-то ад. В тексте статьи идет какая-то дичь про роботов. Вот скажите, робот тупо нагенерил 25 следующих кадров. И как он дальше поймет хорошо он сделал или плохо? Будет на этих кадрах трупов искать?
По-поводу сетей, с адаптивным числом параметров (выше обсуждается). Да такие есть, но они работают плохо в сравнении со сверточными и глубокими архитектурами. Все последние прорывы, которые благодаря редакторам geektimes и прочим журналистам кажутся уже приближают создание ИИ, основаны именно на этих «глупеньких» сетях с фиксированным числом параметров. Причем последние тенденции с отказом от полносвязанных слоев продолжают уменьшать число параметров сети.
Во-вторых, снова кто-то сравнивает искусственные нейронные сети с человеческим мозгом. Хороший пример, когда дурацкая терминология дает журналисту хлеб. Хоть изначальная модель персептрона и создавалась как «модель работы клеток мозга» (напомню, что это было в 50-х годах), нынешние приемы построения моделей никак не связаны с человеком. Покажите мне медицинские статьи, где в голове нашли свертки, max-pooling, хитрые функции потерь, upsampling, batch normalization, стохастический градиентный спуск и пр.?
Просто уже наболело. Я комментарий такого рода пишу, похоже, регулярно раз в 1-2 месяца. Может тон грубоват, аргументы не отшлифованы в этот раз… Просто поймите, каждый день в лаборатории, где занимаются компьютерным зрением (а сейчас по большей части это те же нейронные сети), не вижу ни одного такого фанатика, какие есть тут среди комментаторов. А вообще такое ощущение, что снова время зря потратил…
Тоже не понимаю такой позиции отечественных производственников. Скажите просто «Мы сделаем качественный смартфон, который будет достойно выглядеть и удобен в работе/развлечениях», я буду очень рад, когда он выйдет на рынок и своими качествами займет свою нишу. Может кто-то подумает, что со мной что-то не так, но мне приятно осознавать, что соотечественники умеют делать работающие и качественные вещи в различных областях. Но нет, то ли для пиара, то ли из-за ограниченности кругозора всегда говорят о замене «iPhone». Тоже с ПК: если выпускать, то все комплектующие от жестких дисков до ЦП сразу.
А лучше бы не болтали, а пресс-релизы делали бы сразу по результатам работы. Но это не для мира, где мировоззрение определяется маркетологами, журналистами и политиками.
Подождите еще чуток, они подрастут до 5 лет, начнут предложения правильно строить и, возможно, интересоваться окружающим миром плотнее.
Дело в том, что то, как работает нейросеть, почти ничего общего с человеческим мозгом не имеет.
Сейчас вспомнил самую пожалуй эффектную демонстрацию некоторого «абсурда» в обучении нейросетей: http://www.evolvingai.org/fooling (на странице видео есть, советую посмотреть) Авторы статьи смогли подобрать такие синтетические изображения, на которых нейросеть выдает, например, 99% что это гитара, а на картинке тупо полосы повторяющиеся. Думаю, так сильно ваша дочка даже в самом раннем возрасте не ошибалась :)
Честно скажу, что я не специалист по детским мозгам. Мне кажется, что ваша дочка понимала, что это разные вещи, просто ей было сложно запомнить правильные названия. Она же наверняка не относилась к подушкам как к мишкам и кошке? Я сам не видел детей, которые таскают с собой подушку, называя ее кошкой или мишкой, и играются с ней как с игрушкой. То есть тут надо еще этот момент уточнить, часто сложно понять, что у ребенка в голове на самом деле.
Дело в том, что сеть «может увидеть» бурого медведя, серую кошку, леопарда и обучиться различать их только лишь по цвету/текстуре. Человек увидевший этот набор обычно понимает, что это животные с лапами и головой (т.к. проводятся аналогии со своими частями тела: глаза, уши, ноги). Когда они увидят диван, нейросеть тупо скажет, что «леопард». Человек заподозрит, что что-то не так: ведь головы нет, лап нету. Тогда в голове «появится новая метка» на этот объект, т.к. это явно не леопард, но похож. Стоит человеку после этого увидеть 1-10 раз, что это «диван» (ему скажут, что так называется), он запомнит это. А вот нейросети таких диванов придется «разглядывать» 100500 штук, т.к. одиночные примеры ничего не решают, ведь оптимизируется функция ошибки на всей выборке. Вот именно эта способность к анализу на ходу и принятию новых решений (т.е. некая креативность) позволяет нам сейчас более менее успешно водить автомобиль.
Так ведь прочие датчики никто не собирается отменять. =)
В комментариях выше высказывалась мысль, что легче реализовать общение автомобилей для координирования, чем заниматься крутыми датчиками и умными алгоритмами. Вот до тех пор, пока на дороге есть неинтегрированные в сеть подвижные объекты, все равно придется заниматься разработками крутых автопилотов с умением автономного принятия решений. Что особенно актуально будет при движении на таких дорогах, где за день 1-2 авто проезжает (например, в деревнях, а то и в какой-нибудь не очень умный трактор можно въехать).
Что же касается «неэффективности белковых» – конкретно в этом направлении роботы действительно эффективнее.
Я не спорю, что движение с неукоснительным соблюдением правил движения эффективно. Но стоит в окружении появится объекту, который правила нарушает, как все летит к черту. В ПДД же не прописаны все варианты действий на любое нарушение любого другого участника движения? Будет плохо, если Вася нарушит правила, и все робомобили остановятся до тех пор, пока Вася не скроется из виду, потому что иначе из-за неадекватного Васи соблюсти ПДД просто невозможно. Когда другие нарушают, иногда и робомобилю придется нарушать для обеспечения безопасности пассажиров (например, пьяный выехал на встречку и можно успеть самому отвернуть на встречку. Такие ситуации и будут определять надежность и стабильность системы, т.к. если один нарушитель ее выведет из строя, будет уже очень неэффективно. А нарушители будут всегда, следовательно четкими правилами и логиками не обойтись. Выходит что-то типа компромисса: либо «супер эффективно и в тепличных условиях», либо «не очень эффективно, зато как не пинай работает».
Наконец-то статья, разбавляющая всю эту истерию «вот-вот ИИ начнут начнут править миром (в смысле водить автомобиль)».
Вот меня как-то воротит, когда все, что на нейросетях, называют ИИ. Это же просто математическая модель способная распознавать сложные образы и все! Весь прогресс в этой области конкретно сейчас обусловлен двумя вещами: 1) по некоторым задачам появились огромные массивы данных для обучения; 2) появились мощности способные глубокие модели на эти данные натаскать. Все что сводится к неинтеллектуальному распознаванию сетями, того на чем они учились, решается: классификация объектов, действий на видео и т.д. Иногда даже бывают впечатляющие примеры, когда сетям удается генерировать подписи к картинкам. Но, нейросеть становится глупой, когда возникает ситуация, которой ее не учили. Допустим обучали находить животных, и вот тебе раз на входе леопардовый диван, на выходе будет леопард. Вот человек в здравом уме перепутает диван и леопарда? Проблема, конечно, решается: в датасет напихиваются леопардовые диваны и происходит переобучение. А теперь представьте себе: 1) есть почти все множество нестандартных ситуаций на дорогах, с которыми должен работать автопилот 2) на каждую ситуацию нужно наснимать кучу видео с видом от автомобиля 3) все эти видео должны быть размечены (отсылка к тем, кто вспомнил про youtube и авторегистраторы). Это безумные объемы и никакой синтетический город или что-то в таком духе не помогут. Если в датасете будет всего одна или две ситуации из миллионов, когда неадекватная бабуля переходит дорогу, можно смело говорить, что автомобиль бабулю задавит. Я думаю, что езда на автомобиле может и состоит на 90 процентов из повторяющихся видов из окна, но вот наш мозг в остальных 10 процентах спасает вас от смерти.
Для сторонников общения автомобилей друг с другом. Почему никто никогда не думает о стабильности и устойчивости такой системы. Просто представим, что дороги уже заполонены такими сетевыми автомобилями. Завтра один из автопроизводителей случайно вносит в общение между авто какую-то ошибку. Вот ошибка разносится по всей дороге, и все автомобили уже живут в параллельном мире, не имеющем отношения к реальности. На самом деле все испортить еще легче: возникает ситуация, когда клуб любителей ретро-автомобилей решает сделать заезд из одного города в другой. Вы предлагаете выключить все сетевые авто на это время? У них же уже не будет полного понимания движения на дороге, т.к. «железные динозавры» ретро-клуба им ничего не шлют… И снова возникает требование на автономное принятие решений, и мы снова уходим к автопилоту способному действовать в одиночку. А теперь подумайте, как тогда придется внедрять «общительные» автомобили. Ведь их же сначала на дороге будет мизерный процент среди прочих. В мире редко такое бывает, когда щелкнул пальцем, и у всех новый автомобиль.
Вообще сторонники идеи «белковые тупые и действуют неэффективно», часто забывают, что «эффективно» не значит «надежно и долго проработает». И даже более интересный факт: электричка эффективней личного автомобиля (экологичней, безопасней, больше КПД). В духе такой философии я бы скорее пропагандировал не умные автомобили, а полную замену личного транспорта на суперэффективные автобусы и грузовые автопоезда на огороженных дорогах, где они уже идеально «по алгоритму» будут эффективно и надежно кататься (выходит ЖД какая-то).
Согласен с Вами. Я бы, например, апеллировал к следующим рассуждениям.
Начну немного издалека. Вот я недавно защищал дипломную работу по трекингу в видео людей. У нас были такие обязательные пункты: цель и актуальность. И на защите нельзя было просто выйти и сказать «Я делаю трекинг потому-что это круто», а надо говорить «Цель — (например) обеспечение безопасности в общественных местах, и трекинг поможет эту цель достичь потому-что потому-то».
Теперь по закону. Выходит все и всё будут хранить? Это по-сути инструмент, т.к. цели одним хранением не достигнешь. А зачем, если нету инфраструктуры для анализа? Вот датацентр АНБ. Где такой же у ФСБ, чтобы смысл в таких объемах информации вообще был? Вот почему-то мало кто приводит именно этот аргумент, который ИМХО в пух и прах разносит этот закон, как инструмент обеспечения безопасности.
а) «у вас нет гарантий что лог сохранится, в связи с падением ОС» Как выполнение пользовательской программы может привести к падению ОС? На Linux бывало, что память заканчивается и вываливаются какие-нибудь штуки, которые ошибочно считают частью ОС (например, какие-то куски GUI). Но даже такого я уже долго не встречал. Кстати в этом сценарии Python вешает систему с таким же успехом, причем из-за своей любви к отжиранию памяти это произойдет быстрее.
Что мешает вывести лог в файл, чтобы его даже после падения посмотреть? Почему вы считаете, что дебагер — это стартануть с первой инструкции и жать F(цифра) до того места когда упадет?
Про «кроличью нору»: сам видел, как люди включают тот же дебагер и начинают входить все глубже и глубже в какие-то дебри системных библиотек. Вопрос: зачем? Наличие ошибки в таких местах маловероятно. В первую очередь нужно понять, правильно ли вы вызвали функцию (нулевые указатели и т.п.). Всегда есть valgrind, memory-sanitizer для поиска проблемных мест с перезаписыванием чужой памяти и т.п.
По-поводу неожиданных падений. Неужто в python не встречали такой же штуки? Приходишь через час, а там уже все лежит и написано «nonetype is not iterable»? Имхо, если вы не умеете писать программы, которые работают, то 1) никакой язык вам не поможет 2) тупо сохраняйте результаты вычислений регулярно на диск, чтобы потом продолжить не с нуля.
PS. Заголовок, как обычно, очень желтушный.
И если не секрет, какие модели платформ вы использовали (может на них нет проблемы с разъемами питания)?
Еще можно искать по конкретным отсылкам в текстах статей (ссылка 1, ссылка 2)
По первой ссылке с предыдущего комментария из названия статьи (Практика суперкомпьютера «Ломоносов») кажется логичным, что ссылки по большей части из серии «что-то применили на суперкомпьютере», «на нем заработала какая-то программа», «удалось что-то эффективно применить». То есть тема — процесс применения, а не прорывной результат в других сферах (компьютер — все-таки инструмент).
Говорят, различные статистические показатели по статьям, журналам и прочему сильно влияют на оценку эффективности лабораторий. Плюс многие студенты и преподаватели не видят ничего плохого, чтобы любой результат опубликовать в журнале соответствующего уровня. Это как минимум полезный опыт в написании и грамотном оформлении. По-хорошему к концу магистратуры у студента должна быть хотя бы одна статья, а от подачи до публикации проходит очень много времени: около года. Т.е. уже в первом семестре магистратуры должен быть хоть какой-то результат. Я все это говорю к тому, что журналы и конференции бывают разного уровня, и по одной отдельно выбранной статье нельзя судить.
По поводу набора в Word. У меня самого была ситуация: отослал материалы статьи в LaTeX, их там перебили в Word (иногда от этого даже опечатки вылазят). Думаю так делают, либо потому что в TeX не разбираются, либо потому что в Word большинство присылает и сделать LaTeX -> Word быстрее, чтобы все скомпоновать.
Какой-то конкретики там по поводу конкретных результатов, к сожалению, мало. Так у нас везде, потому что писать новости на сайт скучно и никому не нужно. Лучше тоже время потратить на что-то более полезное. Может быть у нас когда-нибудь прикрепят к каждой лаборатории по журналисту, тогда новостей будет больше. Результаты лучше смотреть по публикациям и статьям. При использовании суперкомпьютера просят ставить ссылку на одну из двух статей. Так что, возможно, эти статьи и эти статьи написаны с использованием суперкомпьютера.
Занимался недавно оптимизацией прогонов через Caffe для курсовой работы и пришел к выводу, что там творится непонятно что. Например, выяснил через Nvidia Visual Profiler, что часть параметров сети копируется в карту при каждом прогоне, и что копирования в память карты и обратно занимают столько же времени, сколько вычисления. Кажется, что все фреймворки заточены под фазу обучения, а про финальную производительность никто не морочился. Если кто-то готов поделиться такими подробностями использования карт в production, буду рад узнать подробности.
Вот зачем такое писать? Вы хоть знаете, что там сейчас считают или не считают? Типичный тролль-комментарий, как таких на geektimes только пускают.
PS. Задело, т.к. учусь на ВМК МГУ.
По поводу ASIO4ALL: есть конкретный usecase: хочется включать гитарный процессор и подыгрывать под backing tracks с youtube. Когда у меня была Audigy 2 ZS звук от ASIO и из обычных приложений выводился одновременно, потом она накрылась (думаю, просто старая около 8-9 лет уже). Realtek (поправьте, если я не прав) вообще не умеет asio без ASIO4ALL. Сейчас пользуюсь гитарным интерфейсом, в нём такой проблемы нет. В общем, я веду к тому, что странно, что нету прослойки для ASIO4ALL, которая звук обычных приложений подмешивает. Соответственно с опцией её отключения, если мешает.
По поводу быстрой обработки звука. На linux есть прикольный вариант. Настраивается Jack с блокировкой памяти и realtime режимом, pulseaudio перенаправляется в него. В итоге приложения, которые работают с Jack выдают звук достаточно быстро, но при этом остается возможность включить плеер или видео с того же youtube. Если еще взять wine и пихнуть к нему wineasio, то можно даже всякие гитарные процессоры запускать. У меня получилось Guitar Rig 5 и Revalver 3 завести. BIAS FX включается, секунду даже дает звук, а потом падает, т.к. не реализованы некоторые функции в части отрисовки интерфейса. К сожалению, Jack неплохо кушает батарейку на ноуте, поэтому к этому добавляется jackdbus, который позволяет перенаправлять pulseaudio в Jack, только когда он включен.
Мне интересно, когда geektimes уже окончательно укатится в формат картинки 64x64 с подписью «ШОК! Новый гаджет изменит мир! Очереди уже стоят»?
Цитата из статьи:
На примерах тупо расплывается кадр в разные стороны, происходит какой-то ад. В тексте статьи идет какая-то дичь про роботов. Вот скажите, робот тупо нагенерил 25 следующих кадров. И как он дальше поймет хорошо он сделал или плохо? Будет на этих кадрах трупов искать?
По-поводу сетей, с адаптивным числом параметров (выше обсуждается). Да такие есть, но они работают плохо в сравнении со сверточными и глубокими архитектурами. Все последние прорывы, которые благодаря редакторам geektimes и прочим журналистам кажутся уже приближают создание ИИ, основаны именно на этих «глупеньких» сетях с фиксированным числом параметров. Причем последние тенденции с отказом от полносвязанных слоев продолжают уменьшать число параметров сети.
Во-вторых, снова кто-то сравнивает искусственные нейронные сети с человеческим мозгом. Хороший пример, когда дурацкая терминология дает журналисту хлеб. Хоть изначальная модель персептрона и создавалась как «модель работы клеток мозга» (напомню, что это было в 50-х годах), нынешние приемы построения моделей никак не связаны с человеком. Покажите мне медицинские статьи, где в голове нашли свертки, max-pooling, хитрые функции потерь, upsampling, batch normalization, стохастический градиентный спуск и пр.?
Просто уже наболело. Я комментарий такого рода пишу, похоже, регулярно раз в 1-2 месяца. Может тон грубоват, аргументы не отшлифованы в этот раз… Просто поймите, каждый день в лаборатории, где занимаются компьютерным зрением (а сейчас по большей части это те же нейронные сети), не вижу ни одного такого фанатика, какие есть тут среди комментаторов. А вообще такое ощущение, что снова время зря потратил…
А лучше бы не болтали, а пресс-релизы делали бы сразу по результатам работы. Но это не для мира, где мировоззрение определяется маркетологами, журналистами и политиками.
Дело в том, что то, как работает нейросеть, почти ничего общего с человеческим мозгом не имеет.
Сейчас вспомнил самую пожалуй эффектную демонстрацию некоторого «абсурда» в обучении нейросетей: http://www.evolvingai.org/fooling (на странице видео есть, советую посмотреть) Авторы статьи смогли подобрать такие синтетические изображения, на которых нейросеть выдает, например, 99% что это гитара, а на картинке тупо полосы повторяющиеся. Думаю, так сильно ваша дочка даже в самом раннем возрасте не ошибалась :)
В комментариях выше высказывалась мысль, что легче реализовать общение автомобилей для координирования, чем заниматься крутыми датчиками и умными алгоритмами. Вот до тех пор, пока на дороге есть неинтегрированные в сеть подвижные объекты, все равно придется заниматься разработками крутых автопилотов с умением автономного принятия решений. Что особенно актуально будет при движении на таких дорогах, где за день 1-2 авто проезжает (например, в деревнях, а то и в какой-нибудь не очень умный трактор можно въехать).
Я не спорю, что движение с неукоснительным соблюдением правил движения эффективно. Но стоит в окружении появится объекту, который правила нарушает, как все летит к черту. В ПДД же не прописаны все варианты действий на любое нарушение любого другого участника движения? Будет плохо, если Вася нарушит правила, и все робомобили остановятся до тех пор, пока Вася не скроется из виду, потому что иначе из-за неадекватного Васи соблюсти ПДД просто невозможно. Когда другие нарушают, иногда и робомобилю придется нарушать для обеспечения безопасности пассажиров (например, пьяный выехал на встречку и можно успеть самому отвернуть на встречку. Такие ситуации и будут определять надежность и стабильность системы, т.к. если один нарушитель ее выведет из строя, будет уже очень неэффективно. А нарушители будут всегда, следовательно четкими правилами и логиками не обойтись. Выходит что-то типа компромисса: либо «супер эффективно и в тепличных условиях», либо «не очень эффективно, зато как не пинай работает».
Вот меня как-то воротит, когда все, что на нейросетях, называют ИИ. Это же просто математическая модель способная распознавать сложные образы и все! Весь прогресс в этой области конкретно сейчас обусловлен двумя вещами: 1) по некоторым задачам появились огромные массивы данных для обучения; 2) появились мощности способные глубокие модели на эти данные натаскать. Все что сводится к неинтеллектуальному распознаванию сетями, того на чем они учились, решается: классификация объектов, действий на видео и т.д. Иногда даже бывают впечатляющие примеры, когда сетям удается генерировать подписи к картинкам. Но, нейросеть становится глупой, когда возникает ситуация, которой ее не учили. Допустим обучали находить животных, и вот тебе раз на входе леопардовый диван, на выходе будет леопард. Вот человек в здравом уме перепутает диван и леопарда? Проблема, конечно, решается: в датасет напихиваются леопардовые диваны и происходит переобучение. А теперь представьте себе: 1) есть почти все множество нестандартных ситуаций на дорогах, с которыми должен работать автопилот 2) на каждую ситуацию нужно наснимать кучу видео с видом от автомобиля 3) все эти видео должны быть размечены (отсылка к тем, кто вспомнил про youtube и авторегистраторы). Это безумные объемы и никакой синтетический город или что-то в таком духе не помогут. Если в датасете будет всего одна или две ситуации из миллионов, когда неадекватная бабуля переходит дорогу, можно смело говорить, что автомобиль бабулю задавит. Я думаю, что езда на автомобиле может и состоит на 90 процентов из повторяющихся видов из окна, но вот наш мозг в остальных 10 процентах спасает вас от смерти.
Для сторонников общения автомобилей друг с другом. Почему никто никогда не думает о стабильности и устойчивости такой системы. Просто представим, что дороги уже заполонены такими сетевыми автомобилями. Завтра один из автопроизводителей случайно вносит в общение между авто какую-то ошибку. Вот ошибка разносится по всей дороге, и все автомобили уже живут в параллельном мире, не имеющем отношения к реальности. На самом деле все испортить еще легче: возникает ситуация, когда клуб любителей ретро-автомобилей решает сделать заезд из одного города в другой. Вы предлагаете выключить все сетевые авто на это время? У них же уже не будет полного понимания движения на дороге, т.к. «железные динозавры» ретро-клуба им ничего не шлют… И снова возникает требование на автономное принятие решений, и мы снова уходим к автопилоту способному действовать в одиночку. А теперь подумайте, как тогда придется внедрять «общительные» автомобили. Ведь их же сначала на дороге будет мизерный процент среди прочих. В мире редко такое бывает, когда щелкнул пальцем, и у всех новый автомобиль.
Вообще сторонники идеи «белковые тупые и действуют неэффективно», часто забывают, что «эффективно» не значит «надежно и долго проработает». И даже более интересный факт: электричка эффективней личного автомобиля (экологичней, безопасней, больше КПД). В духе такой философии я бы скорее пропагандировал не умные автомобили, а полную замену личного транспорта на суперэффективные автобусы и грузовые автопоезда на огороженных дорогах, где они уже идеально «по алгоритму» будут эффективно и надежно кататься (выходит ЖД какая-то).
Начну немного издалека. Вот я недавно защищал дипломную работу по трекингу в видео людей. У нас были такие обязательные пункты: цель и актуальность. И на защите нельзя было просто выйти и сказать «Я делаю трекинг потому-что это круто», а надо говорить «Цель — (например) обеспечение безопасности в общественных местах, и трекинг поможет эту цель достичь потому-что потому-то».
Теперь по закону. Выходит все и всё будут хранить? Это по-сути инструмент, т.к. цели одним хранением не достигнешь. А зачем, если нету инфраструктуры для анализа? Вот датацентр АНБ. Где такой же у ФСБ, чтобы смысл в таких объемах информации вообще был? Вот почему-то мало кто приводит именно этот аргумент, который ИМХО в пух и прах разносит этот закон, как инструмент обеспечения безопасности.