User
В этой статье я расскажу, что такое inductive bias, зачем он нужен и где встречается в машинном обучении. Спойлер: везде. Любая нейросеть имеет inductive bias (даже та, что в человеческом мозге, хе-хе)
Также вы узнаете:
- почему inductive bias — это очень хорошо
- способы внедрить inductive bias в модели машинного обучения
- какой inductive bias в сверточных нейросетях и как успех архитектуры Image Transformer связан с inductive bias
Недавно опять разгорелась дискуссия, как можно похудеть, работая в IT. Так вот, хороший (и научный) способ есть, и он на самом деле проще, чем можно было бы ожидать.
Конечно, если ничего не делать, то будешь только толстеть. Средний офисный сотрудник сегодня сидит больше 10 часов в день. Мы с вами, чувствую, ещё больше, особенно если на досуге играем, читаем Хабр или смотрим ютуб. Лично меня от компьютера вообще не оттащить. Хотя читал полно исследований, говорящих о больших проблемах со здоровьем, возникающих из-за малоподвижного образа жизни.
Например, было доказано, что независимо от уровня физической активности слишком много сидения увеличивает риск сердечных заболеваний, диабета, деменции и серьезных проблем со спиной. Более половины всех людей в мире сегодня уже страдают от этих проблем, и больше 80% людей в возрасте 60+.
Решение, конечно, простое — упражнения, в любой возможной форме. Но если вы такие как я, то тренироваться скучно и тяжело, правда? Большинство из нас ненавидят физкультуру. К тому же, на это нет лишнего времени. Бонусные часы каждый день магически не появятся.
Но похоже, есть способ ускорить обмен веществ в организме, даже сидя за ПК. И точно избежать проблем с метаболизмом и ожирением. Несколько недель назад вышла работа ученых под руководством Марка Гамильтона из Хьюстонского университета. Они разработали технику, позволяющую задействовать неожиданное свойство икроножных мышц, и делать для своего организма полноценную тренировку, не вставая со стула. Оказывается, похудеть, работая в IT, — это не так уж и сложно. Испытываю на себе, полёт нормальный. А какие у вас ноги будут прокачанные!
Во многих популярных курсах машинного и глубокого обучения вас научат классифицировать собак и кошек, предсказывать цены на недвижимость, покажут еще десятки задач, в которых машинное обучение, вроде как, отлично работает. Но вам расскажут намного меньше (или вообще ничего) о тех случаях, когда ML-модели не работают так, как ожидалось.
Частой проблемой в машинном обучении является неспособность ML-моделей корректно работать на большем разнообразии примеров, чем те, что встречались при обучении. Здесь идет речь не просто о других примерах (например, тестовых), а о других типах примеров. Например, сеть обучалась на изображениях коровы, в которых чаще всего корова был на фоне травы, а при тестировании требуется корректное распознавание коровы на любом фоне. Почему ML-модели часто не справляются с такой задачей и что с этим делать – мы рассмотрим далее. Работа над этой проблемой важна не только для решения практических задач, но и в целом для дальнейшего развития ИИ.
GTD (Getting Things Done, Доведение дел до завершения) — это методика организации и отслеживания задач и проектов. Но эта методика, правда, ориентирована на нечто большее, чем только на «доведение дел до завершения». (Ей стоило бы называться «Доведение дел до завершения гораздо лучшим способом, чем просто позволяя чему-то идти своим чередом, что часто получается не так, чтобы очень уж хорошо»). Цель GTD — сделать так, чтобы человек полностью доверял бы системе сбора задач, идей и проектов. Это относится и к туманным задачам, вроде «сделать самое великое изобретение», и к конкретным делам, вроде «позвонить Аде 25 августа чтобы обсудить программу конференции». Речь идёт абсолютно обо всём!
Перевод статьи "Natural and Artificial Intelligence: A brief introduction to the interplay between AI and neuroscience research", опубликованной в сентябре 2021 года.
Оригинал статьи
Исходно перевод делался на скорую руку, для собственных прикладных задач и не для открытой публикации, поэтому материал вышел в черновом виде со множеством возможностей для коррекции и адаптации. Прикладные задачи здесь - нейропсихология, психиатрия, психология и решения в области ИИ.
В таком виде его и публикую. Надеюсь, что окажется полезен как для профессионалов, так и для всех интересующихся темой.
Краткий обзор результатов взаимодействия между нейронауками и индустрией искусственного интеллекта.
Взлом компьютера, телефона, электроподстанции, беспилотника или даже целого города – кого этим удивишь?
Взлом мозгов сотен миллионов людей – вот это впечатляет! США, Великобритания и граждане стран третьего мира попали под влияние компании SCL Group и ее дочерних организаций, особенно на слуху была и останется теперь навечно Кембридж Аналитика.
Этот цикл рассказывает историю SCL и ее дочерних компаний глазами бывшего директора по исследованиям – Кристофера Уайли. Перед вами третья часть, и посвящена она различным методикам сбора приватных данных и тому, как команда психологов и аналитиков построила невероятно точную модель американского общества. Удивительно, порой, как плотно гуманитарные науки могут смыкаться с сугубо техническими.
Первая и вторая части, напомню, есть на Хабре и доступны также по ссылке внизу, в блоке навигации.
Всегда хотел зарабатывать в Штатах, но не знал, как получить первых клиентов. Через 4 недели, мы запустились на Product Hunt и получили 300 регистраций за одну ночь, бесплатно. Как повторить - читайте пошаговую инструкцию в статье.
К моему удивлению, в открытом доступе оказалось не так уж много подробных и понятных объяснений того как работает модель GPT от OpenAI. Поэтому я решил всё взять в свои руки и написать этот туториал.
“С бедностью тесно связано отсутствие социальной мобильности. Я сам это видел: вам не нужно расти богатым или даже принадлежать к верхнему среднему классу, чтобы разбогатеть как основатель стартапа, но очень немногие успешные основатели выросли в крайней бедности ”. (Источник)
Взлом компьютера, телефона, электроподстанции, беспилотника или даже целого города – кого этим удивишь?
Взлом мозгов сотен миллионов людей – вот это впечатляет! США, Великобритания и граждане стран третьего мира попали под влияние компании SCL Group и ее дочерних организаций, особенно на слуху была (и останется теперь навечно) Кембридж Аналитика.
Этот цикл рассказывает историю SCL и ее дочерних компаний глазами бывшего директора по исследованиям – Кристофера Уайли. О том, как 24-летний либеральный канадский гей с пирсингом в носу и розовыми волосами оказался в составе британского военного подрядчика, разработал инструменты психологической войны для американских ультра-правых и рассказал об этом всему миру. Это вторая часть, и посвящена она работе с источниками данных о людях и их предпочтениях, а также исследованиям в области применимости этих данных к некоторым манипуляциям. Удивительно, порой, как плотно гуманитарные науки могут смыкаться с техническими.
Первая часть, напомню, есть на Хабре и доступна также по ссылке внизу, в блоке навигации.
Случайные числа c давних времен и по сей день используются во множестве отраслей. Это и научные исследования, которым необходима возможность формировать случайные выборки, и компьютерное моделирование физических процессов, и численных анализ, и даже компьютерные и азартные игры. А самое главное - криптография.
Трансформеры за последние несколько лет штурмом захватили мир NLP, а сегодня они с успехом применяются в выходящих за рамки NLP приложениях. Они обладают такими возможностями благодаря модулю внимания, который схватывает отношения между всеми словами последовательностей. Но самый важный вопрос — как именно трансформеры делают это? Попытаемся ответить и понять, почему трансформеры способны выполнять такие вычисления. Итак, цель статьи, чуть сокращённым переводом которой мы делимся к старту курса о машинном и глубоком обучении, — разобраться не только с тем, как что-то работает, но и почему работает так. Чтобы понять, что движет трансформерами, мы должны сосредоточиться на модуле внимания. Начнём с входных данных и посмотрим, как они обрабатываются.
Первая бестекстовая NLP-модель от FAIR, предсказание погоды от DeepMind, неожиданное применение CLIP в робототехнике и много другое в сентябрьской подборке: