Pull to refresh
  • by relevance
  • by date
  • by rating

Алгоритм обучения нейронных сетей с помощью нового вида чисел

AlgorithmsMathematicsMachine learningArtificial Intelligence

Приветствую читатель. Когда я был ребёнком и учился в школе, моим любимым предметом была математика, любимым предметом она была из-за того, что я очень люблю решать задачи, в какой-то момент своей жизни я начал составлять сам для себя заведомо нерешаемые задачи и пытался их решить, по полной напрягая свой разум в продумывании подхода для решения нерешаемой задачи, иногда оказывалось, что нерешаемая задача только казалась таковой из-за упущения некоторых неочевидных моментов. Любовь к решению задач сильно повлияла на меня, из-за чего я у себя в голове постоянно решаю какие-либо задачи, не только математические, но и из других сфер. За жизнь у меня накопилось множество идей (решений), от 3d принтера печатающего сталью до способа решения проблемы утилизации радиоактивных отходов атомных электростанций. Наверняка многие идеи на самом деле не реализуемы, по тем или иным причинам, а некоторые наверняка были придуманы до меня, а я просто о них не знал (так уже бывало). В прошлой моей статье я упомянул (сам не знаю зачем) о том, что я придумал новый вид чисел с помощью которых можно обучать нейронные сети. Я хотел открыть сервис по обучению нейронных сетей с помощью этих чисел, но с учётом пандемии и моего плохого состояния здоровья, я подумал, что вдруг я реально первый кто додумался до этих чисел и будет крайне плохо если я умру и знания о этих числах уйдут со мной. Поэтому я и решил написать эту статью, в которой расскажу подробно о этих числах и как их использовать для обучения нейронных сетей. Сразу скажу, что я не прорабатывал все необходимые формулы для работы с такими числами, так как был занят своим языком программирования, это лишь идея, а не готовая реализация.

Читать далее
Total votes 11: ↑7 and ↓4+3
Views4.7K
Comments 62

Языковое моделирование с помощью управляемых сверточных сетей

Machine learning
Translation

Доминирующий на сегодняшний день подход к языковому моделированию  основан на рекуррентных нейронных сетях. Их успех в моделировании часто связан со способностью таких сетей обработать неограниченный контекст. В этой статье мы разрабатываем подход для конечного контекста с помощью сложенных (композитных) сверток, которые могут быть более эффективными, поскольку они позволяют распараллеливать последовательные порции данных. Мы предлагаем новый упрощенный нейро-управляемый механизм и исследуем для него влияние ключевых архитектурных решений. Предложенный подход достигает наиболее значимых результатов на бенчмарке WikiText103, даже несмотря на то, что он характерен долгосрочностью зависимостей, а также сопоставимых результатов на бенчмарке Google Billion Words. Наша модель уменьшает задержку при оценивании предложения на порядок, по сравнению с рекуррентными базовыми значениями. Насколько нам известно, это первый случай, когда непериодический подход конкурентоспособен с сильными рекуррентными моделями в подобных крупномасштабных языковых задачах.

Читать далее
Total votes 4: ↑4 and ↓0+4
Views1.2K
Comments 2

Изучение важных функций путем распространения различий в активации. DeepLIFT

Machine learning
Translation

Предполагаемая природа типа «черный ящик» нейронных сетей является препятствием для использования в приложениях, где важна интерпретируемость. Здесь мы представляем DeepLIFT (Deep Learning Important FeaTures), метод декомпозиции выходного предсказания нейронной сети на конкретном входе путем обратного распространения откликов всех нейронов (узлов) сети на каждый признак входного сигнала. DeepLIFT сравнивает активацию каждого нейрона с его «эталонной активацией» и присваивает оценки его отдельного вклада. При необходимости раздельно рассматривая положительные и отрицательные вклады, DeepLIFT может также выявить зависимости, которые упускаются другими подходами. Баллы могут быть эффективно вычислены за один обратный проход. Мы применяем DeepLIFT к моделям, обученным на MNIST и смоделированных геномных данных,  показывая значительные преимущества перед градиентными методами. 

Читать далее
Total votes 2: ↑1 and ↓10
Views659
Comments 0

Нейронная Сеть CLIP от OpenAI: Классификатор, который не нужно обучать. Да здравствует Обучение без Обучения

PythonProgrammingAlgorithmsMachine learningArtificial Intelligence
Tutorial

Можете представить себе классификатор изображений, решающий практически любую задачу, и который вообще не нужно обучать? Это новая нейросеть CLIP от OpenAI. Разбор CLIP из рубрики: Разбираем и Собираем Нейронные Сети на примере Звездных Войн!

Нет данных, нет разметки, но нужен классификатор изображений для конкретной задачи? Нет времени возиться с обучением нейронной сети, но нужно получить классификацию высокой точности? Все это стало возможным. Вам нужно обучение без обучения!

Готов и туториал: Собираем нейросети. Классификатор животных из мультфильмов.
Без данных и за 5 минут. CLIP: Обучение без Обучения + код

Подробно и доступно разбираем что такое "обучение без обучения" и саму нейросеть CLIP от OpenAI. Стираем границы между Текстом и Изображением. Внимание: статья подходит под любой уровень: от нулевого до профи. Приятного прочтения!

Поехали!
Total votes 28: ↑28 and ↓0+28
Views13K
Comments 19

Примеры архитектур нейронных сетей для решения пяти прикладных задач

Machine learningArtificial Intelligence
Sandbox

Всем привет! Первый пост на Хабре и сразу хардкорная тема на злобу дня. Думаю, многие разработчики искусственного интеллекта для решения прикладных задач задумывались, какие архитектуры нейронок наиболее эффективны в контексте конкретных задач. Сразу оговорюсь, что приведенные примеры разработаны сотрудниками Университета искусственного интеллекта. Но мне, как участнику их интенсива, посчастливилось потестить их архитектуры и собрать полезную статистику по их эффективности.

1. Распознавание рукописных цифр

Начнем с с простейшей архитектуры. Данная сетка состоит из одного входного и 3-х полносвязных слоев.

Читать далее
Total votes 13: ↑7 and ↓6+1
Views3.6K
Comments 7

Нейродайджест: главное из области машинного обучения за январь 2021

PythonMachine learningArtificial IntelligenceTensorFlow


12 выпусков позади, значит пора немного поменять название и оформление, но внутри вас всё так же ждут исследования, демонстрации, открытые модели и датасеты. Встречайте новый выпуск подборки материалов о машинном обучении.
Читать дальше →
Total votes 17: ↑16 and ↓1+15
Views3.7K
Comments 3

Искусственные нейронные сети. Часть 1

PythonArtificial Intelligence
Sandbox

В этой статье вы познакомитесь с основами работы искусственных нейронов. В последующих статьях мы изучим основы работы нейронных сетей и напишем простейшую нейронную сеть на python.

Читать далее
Total votes 17: ↑12 and ↓5+7
Views5.4K
Comments 10

Книга «Надежность нейронных сетей: укрепляем устойчивость ИИ к обману»

Издательский дом «Питер» corporate blogInformation SecurityProfessional literatureMachine learningArtificial Intelligence
image Привет, Хаброжители! Глубокие нейронные сети (DNN) становятся неотъемлемой частью IT-продуктов, провоцируя появление нового направления кибератак. Хакеры пытаются обмануть нейросети с помощью данных, которые не смогли бы обмануть человека.

Кэти Уорр рассматривает мотивацию подобных атак, риски, которые влечет вредоносный ввод, а также методы повышения устойчивости ИИ к таким взломам. Если вы специалист по data science, архитектор системы безопасности и стремитесь повысить устойчивость систем с ИИ или вас просто интересует различие между искусственным и биологическим восприятием, то эта книга для вас.
Читать дальше →
Total votes 8: ↑7 and ↓1+6
Views2.1K
Comments 0

Британскиий ИИ знает, что ты чувствуешь, @username

Selectel corporate blogMachine learningPopular scienceHealthThe future is here

Ментальное здоровье, отношения с окружающими, рабочая продуктивность —
от испытываемых эмоций зависит многое. Ну, а теперь представьте, что ваше эмоциональное состояние можно оценить за считанные секунды. И знают о нем «те, кому положено». Думаете, это фантазия? Так может выглядеть будущее, в котором за нами следят приборы и устройства ради нашего и всеобщего психического равновесия.

Новый подход к исследованию и определению человеческих эмоций предложили ученые из Лондонского университета королевы Марии. Они разработали специальную систему, которая включает искусственный интеллект (ИИ) и беспроводные системы. Можно забыть об аппаратах ЭКГ, опутывающих голову проводах, сложных носимых датчиках. И самое интересное — технология интегрируется в систему умного дома. Поэтому, возможно, в скором времени нам придется сжигать пересмотреть взгляд на роутеры Wi-Fi. Но обо всем по порядку.
Читать дальше →
Total votes 16: ↑15 and ↓1+14
Views2.1K
Comments 0

Поиск нарушений на видео с помощью компьютерного зрения

PythonProgrammingMachine learning

Предположим, что данное нарушение возможно. Как же его выявить?

В нашем распоряжении имеются записи с камер наблюдения рабочего места сотрудника и журнал проведения операций.

Будем искать все моменты на записи, где отсутствовал клиент. В этом нам поможет нейронная сеть MobileNet и CSRT Tracker из библиотеки opencv. А для удобства еще и Tesseract-OCR.

Чтобы найти человека в кадре будем использовать нейросеть MobileNet. Данная сеть позволяет обнаружить и локализовать 20 типов объектов на изображении. Для ее работы необходимо скачать два файла: архитектуру и веса. Данные файлы можно найти в репозитории Github.

Перед написанием кода нам понадобится установка библиотеки компьютерного зрения cv2 и пакета для обработки текста на изображениях pytesseract. 

Читать далее
Total votes 4: ↑3 and ↓1+2
Views1.9K
Comments 2

Что такое OpenVINO?

Intel corporate blogPythonMachine learningPopular scienceArtificial Intelligence
Tutorial

Привет всем читателем habr.com! Мы студенты НГТУ им. Р.Е. Алексеева, и хотим рассказать о своем опыте работы с набором инструментов Intel – OpenVINO (Open Visual Inference & Neural Network Optimization).

Для начала давайте познакомимся. Мы- студенты 2 курса ИРИТ, кафедры «Информатика и системы управления» – Божко Мария и Сторожева Ксения.  Наше знакомство с OpenVINO произошло еще на первом курсе, когда преподаватели пригласили поучаствовать в воркшопе по компьютерному зрению от Intel, направленном на получение практического опыта работы с готовыми моделями компании. Заинтересовавшись темой машинного обучения, мы изучили множество статей, посвященных нейронным сетям. К нашему удивлению, мы не нашли ни одной статьи, в которой довольно подробно, понятно и, главное, доступно для людей любого уровня знаний было бы рассказано об OpenVINO. Безусловно, информация по этой теме имеется в интернете, но она разрознена и к тому же представлена на английском языке, большинство авторов очень кратко описывает OpenVINO и все связанное с ним, из таких статей сложно сформировать полное представление об этой технологии. Поэтому у нас родилась идея - написать публикацию с описанием этого набора инструментов простым и понятным языком для тех, кто только начинает свое знакомство с OpеnVINO.

Читать далее
Total votes 15: ↑13 and ↓2+11
Views6.4K
Comments 3

It’s a match: финские ученые создают идеально привлекательные лица, учитывая личные предпочтения мозга

Selectel corporate blogMachine learningArtificial IntelligenceBrainThe future is here

Мы мгновенно без задержки идентифицируем человека как привлекательного для нас или нет. Но узнать, какие факторы и индивидуальные особенности внешности определяют эту спонтанную бессознательную симпатию до сих пор не удавалось. Порой привлекательность связывают с личными и культурными особенностями. Однако финские ученые нашли рациональный подход в этом абсолютно иррациональном мире вопросе.

Итак, существует ли идеальная пара? На основе данных ЭЭГ ученые научили генеративно-состязательные нейронные сети (GAN) предсказывать и воссоздавать лица, которые потенциально будут казаться нам привлекательными. Только представьте, итоговая точность предсказаний составила >80%. Интересно, что будет, если сеть сможет в перспективе влиять на подборку пары в Tinder и подобных приложениях? Но разберемся во всем по порядку.
Читать дальше →
Total votes 44: ↑38 and ↓6+32
Views14K
Comments 33

Как мы анализируем предпочтения пользователей виртуальных ассистентов Салют

SberDevices corporate blogData MiningMachine learningArtificial IntelligenceNatural Language Processing
Приветствую всех! Меня зовут Ибрагим, я работаю в SberDevices и занимаюсь машинным обучением. Сегодня я расскажу о том, как мы находим и анализируем интересы и предпочтения пользователей наших виртуальных ассистентов Салют.

Также поделюсь видео с моего недавнего выступления на онлайн-конференции «Применение ML в Digital-продуктах», которую проводили коллеги из AGIMA и Epoch8.


В этом посте мы разберём следующее:

  • где можно искать данные, если для задачи нет готового датасета; 
  • как можно быстро и дёшево увеличить размер своего датасета;
  • как использовать кластеризацию сырых данных;
  • какие есть методы улучшения качества датасета после разметки.

Вступление


Работая над виртуальными ассистентами, нам часто необходимо обучать специфические модели-классификаторы, которые решают свою узкую задачу. У таких задач есть несколько особенностей:

  • отсутствие готовых датасетов;
  • отсутствие чёткой структуры классов, на которые можно разделить данные;
  • наличие сырых логов, в которых могут быть интересующие нас данные;
  • сильный дисбаланс классов, где самый многочисленный класс – это класс нерелевантной информации.

Для решения подобных задач, мы выработали определенный пайплайн – последовательность шагов, которая позволяет быстро и дёшево обучить нужную модель. Ниже рассмотрим процесс обучения модели для классификации интересов пользователей.
Читать дальше →
Total votes 16: ↑16 and ↓0+16
Views1.5K
Comments 0

3D реконструкция лица, или как получить своего цифрового двойника (Часть 1)

twin3d corporate blogWorking with 3D-graphicsAlgorithmsMathematics

Поговорим о методах 3D восстановления лица человека, которое почти не отличить от фотографий. Тема лицевой 3D реконструкции вот уже 2 года практически не освещается на Хабре. Тем временем область 3D digital human не только не теряет свою актуальность, но и переживает бурный научно-технологический рост. Так что будем регулярно выкладывать обзоры статей и результаты разных методов восстановления 3D-моделей человека по фотографиям.

Читать далее
Total votes 8: ↑8 and ↓0+8
Views3.8K
Comments 3

Как построить свою систему поиска похожих изображений

Search enginesImage processingArtificial Intelligence

В интернете есть много информации о поиске похожих изображений и дубликатов. Но как построить свою систему? Какие современные подходы применять, на каких данных обучать, как валидировать качество поиска и куда смотреть при выводе в production?

В этой статье я собрал все необходимые компоненты поисковой системы на изображениях в одном месте, разбавив контент современными подходами.

Читать далее
Total votes 51: ↑50 and ↓1+49
Views13K
Comments 33

Как машины учатся эмоциональному поведению

SberDevices corporate blogMachine learningPopular scienceArtificial Intelligence
Нередко при взаимодействии с техникой люди проявляют эмоции: мы можем злиться на сломавшийся банкомат или умиляться пронырливости робота-пылесоса. Да, мы общаемся с роботами, но не стоит оценивать это общение как одностороннее: в логику аватаров, которые компании используют для взаимодействия с пользователем, часто бывает встроен навык понимания эмоций, и даже их проявления. Обычно это нужно, чтобы сделать общение приятным для клиента. Как же это всё работает?


Часто сюжеты фильмов и книг о роботах вращаются вокруг темы эмоций. «Добрые» роботы учатся у людей любви и самопожертвованию, а «злые» оказываются повержены из-за неспособности любить, жертвовать собой, предугадывать «иррациональные» поступки людей. Так, робот Вертер из фильма «Гостья из будущего» мучается из-за любви к Полине, а Электроник из одноименных «Приключений» в разные моменты фильма плачет, улыбается и смеётся, и в итоге именно это делает его человеком. 

Смогут ли машины в самом деле испытывать эмоции? Ответить на этот вопрос будет трудно, покуда нам непонятна физиологическая составляющая эмоций. Если смотреть на эмоции широко, даже в поведении примитивных организмов наблюдаются явления, которые можно интерпретировать как эмоции. Например, у некоторых моллюсков в результате обучения формируются условные рефлексы, которые заставляют их избегать определённых стимулов. А что это, как не страх? Но оставим философствования философам, а современным учёным и разработчикам — практические исследования. По данным последних, с уверенностью можно сказать, что машины можно научить распознавать эмоции и их симулировать. 
Читать дальше →
Total votes 9: ↑9 and ↓0+9
Views1.9K
Comments 5

Edge платы для домашнего Computer Vision

Recognitor corporate blogImage processingMachine learningComputer hardwareDIY

Я люблю делать всякие странные штуки с Computer Vision. Назовем их “условно полезные девайсы”. Из того, что я выкладывал на Хабре, - рассказ про умную кормушку для птиц и камера для слежения за ребенком. По работе тоже примерно тем же самым занимаюсь. Так что люблю следить за актуальным рынком устройств которые подходят для ComputerVision. Свой прошлый обзор я делал полтора года назад. Что для Embedded - много. В этом я сосредоточусь на устройствах которые вышли недавно + на устройствах которые будут интересны для хоббийных проектов.

Читать далее
Total votes 38: ↑37 and ↓1+36
Views7.7K
Comments 14

Искусственный интеллект в юриспруденции. Вебинар № 1: Обзор последних достижений в области AI

Machine learningArtificial IntelligenceNatural Language Processing

Сегодня тема искусственного интеллекта продолжает набирать популярность. Мы слышим новости и упоминания о ней практически во всех СМИ, однако найти по-настоящему содержательную информацию не так просто. Мы решили продолжить развитие данной темы и открываем цикл вебинаров об искусственном интеллекте в юриспруденции.


Читать дальше →
Total votes 4: ↑3 and ↓1+2
Views2.9K
Comments 16