Как стать автором
Обновить
0
0
mypallmall @mypallmall

Пользователь

Отправить сообщение

ANNA – сервис для автоматической разработки нейронных сетей

Уровень сложностиПростой
Время на прочтение10 мин
Количество просмотров7.3K

Нейросетевые модели уже несколько лет успешно применяются в Альфа-Банке для решения ключевых задач, таких как кредитный скоринг, прогнозирование склонности клиентов к продуктам и определение оттока. Модели глубокого обучения демонстрируют высокое качество и стабильно улучшают метрики при добавлении к традиционным бустинговым моделям, что приносит Банку сотни миллионов рублей ежегодно.

Однако со временем процесс переобучения моделей под новые целевые переменные становится рутиной: используемые архитектуры почти не меняются, данные собираются по стандартным алгоритмам, по стандартным же алгоритмам обучаются модели и внедряются в продакшен. 

Как продолжать успешно внедрять нейросетевые модели в основные бизнес-задачи, не тратя время на неэффективные рутинные процессы – в нашей новой статье.

Читать далее
Всего голосов 27: ↑26 и ↓1+25
Комментарии2

Яндекс выложил YaLM 100B — сейчас это крупнейшая GPT-подобная нейросеть в свободном доступе. Вот как удалось её обучить

Время на прочтение10 мин
Количество просмотров116K

Больше примеров — в конце поста

В последние годы большие языковые модели на архитектуре трансформеров стали вершиной развития нейросетей в задачах NLP. С каждым месяцем они становятся всё больше и сложнее. Чтобы обучить подобные модели, уже сейчас требуются миллионы долларов, лучшие специалисты и годы разработки. В результате доступ к современным технологиям остался лишь у крупнейших IT-компаний. При этом у исследователей и разработчиков со всего мира есть потребность в доступе к таким решениям. Без новых исследований развитие технологий неизбежно снизит темпы. Единственный способ избежать этого — делиться с сообществом своими наработками.

Год назад мы впервые рассказали Хабру о семействе языковых моделей YaLM и их применении в Алисе и Поиске. Сегодня мы выложили в свободный доступ нашу самую большую модель YaLM на 100 млрд параметров. Она обучалась 65 дней на 1,7 ТБ текстов из интернета, книг и множества других источников с помощью 800 видеокарт A100. Модель и дополнительные материалы опубликованы на Гитхабе под лицензией Apache 2.0, которая допускает применение как в исследовательских, так и в коммерческих проектах. Сейчас это самая большая в мире GPT-подобная нейросеть в свободном доступе как для английского, так и для русского языков.

В этой статье мы поделимся не только моделью, но и нашим опытом её обучения. Может показаться, что если у вас уже есть суперкомпьютер, то с обучением больших моделей никаких проблем не возникнет. К сожалению, это заблуждение. Под катом мы расскажем о том, как смогли обучить языковую модель такого размера. Вы узнаете, как удалось добиться стабильности обучения и при этом ускорить его в два раза. Кстати, многое из того, что будет описано ниже, может быть полезно при обучении нейросетей любого размера.
Читать дальше →
Всего голосов 166: ↑165 и ↓1+164
Комментарии139

Нейросети: где взять данные для тонкого обучения алгоритмов?

Время на прочтение3 мин
Количество просмотров3.3K

Привет, Хабр! Меня зовут Алиса Невейкина, и я работаю в стартапе из Беларуси SmartCoders. Мы занимаемся разработкой нейросетей и решений на базе ИИ для бизнеса. Этот пост стал результатом глубоких раздумий об особенностях развития проектов с использованием машинного обучения, а также о моделях монетизации данных технологий. Если вы уже работали с ИИ или планируете это сделать, приглашаю присоединиться к обсуждению.

Читать дальше →
Всего голосов 13: ↑9 и ↓4+5
Комментарии14

Исследовательский практикум. Голосовой UX – как сделать голосового виртуального ассистента лучшей версией человека

Время на прочтение9 мин
Количество просмотров1.7K

Почему это важно?


Знаете, какой самый надежный способ сделать что-то идеально правильно? Надо просто подсмотреть это в живой природе, т.е. постараться увидеть – как данную проблему решила эволюция, ну или, если хотите, реализовал Бог, т.к. характер природы мироустройства каждый выбирает для себя сам. Если бы кнопки были самым оптимальным вариантом реализации интерфейса общения, то они, наверное, располагались бы у нас на лбу, ну или на каком-нибудь другом видном и легко доступном месте.

Любой UI, все эти бесконечные скроллы, кнопки, области и т.д. – не очевидны, и это почти всегда пользовательская боль. В отличие от них голос – это, наоборот, очень естественно. Проблема состоит в том, что при всей кажущейся простоте, разработать качественный голосовой интерфейс довольно сложно. Существует мнение, что голосовой интерфейс – это идеальная реализация интерфейса, который вроде бы являются частью системы, но, в то же самое время, не существует в ней в виде физического отображения.

image

Проектирование голосового интерфейса по сути своей является проектированием пользовательских диалогов. И критериев эффективности здесь довольно много – степень удовлетворенности клиента, глубина разговора и т.д. Сложность разработки диалогов, кроме всего прочего состоит в том, что необходимо сделать их похожими на общение людей друг с другом, а не на комиксовые варианты общения человека с роботом.
Читать дальше →
Всего голосов 5: ↑5 и ↓0+5
Комментарии5

Куда катится мир нейросетей: интервью с создателем iPavlov

Время на прочтение8 мин
Количество просмотров14K
Под катом — о глубоком обучении, текущем направлении развития ИИ, привязке нейросети GPT к логическому представлению о мире, нехватке кадров и о том, как начинался iPavlov: проект разговорного искусственного интеллекта.



Сегодня у нас физтех-беседа с Михаилом Бурцевым — заведующим лабораторией нейросетей МФТИ. Среди его научных интересов — нейросетевые модели обучения, нейрокогнитивные и нейрогибридные системы, эволюция адаптивных систем и эволюционные алгоритмы, нейроконтроллеры и робототехника. Про это все и пойдет речь.
Читать дальше →
Всего голосов 23: ↑22 и ↓1+21
Комментарии57

Искусственный интеллект в области юриспруденции. Статья 3

Время на прочтение45 мин
Количество просмотров6.8K

Введение


Мы продолжаем цикл статей на тему юридического искусственного интеллекта, аспектов его разработки и перспектив практического применения на отечественном рынке. В предыдущих публикациях мы неоднократно говорили, что, по нашему мнению, разработка Legal AI может быть обеспечена с помощью создания и применения нового семантического блока, включающего в себя:


  • инструменты лингвистического анализа текстов на естественном языке;
  • структурированную модель юридических знаний (графы знаний и онтологии);
  • предобученные нейронные сети.

В первой статье мы детально исследовали существующие инструменты процессинга русскоязычного текста. Во второй статье мы рассмотрели подходы к созданию продуктов на основе искусственного интеллекта, а также вопросы взаимодействия специалистов в области IT и юриспруденции. В настоящей статье мы предлагаем погрузиться в тему онтологий и ответить на следующие вопросы:


  1. Какова роль онтологий в процессе создания искусственного интеллекта?
  2. Почему существующие онтологии в области права неприменимы для Legal AI, несмотря на многолетние попытки зарубежных специалистов структурировать юридические знания?
  3. Какими свойствами должны обладать онтологии для Legal AI, чтобы решать практические задачи?

Читать дальше →
Всего голосов 10: ↑10 и ↓0+10
Комментарии8

Технические предпочтения пользователей с нарушениями зрения в 2020 году. Исследование Яндекса

Время на прочтение26 мин
Количество просмотров7K
Информационные технологии стирают многие границы. Они помогают учиться и работать удалённо, совершать покупки не выходя из дома, поддерживать связь с друзьями и близкими, заниматься наукой и творчеством. Однако для части общества цифровизация расширяет не только горизонты, но и спектр проблем при использовании повседневных, кажущихся обычными, процессов и продуктов.

Привет, Хабр! Меня зовут Никита, я помогаю коллегам из Яндекса с технической экспертизой по вопросам accessibility. В этой статье поделюсь данными нашего исследования и расскажу о том, почему сбор и оценка информации о технических предпочтениях пользователей с нарушениями зрения — ещё один важный шаг к полному пониманию специфики доступности.

Круговая диаграмма с долями основных программ экранного доступа по данным таблицы 10
Читать дальше →
Всего голосов 22: ↑22 и ↓0+22
Комментарии3

Передача знания и Нейронный машинный перевод на практике

Время на прочтение6 мин
Количество просмотров4.2K
Нейронный машинный перевод (НМП, англ. Neural Machine Translation, NMT) развивается очень быстро. Сегодня, чтобы собрать свой переводчик, не нужно иметь два высших образования. Но чтобы обучить модель, нужен большой параллельный корпус (корпус, в котором предложению на исходном языке сопоставлен его перевод). На практике речь идет хотя бы об одном миллионе пар предложений. Есть даже отдельная большая область НМП, исследующая методы обучения языковых пар с малым количеством данных в электронном виде (англ. Low Resource NMT).

Мы собираем чувашско-русский корпус и параллельно смотрим, что можно сделать с имеющимся объемом данных. В этом примере использовали корпус из 90 000 пар предложений. Самый хороший результат на данный момент дал метод передачи знания (англ. Transfer Learning), о нем и пойдет речь в статье. Цель статьи — дать практический пример реализации, который легко можно было бы воспроизвести.
Читать дальше →
Всего голосов 14: ↑14 и ↓0+14
Комментарии3

Многоязычный синтез речи с клонированием

Время на прочтение5 мин
Количество просмотров43K

Хотя нейронные сети стали использоваться для синтеза речи не так давно (например), они уже успели обогнать классические подходы и с каждым годам испытывают на себе всё новые и новый задачи.


Например, пару месяцев назад появилась реализация синтеза речи с голосовым клонированием Real-Time-Voice-Cloning. Давайте попробуем разобраться из чего она состоит и реализуем свою многоязычную (русско-английскую) фонемную модель.


Строение



Наша модель будет состоять из четырёх нейронных сетей. Первая будет преобразовывать текст в фонемы (g2p), вторая — преобразовывать речь, которую мы хотим клонировать, в вектор признаков (чисел). Третья — будет на основе выходов первых двух синтезировать Mel спектрограммы. И, наконец, четвертая будет из спектрограмм получать звук.

Всего голосов 33: ↑31 и ↓2+29
Комментарии7

Как глупые решения при проектировании самолёта времён Второй мировой привели к созданию Macintosh

Время на прочтение10 мин
Количество просмотров64K

Сначала в падениях самолётов обвиняли пилотов. Однако реальной причиной этого был их дизайн. Этот урок привёл нас к новой эре удобства для пользователя – однако опасности никуда не делись


Из книги "Удобство пользователей: как скрытые правила дизайна меняют нашу жизнь, работу и игры"



Бомбардировщик Б-17 «Летающая крепость» прошёл путь от чертёжной доски до взлётной полосы всего за 12 месяцев, как раз вовремя для того, чтобы стать зловещей рабочей лошадкой ВВС США во время Второй Мировой войны. Пилоты обожали его за потрясающую прочность: Б-17 мог пролетать сквозь яростные шквалы шрапнели и пуль, и выходить из этого испытания немного покоцанным, но в пригодном для полётов состоянии. Он был символом американского гения, оснащённым десятком пулемётов и удерживаемым в воздухе четырьмя пилотами.
Читать дальше →
Всего голосов 59: ↑51 и ↓8+43
Комментарии91

Как жалобы перенастраивают ваш мозг на негатив [и влияют на здоровье]

Время на прочтение5 мин
Количество просмотров69K

Предисловие: Ссылку на оригинальную статью я увидел в комментарии здесь, на Хабре (к сожалению, не могу его найти чтобы указать автора и сказать спасибо). Статья имеет значение не только для тех, кто жалуется (кто же в этом признается?), но и тем, кому жалуются. Не все знают английский язык, поэтому я решил ее перевести.



[В квадратных скобках — мои примечания.]


Исследования показывают, что во время обычного разговора большинство людей жалуется раз в минуту. Нас тянет поныть потому что это приятно. Однако так же как и множество других вещей, которые приятны — например курение или полкило грудинки на завтрак — нытье вредно.

Читать дальше →
Всего голосов 84: ↑63 и ↓21+42
Комментарии107

Израильские учёные разработали универсальное лечение против рака

Время на прочтение5 мин
Количество просмотров60K


Небольшая группа израильских учёных считает, что они нашли первое универсальное лечение против рака.
«Мы считаем, что через год мы предложим универсальное лечение против рака», – сказал Дэн Аридор о новом лечении, разработанном его компанией, Accelerated Evolution Biotechnologies Ltd. (AEBi), которая была основана в 2000 году в инкубаторе ITEK. AEBi разработала платформу SoAP, которая обеспечивает функциональные возможности для решения очень сложных проблем.
«Наше лечение рака будет эффективным с первого дня, будет длиться несколько недель и не будет иметь побочных эффектов, кроме минимальных, при гораздо более низкой цене, чем многие иные типы лечения на рынке», – сказал Аридор. «Мы планируем и лицензировать наше решение, и выпускать его сами».
Читать дальше →
Всего голосов 159: ↑143 и ↓16+127
Комментарии138

42 оператора расширенного поиска Google (полный список)

Время на прочтение15 мин
Количество просмотров278K
Те, кто давно занимается поисковой оптимизацией, хорошо знают об операторах расширенного поиска Google. Например, почти все знают об операторе site:, который ограничивает поисковую выдачу одним сайтом.

Большинство операторов легко запомнить, это короткие команды. Но уметь эффективно их использовать — совсем другая история. Многие специалисты знают основы, но немногие по-настоящему овладели этими командами.

В этой статье я поделюсь советами, которые помогут освоить поисковые операторы для 15 конкретных задач.
Читать дальше →
Всего голосов 127: ↑124 и ↓3+121
Комментарии40

AlphaStar — новая система искусственного интеллекта для StarCraft II от DeepMind (полный перевод)

Время на прочтение11 мин
Количество просмотров27K


Игры десятилетиями использовались как один из главных способов тестирования и оценки успешности систем искусственного интеллекта. По мере того как росли возможности, исследователи искали игры с постоянно возрастающей сложностью, которые бы отражали различные элементы мышления, необходимые для решения научных или прикладных проблем реального мира. В последние годы StarCraft считается одной из самых многогранных и сложных стратегий реального времени и одной из самых популярных на сцене киберспорта за всю историю, а сейчас StarCraft стал еще и главным вызовом для исследований ИИ.
Всего голосов 54: ↑51 и ↓3+48
Комментарии54

BERT — state-of-the-art языковая модель для 104 языков. Туториал по запуску BERT локально и на Google Colab

Время на прочтение11 мин
Количество просмотров122K

image


BERT — это нейронная сеть от Google, показавшая с большим отрывом state-of-the-art результаты на целом ряде задач. С помощью BERT можно создавать программы с ИИ для обработки естественного языка: отвечать на вопросы, заданные в произвольной форме, создавать чат-ботов, автоматические переводчики, анализировать текст и так далее.


Google выложила предобученные модели BERT, но как это обычно и бывает в Machine Learning, они страдают от недостатка документации. Поэтому в этом туториале мы научимся запускать нейронную сеть BERT на локальном компьютере, а также на бесплатном серверном GPU на Google Colab.

Читать дальше →
Всего голосов 35: ↑35 и ↓0+35
Комментарии5

Технологии AR и VR в образовании

Время на прочтение6 мин
Количество просмотров43K


Мысль о том, что в повседневном обучении важно использовать самые передовые технологии, не покидает умы не только современных исследователей, но и практически каждого из нас. По данным специалистов в области лингвистики и психологии, самые благоприятные условия для усвоения новых знаний — в детском и юношеском возрасте. Но отсутствие интереса, рассредоточенность и неумение концентрироваться на непростых вещах не позволяют нам эффективно получать образование в любом возрасте. А современная система образования конкурирует с развлекательной сферой и нуждается в механизмах восприятия, которые позволят вовлечь учеников в процесс усвоения новых знаний. Ведь эффективным обучением движет интерес, который нужно сначала сформировать, а затем поддержать.

Вот только в XXI веке вряд ли можно увлечь учеников рисунками, просмотром старых фильмов или чтением стремительно устаревающей литературы. Поэтому сегодня в образовании всё популярнее устройства с поддержкой VR и AR.
Всего голосов 35: ↑32 и ↓3+29
Комментарии11

Больница Массачусетса и DeepMind независимо друг от друга приоткрыли «черный ящик» ИИ в медицине

Время на прочтение5 мин
Количество просмотров12K

Применение искусственного интеллекта в постановке диагнозов уже не за горами. И даже ближе, чем кажется. Ведь сразу двум исследовательским командам по обе стороны Атлантики удалось-таки решить проблему «черного ящика» ИИ в медицине.


Проблема «черного ящика» заключается в том, что система ИИ при выдаче результатов, а в медицине это постановка диагноза и рекомендации по дальнейшей терапии, не предоставляет обоснований, которые, в частности, требует Управление по контролю за продуктами и лекарствами (FDA) в США.

В декабре минувшего года Массачусетская многопрофильная больница (Massachusetts General Hospital) сообщила о том, что смогла научить ИИ «объяснять» поставку диагноза при внутричерепном кровотечении. Пятью месяцами ранее британская компания DeepMind, приобретенная Google в 2014 году, заявила об аналогичном прорыве в диагностике глазных заболеваний.

Читать дальше →
Всего голосов 20: ↑18 и ↓2+16
Комментарии4

Что, опять? Возрождение небанковских дебетовых карт

Время на прочтение7 мин
Количество просмотров15K

В 2007 году СМИ пестрели заголовками о революционном продукте, который изменит судьбы мерчантов и даст потребителям бесчисленные выгоды. Аналитики назвали продукт «историческим шансом» улучшить проседающие показатели прибыли. А инноваторы бросились создавать новые приложения, чтобы ухватиться за эту возможность.

Что это было? Нет, не iPhone, хотя такое предположение вполне логично. Речь идет о дебетовых картах без привязки к банкам.

Виновником «революции» стал Capital One, один из крупнейших банковских холдингов. Его предложение многие посчитали гениальным ходом на фоне нехватки спроса на срочные депозиты и отсутствия у организаций иных способов предоставления дебетовых предложений, которые бы привлекали и удерживали потребителей.

Небольшая историческая справка
На самом деле с подобным предложением первой выступила компания Tempo, созданная в 2000 году, несколько лет неудачно пытавшаяся достичь популярности у мерчантов и выкупленная в 2006 году компанией HSBC.

Новый продукт получал средства с депозитных счетов других эмитентов и работал у любого мерчанта, принимающего MasterCard. С его помощью холдинг Capital One одновременно предлагал потребителям нечто свежее и реализовывал инновационную бизнес-модель, вокруг которой создавалась новая программа лояльности.

Для пользователей выгода состояла в получении функциональности, схожей с дебетовыми продуктами. Средства для оплаты услуг мерчантов брались напрямую с пользовательских чековых счетов, и не возникало необходимости переносить свой депозитный счет в некий новый банк ради выгодного кэшбека.

Вдохновленные перспективами, ритейлеры принялись разрабатывать собственные продукты с теми же преимуществами: дебетовой функциональностью, крупными вознаграждениями для лояльных клиентов и уменьшенным размером межбанковской комиссии для всех транзакций в своих магазинах.

И эти усилия…
Читать дальше →
Всего голосов 22: ↑16 и ↓6+10
Комментарии6

По вашему запросу найдено: реализация нечеткого поиска

Время на прочтение8 мин
Количество просмотров11K
Все мы совершаем ошибки: в данном случае речь идет о поисковых запросах. Количество сайтов для продажи товаров и услуг растет наряду с потребностями пользователей, однако не всегда они могут найти то, что ищут – только потому, что неправильно вводят название необходимого товара. Решение данной проблемы достигается путем реализации нечеткого поиска, то есть использования алгоритма поиска наиболее близких значений с учетом возможных ошибок или опечаток пользователя. Область применения такого поиска достаточно широка – нам же удалось поработать над поиском для крупного интернет-магазина в фудритейл-сегменте.
Читать дальше →
Всего голосов 6: ↑6 и ↓0+6
Комментарии2

Исправляем опечатки в поисковых запросах

Время на прочтение14 мин
Количество просмотров18K
Наверное, любой сервис, на котором вообще есть поиск, рано или поздно приходит к потребности научиться исправлять ошибки в пользовательских запросах. Errare humanum est; пользователи постоянно опечатываются и ошибаются, и качество поиска от этого неизбежно страдает — а с ним и пользовательский опыт.

При этом каждый сервис обладает своей спецификой, своим лексиконом, которым должен уметь оперировать исправитель опечаток, что в значительной мере затрудняет применение уже существующих решений. Например, такие запросы пришлось научиться править нашему опечаточнику:



Может показаться, что мы отказали пользователю в его мечте о вертикальной реальности, но на самом деле буква К просто стоит на клавиатуре рядом с буквой У.

В этой статье мы разберём один из классических подходов к исправлению опечаток, от построения модели до написания кода на Python и Go. И в качестве бонуса — видео с моего доклада «”Очки верткальной реальности”: исправляем опечатки в поисковых запросах» на Highload++.
Всего голосов 22: ↑21 и ↓1+20
Комментарии8
1
23 ...

Информация

В рейтинге
Не участвует
Зарегистрирован
Активность