Перед новым годом мы рассказывали, зачем нужен хакатон по машинному переводу. Уже на следующей неделе 50 участников, прошедших отбор, приедут в Долгопрудный, чтобы поучаствовать в обучении системы на непараллельных данных. Помимо многочасового брейншторминга в поиске решения поможет научная школа — серия лекций от ведущих мировых специалистов по машинному переводу. Хабр, приглашаем тебя посетить интересующие выступления! Они пройдут на Физтехе с 29 января по 4 февраля, не забудьте зарегистрироваться. Ну, а если в морозный зимний вечер выходить из дома не хочется, то можно посмотреть трансляции на канале DeepHack.
«Attention is all you need»
Илья Полосухин, основателей стартапа Near.AI и ex-сотрудник Google
30 января, 20:30
Сегодня большая часть обработки естественного языка опирается на свёрточные и рекуррентные модели в схеме кодирования/декодирования. Наиболее успешные модели связывают декодер с энкодером через механизм внимания. Один из основателей стартапа Near.AI Илья Полосухин расскажет о прорывной модели машинного перевода «Transformer», над которой он работал в Google. Она представляет собой простую сетевую архитектуру, построенную только на механизмах внимания. Как показывает опыт, эксперименты с нейронным машинным переводом демонстрируют повышение качества перевода при существенной экономии на обучении по сравнению с ранее предложенными рекуррентными моделями.
«Deep learning for reading comprehension»
Руслан Салахутдинов (Университет Карнеги — Меллона)
2 февраля, 19:00
Руслан Салахутдинов, доцент факультета машинного обучения Университета Карнеги — Меллона, расскажет о применении глубокого обучения для понимания текста. Его исследования направлены на понимание вычислительных и статистических принципов, которые позволяют обнаруживать структуру в больших объёмах данных.
Подробнее об опыте работы Руслана
В 2009 году Руслан получил степень доктора философии по информатике (специализация: машинное обучение) в Торонтском университете, после чего проработал два года в лаборатории искусственного интеллекта Массачусетского технологического института. Затем он вернулся в Торонтский университет на должность старшего преподавателя на факультетах информатики и статистики.
Руслан занимает пост редактора в издании Journal of Machine Learning Research и, кроме того, входил в состав программных комитетов нескольких профильных конференций, в том числе Конференции по нейросетевым системам обработки информации (NIPS) и Международной конференции по машинному обучению (ICML). Руслан получил стипендии фонда Альфреда Слоуна и компании «Майкрософт» и участвует в программе Canada Research Chair по профилю машинного обучения. Он лауреат премии Early Researcher Award, премии Google для членов академического сообщества и премии Nvidia «Первопроходцы ИИ». Руслан занимает должность старшего научного сотрудника в Канадском институте перспективных исследований.
Руслан занимает пост редактора в издании Journal of Machine Learning Research и, кроме того, входил в состав программных комитетов нескольких профильных конференций, в том числе Конференции по нейросетевым системам обработки информации (NIPS) и Международной конференции по машинному обучению (ICML). Руслан получил стипендии фонда Альфреда Слоуна и компании «Майкрософт» и участвует в программе Canada Research Chair по профилю машинного обучения. Он лауреат премии Early Researcher Award, премии Google для членов академического сообщества и премии Nvidia «Первопроходцы ИИ». Руслан занимает должность старшего научного сотрудника в Канадском институте перспективных исследований.
«Neural Machine Translation»
Кёнхён Чо (New York University & Facebook)
2 февраля, 17:30
Кёнхён Чо, старший преподаватель информатики и науки о данных в Нью-Йоркском университете и научный сотрудник в Facebook AI Research, расскажет о своих исследованиях последних 2,5 лет в области нейронного машинного перевода. Используя в качестве отправной точки концепцию нейронного машинного перевода на механизмах внимания, Кёнхён Чо также затронет темы многоязычного перевода, непараметрического нейронного машинного перевода на основе поисковиков и машинного обучения без учителя. Также он коротко расскажет о своей текущей работе в лаборатории, в том числе об неавторегрессивном нейронном машинном переводе и обучаемых жадных декодерах.
«Neural easy-first taggers»
Андре Мартинш, научный сотрудник в лиссабонском офисе компании Unbabel Inc.
4 февраля, 11:00
Андре Мартинш расскажет о своей недавней работе над новой моделью обработки текста под названием neural easy-first tagger. Эта модель обучается решению задач по разметке последовательности — например, аннотированию грамматических и лексических признаков слов в тексте. Модель решает задачу разметки последовательности независимо от порядка объектов в ней. Декодер обновляет «набросок» предсказаний в несколько итераций. Его работа основана на механизме внимания, который определяет, какую часть поступивших данных стратегически выгодно обработать следующей. При решении задач разметки последовательности эта модель превосходит теггеры, использующие двунаправленные сети с долгой краткосрочной памятью (BILSTM).
Подробнее об опыте работы Андре
Андре занимается машинным обучением и обработкой естественного языка. Он является приглашённым профессором на инженерном факультете Лиссабонского университета, научным сотрудником в Институте телекоммуникаций и научным консультантом в Priberam Labs. Получил степень доктора философии в Университете Карнеги — Меллона и Лиссабонском университете, диссертация написана под руководством Марио Фигейредо, Ноа Смита, Педро Агиара и Эрика Сина.