Pull to refresh
  • by relevance
  • by date
  • by rating

OpenAI представила алгоритм для текстов GPT-3, который обучили на 175 млрд параметров

AlgorithmsMachine learningArtificial Intelligence
image

Исследователи из OpenAI показали алгоритм GPT-3, предназначенный для написания текстов на основе всего нескольких примеров. Его архитектура Transformer аналогична GPT-2, но модель обучали на 175 миллиардов параметров или 570 гигабайтах текста.
Читать дальше →
Total votes 26: ↑22 and ↓4+18
Views23K
Comments 19

DeepMind представила состязательную систему преобразования текста в речь EATS

Machine learningSoundNatural Language Processing
imageФото: deepmind.com

Британская компания DeepMind показала новую систему преобразования текста в речь (TTS) под названием EATS. Она принимает входные данные в виде текста и переводит их в синтетическую речь, похожую на человеческую.
Читать дальше →
Total votes 8: ↑8 and ↓0+8
Views1.7K
Comments 2

Ученые разработали метод обучения ИИ с меньшим числом параметров, который превзошел GPT-3

AlgorithmsMachine learningArtificial Intelligence
image

Команда ученых из Мюнхенского университета Людвига-Максимилиана разработала Pattern-Exploiting Training (PET), методику глубокого обучения для моделей обработки естественного языка (NLP). Используя PET, команда обучила модель Transformer NLP с 223 млн параметров, которая превзошла GPT-3 более чем на 3% в тесте SuperGLUE.

Разработчики утверждают, что модели требуется до 99,9% меньше параметров. Итерационный вариант iPET способен обучить несколько поколений моделей и может использоваться без каких-либо обучающих данных.
Читать дальше →
Total votes 14: ↑13 and ↓1+12
Views4.1K
Comments 3

Бот GPT-3 в течение недели выдавал себя за человека на AskReddit

AlgorithmsMachine learningArtificial IntelligenceSocial networks and communities
image

Один из пользователей предположил, что на Reddit появился блог, который фактически ведет GPT-3. Дальнейшие действия исследователя подтвердили, что его догадка была верной.
Читать дальше →
Total votes 20: ↑20 and ↓0+20
Views13K
Comments 43

Google обучила языковую модель ИИ на триллионе параметров

Machine learningArtificial IntelligenceNatural Language Processing
image

Исследователи Google разработали метод, который, по их утверждению, позволил обучить языковую модель, содержащую более триллиона параметров. Они заявили, что новая модель с 1,6 трлн параметров, по-видимому, является крупнейшей в своем классе на сегодняшний день.
Читать дальше →
Total votes 11: ↑10 and ↓1+9
Views3.5K
Comments 5

Исследователи изучают, как GPT-3 разбирает входящую почту

AlgorithmsMachine learningResearch and forecasts in ITArtificial Intelligence

Команда исследователей из Университетского колледжа Маастрихта опубликовала работу, посвященную использованию GPT-3 в качестве почтового менеджера. В работе исследуется, можно ли эффективно использовать GPT-3 и проигрывает ли модель человеку.

Читать далее
Total votes 8: ↑6 and ↓2+4
Views2.5K
Comments 1

Поп-звезды под линзой искусственного интеллекта

System Analysis and DesignData MiningBig DataPopular scienceArtificial Intelligence

Intro


Образ поп звезд привлекает миллионные аудитории, он состоит из внешнего вида, музыки, поступков и конечно же текстов их песен.
О чем поют популярные исполнители? Во все времена темы одинаковые: любовь, одиночество, секс, развлечения, вечные ценности.


Однако наверняка вы и сами чувствовали, что от каждого исполнителя остается свой осадок в душе, свой привкус. И вроде бы слова одинаковые, а оттенки разные. И у каждого — свой.


Та картина, которую артист рисует своими словами — уникальна и отображает их внутренний мир, их психологические портреты.


В статье мы пробуем через призму AI заглянуть за завесу слов и различить за ними душу таких популярных звезд как Drake, Rihanna, Coldplay, Twenty One Pilots, Dua Lipa, The Chainsmokers и Katy Perry.
Нашли кого-то из любимых артистов и Вам хочется узнать их скрытые эмоции и переживания?




Читайте дальше о том, как современная технология обработки естественного языка от IBM Watson Personality Insights помогает «читать между строк» эмоции, потребности, ценности и психологические особенности.

Читать дальше →
Total votes 9: ↑7 and ↓2+5
Views4.4K
Comments 12

Building client routing / semantic search at Profi.ru

Machine learningNatural Language Processing

Building client routing / semantic search and clustering arbitrary external corpuses at Profi.ru


TLDR


This is a very short executive summary (or a teaser) about what we managed to do in approximately 2 months in the Profi.ru DS department (I was there for a bit longer, but onboarding myself and my team was a separate thing to be done at first).

Читать дальше →
Total votes 29: ↑21 and ↓8+13
Views3.2K
Comments 10

Болтай, извлекай: архитектура сложных чат-ботов

ProgrammingSystem Analysis and DesignArtificial Intelligence
Пользователи, пообщавшись с умными голосовыми ассистентами, ждут от чат-ботов интеллектуальности. Если вы разрабатываете бота для бизнеса, ожидания еще выше: заказчик хочет, чтобы юзер прошел по нужному, заранее прописанному сценарию, а юзер — чтобы робот толково и желательно человеческим языком ответил на поставленные вопросы, помог решить проблемы, а иногда просто поддержал светскую беседу.


Мы делаем англоязычные чат-боты, которые общаются с пользователями по разным каналам — Facebook Messenger, SMS, Amazon Alexa и веб. Наши боты заменяют службы поддержки, страховых агентов, и уметь просто поболтать. Каждая из этих задач требует своего подхода в разработке.

В этой статье мы расскажем, из каких модулей состоит наш сервис, как сделан каждый из них, какой подход мы выбрали и почему. Поделимся нашим опытом анализа разных инструментов: когда генеративные нейронные сети — не лучший выбор, почему вместо Doc2vec мы пользуемся Word2vec, в чем прелесть и ужас ChatScript и так далее.

Читать дальше →
Total votes 10: ↑9 and ↓1+8
Views8.9K
Comments 6

EXAM — State-of-the-art метод классификации текста

AlgorithmsMachine learning
Translation
text classification

Классификация текста — одна из наиболее распространенных задач в NLP и обучении с учителем, когда датасет содержит текстовые документы, а метки используются для тренировки текстового классификатора.
Читать дальше →
Total votes 6: ↑5 and ↓1+4
Views3.8K
Comments 2

NLP. Основы. Техники. Саморазвитие. Часть 1

ABBYY corporate blogMachine learningNatural Language Processing

Привет! Меня зовут Иван Смуров, и я возглавляю группу исследований в области NLP в компании ABBYY. О том, чем занимается наша группа, можно почитать здесь. Недавно я читал лекцию про Natural Language Processing (NLP) в Школе глубокого обучения – это кружок при Физтех-школе прикладной математики и информатики МФТИ для старшеклассников, интересующихся программированием и математикой. Возможно, тезисы моей лекции кому-то пригодятся, поэтому поделюсь ими с Хабром.

Поскольку за один раз все объять не получится, разделим статью на две части. Сегодня я расскажу о том, как нейросети (или глубокое обучение) используются в NLP. Во второй части статьи мы сконцентрируемся на одной из самых распространенных задач NLP — задаче извлечения именованных сущностей (Named-entity recognition, NER) и разберем подробно архитектуры ее решений.


Читать дальше →
Total votes 53: ↑51 and ↓2+49
Views43K
Comments 11

Автоматизация ответов на часто задаваемые вопросы в навыке для «Алисы» с помощью библиотеки DeepPavlov

Московский физико-технический институт (МФТИ) corporate blogMachine learningArtificial IntelligenceNatural Language Processing
Лаборатория нейронных систем и глубокого обучения МФТИ вот уже больше года делает DeepPavlov — открытую библиотеку для создания диалоговых систем. Она содержит набор претренированных компонент для анализа языка, с помощью которых можно эффективно решать задачи бизнеса.

Например, организовать ответы на часто задаваемые вопросы клиентов. Сделать это через колл-центр, виджет на сайте или соцсети, наняв сотрудников — дело нехитрое. Актуальная задача — оптимизировать процесс, чтобы он осуществлялся автоматически, с минимальными погрешностями, и еще и в удобном пользовательском интерфейсе. Например, в голосовом помощнике «Алиса» от «Яндекса».

В этой статье мы хотим рассказать, как эффективно решить задачу ответов на FAQ с помощью обработки естественного языка и как интегрировать решение в «Алису».


Читать дальше →
Total votes 20: ↑17 and ↓3+14
Views9.7K
Comments 9

Основы Natural Language Processing для текста

Voximplant corporate blogPythonProgrammingMachine learning
Translation
Обработка естественного языка сейчас не используются разве что в совсем консервативных отраслях. В большинстве технологических решений распознавание и обработка «человеческих» языков давно внедрена: именно поэтому обычный IVR с жестко заданными опциями ответов постепенно уходит в прошлое, чатботы начинают все адекватнее общаться без участия живого оператора, фильтры в почте работают на ура и т.д. Как же происходит распознавание записанной речи, то есть текста? А вернее будет спросить, что лежит в основе соврменных техник распознавания и обработки? На это хорошо отвечает наш сегодняшний адаптированный перевод – под катом вас ждет лонгрид, который закроет пробелы по основам NLP. Приятного чтения!


Читать дальше →
Total votes 33: ↑31 and ↓2+29
Views92K
Comments 6

Распознавание дат, написанных естественным языком, средствами Python3

Python
Sandbox
Мы в компании создаем сервис, который извлекает юридические факты из переписки клиента и заказчика. Сервис вырос из одной простой идеи — мои постоянные клиенты из решили упросить работу менеджерам и создать “генератор договоров”. Первую задачу — подтягивать в договор реквизиты клиента и заказчика мы решили легко.

Появилась вторая идея — искать в переписке даты и вставлять их в техническое задание, документы, автоматически.

Однако, люди редко пишут в чатах и мессенджерах даты так, чтобы их легко мог распознать алгоритм.
Читать дальше →
Total votes 14: ↑10 and ↓4+6
Views5K
Comments 10

Каким будет «Диалог» лингвистов и специалистов по анализу данных

ABBYY corporate blogMachine learningConferencesArtificial IntelligenceNatural Language Processing
С 29 мая по 1 июня в Российском государственном гуманитарном университете (РГГУ) пройдет 25-ая международная научная конференция по компьютерной лингвистике и интеллектуальным технологиям «Диалог». О том, что такое «Диалог» и почему ABBYY его основной организатор, мы уже говорили на Хабре. В этом посте мы расскажем об основных темах конференции, ключевых спикерах, их докладах и о четырех соревнованиях по созданию систем автоматического анализа текстов в рамках Dialogue Evaluation.
Читать дальше →
Total votes 16: ↑16 and ↓0+16
Views2.2K
Comments 0

Используем данные на практике

Конференции Олега Бунина (Онтико) corporate blogAlgorithmsImage processingMachine learningConferences
Между идеальным алгоритмом машинного обучения в вакууме и его применением на реальных данных часто лежит пропасть. Вроде бы берешь статью: алгоритм есть, сходимость для данных такого-то типа есть — бери и применяй. Но почему-то оказывается, что твоих данных недостаточно для обучения, да и отличаются они от модельных из статьи, потому что настоящие, не синтетические.

Обычное дело в обосновании алгоритма ввести допущения о чистоте данных и их распределении, которых в реальной жизни не найдёшь. Например, автор статьи экспериментирует на фотографиях взрослых знаменитостей, и все у него замечательно распознается и классифицируется, а в нашем реальном примере попадаются еще и дети, и мультяшные персонажи, и на них всё внезапно ломается. Но есть люди, которые умеют с этим справляться, да так, что пропасть между теорией и практикой перестает казаться неприступной, и, стоит показать как, сразу находятся и другие желающие ее преодолеть.


Читать дальше →
Total votes 25: ↑23 and ↓2+21
Views2.5K
Comments 9

Как решить старую задачу с помощью ML на Python и .Net

Python.NETMachine learningNatural Language Processing
Tutorial


Бывает, что некоторые задачи преследуют тебя много лет. Для меня такой задачей стала склейка предложений текстов, в которых жестко забит переход на новую строку, а часто еще и перенос слов. На практике, это извлеченный из PDF или с помощью OCR текст. Часто можно было встретить такие тексты на сайтах он-лайн библиотек, в архивах старых документов, которые редактировались еще DOS-редакторами. И такое форматирование очень мешает затем правильной разбивке на предложения (а с переносами — и на токены) для последующей NLP-обработки. Да и банально показать такой документ в поисковой выдаче — будет некрасиво.


Решал я эту задачу несколько раз — на Delphi, C#. Тогда это был жесткий алгоритм, где руками прописывал, например, какая может быть ширина текста, чтобы этот текст считался отформатированным "по-старому". Не всегда это срабатывало идеально, но в общем, хватало.

Читать дальше →
Total votes 12: ↑11 and ↓1+10
Views6.1K
Comments 16

Создаем прототип для Sentiment Analysis с помощью Python и TextBlob

PythonMachine learning
Sandbox
image

Что важно для команды разработчиков, которая только начинает строить систему, базирующуюся на машинном обучении? Архитектура, компоненты, возможности тестирования с помощью интеграционных и юнит тестов, сделать прототип и получить первые результаты. И далее к оценке трудоемкости, планированию разработки и реализации.

В этой статье речь пойдет как раз о прототипе. Который был создан через некоторое время после разговора с Product Manager: а почему бы нам не «пощупать» Machine Learning? В частности, NLP и Sentiment Analysis?
Читать дальше →
Total votes 12: ↑10 and ↓2+8
Views9.8K
Comments 7

Таинственный противник: нечеткие заимствования

«Антиплагиат» corporate blogSearch enginesAlgorithmsMathematicsMachine learning

Неправомерное Заимствование — это многоголовая гидра, враг, постоянно меняющий свое лицо. Наши лучшие частные сыщики готовы зацепиться за любое злодеяние, совершенное этим врагом. Однако противник не дремлет, он хитер и коварен: явно подставляясь в одном деле, он невероятно умело заметает следы в других. Иногда его удается поймать с поличным с помощью нашего самого шустрого сотрудника — Суффиксного Массива. Иногда противник мешкает, и скрупулезный, но неторопливый Поиск Парафраза успевает вычислить его местоположение. Но зло коварно, и нам постоянно нужны новые силы для борьбы с ним.


Сегодня мы расскажем о нашем новом детективе специального назначения по имени Нечеткий Поиск, а также о его первом столкновении с нечеткими заимствованиями.


С вами детективное агентство Антиплагиат, приготовьтесь к Делу о Таинственном Противнике



Начать расследование
Total votes 17: ↑15 and ↓2+13
Views4.4K
Comments 50

Разговорный BERT — учим нейросеть языку соцсетей

Московский физико-технический институт (МФТИ) corporate blogMachine learningArtificial IntelligenceNatural Language Processing
Одним из главных событий в области компьютерной лингвистики и машинного обучения в 2018 году был выпуск BERT от Google AI, который признан лучшим докладом года по мнению североамериканского отделения Ассоциации компьютерной лингвистики (NACL). В этой статье мы расскажем об этой языковой модели и ее возможностях.

Для тех, кто не слышал ранее, BERT — это нейронная сеть, основанная на методе предварительной подготовки контекстных представлений слов, то есть использует двунаправленную модель языка, а также позволяет анализировать целые предложения. В этом случае, учитываются слова, которые идут после данного и через тоже. Этот метод позволяет получать с большим отрывом state-of-the-art результаты в широком спектре задач обработки естественного языка (NLP), но требует больших вычислительных мощностей.


Читать дальше →
Total votes 17: ↑16 and ↓1+15
Views7K
Comments 5