Научи бота! — разметка эмоций и семантики русского языка

Спасибо. Вы безусловно правы в ваших замечаниях — мир бесконечно сложнее любой придуманой структуры, поэтому всегда будут возникать такого рода коллизии. А любая разметка будет лишь грубым приближением. Но здесь нам приходится идти на компромисс.

С погодой интересное замечание, я даже заводил эту тему на форуме. Мне лично кажется, что жара плохой погодой называться не может. Но примеры указывают на обратное — Где проходит граница между хорошей и плохой погодой?

Стоять на своём. Таких выражений много, они не имеют ярко выраженного эмоционального или оценочного окраса. Скорее всего разметка это и покажет.

Инструкции и примеры. Тут задача сформулировать вопрос и ответы наиболее однозначно. Иногда это не удаётся и приходится переделывать. От инструкций мы сразу отказались — это не позволит делать разметку массово, плюс вы вносите в разметку эффект наблюдателя, чего не хотелось бы.

или больше вариантов Всё верно. Но чтобы не перегружать мы делаем отдельный тип вопросов. Есть, например, слова с оценкой, но эмоционально нейтральные. Скажем чистота или порядок. Следовательно будут два разных вопроса по каждому из аспектов.

эффект «среднего по больнице»… Тут возникает другая проблема — даже если мы захватим в разметке такие детали, то как их объяснить машине? Необходим компромисс между простотой и точностью, чтобы данными разметки можно было пользоваться на практике. Но, возможно, на последующих итерациях удастся учитывать и такого рода детали.

Бот никак не может определить, есть ли даже смысл задавать вопрос об оценке. Льёт всё подряд. Когда он понимает, что оценочность применима, он спускается на следующий уровень и спрашивает силу выраженности признака.

Если бот ошибся, он сможет вернуться на уровень выше? Например много ответов «не знаю» т.е. люди не могут толком оценить что-то.
«в одном из значений», «близко к этому» — чтобы бот быстрее обратил внимание на нестыковки.

Счаз еще подумал, в вопросе про физический объект, по моему, стоит добавить ответ «процесс». Так бот быстрее сможет формализовать слово.

Отличный вопрос, ответить можно было бы целой статьёй. Но постараюсь кратко.

Оценка тональности текста. Допустим у вас есть твиты или отзывы и вы хотите понять, где человек хвалит, а где ругает. Это можно сделать таким образом — вручную разметить большое количество отзывов, прогнать машинное обучение и компьютер сам поймёт, где хорошо, а где плохо. Но ручная разметка — это очень трудоёмкий процесс.

Второй возможный подход — использовать семантический анализ, но для этого машина должна понимать, какие слова несут положительный заряд, а какие отрицательный. Для этого нужен тональный словарь, где каждому слову сопоставлена оценка.

Более сложная задача — разметить выражения, т.к. в комбинации некоторые слова могут менять оценку. Это тоже делаем.

Автоматическое составление словарей. Это то, чем мы собственно и занимается, создавая Карту слов. Огромное количество полезной информации о языке позволяет извлекать правильно приготовленный word2vec в сочетании с алгоритмами кластеризации. То, что уже удаётся неплохо делать: разбивать мешок слов на синсеты — список синонимов, определяющих некий атомарный смысл. Но здесь есть одно большое но: для подходов дистрибутивной семантики слова восторг и ужас очень похожи, т.к. у них контекстные поля довольно сильно пересекаются:



И эту проблему не решить в рамках дистрибутивной семантики. Нужны оценочная и эмоциональная разметки языка.

Синтактико-семантический анализ. С точки зрения грамматики предложение:

Налейте мне стакан горячей радости и добавьте два кусочка удачи.

совершенно корректно. При этом вне контекста фантастического романа оно начисто лишено смысла. Но как это понять машине? Простой ответ — использовать сочетаемость слов. Скорее всего стакан чая — частотная фраза, а стакан радости — нет. Но у этого подхода, как и у всех остальных статистических методов есть слабое место — данные. Например, возьмём фразу:

Насмотревшись, как мои напарники ссорились и мирились, я налил себе доверху граненый стакан саке и залпом выпил.

Всё, что нужно знать человеку для понимания этой фразы это то, что саке — японский напиток. Да пёс с ним с японским. Напиток. Всё! Более того, человек может и сам сделать вывод о том, что скорее всего сакэ — какой-то напиток исходя из контекста. Потом загуглить и убедиться в своей правоте.

Может ли это сделать машина? Запросто. Но для этого ей нужно понимать, что общего между чаем, кофе, соком, водой и т.д. Для этого мы и создаём тезаурус — граф концептов нашего мира.

Чат-боты и искусственный интеллект. Здесь существует два лагеря — одни инженеры хотят сделать умного чат-бота чистыми стат. методами, обучив навороченную нейросеть на тонне данных. Другие вручную крутят правила, тем самым заранее проигрывая в эффективности труда и масштабируемости.

Лампобот взял лучшее из двух миров, одновременно используя машинное обучение для генерации вопросов и правила, создаваемые на основании ответов, которые затем легко интерпретируются человеком.

Стратегическая цель. Тут всё просто. Вы исследователь и хотите заняться семантикой — изучением смысла слов. Но для этого вам нужны инструменты — тот же тезаурус, эмоциональная и оценочная разметка. Вы идёте в интернет и не находите этих ресурсов. Или их мало. Или они закрытые. А для английского языка всё есть. Скачивай и начинай работать.

Сложно преуспеть в технологиях, когда каждому исследователю или инженеру приходится тратить силы на создание базовых инструментов. Если для морфологической разметки и синтаксического анализа арсенал средств ещё имеется, то в плане семантики всё не так радужно. (Здесь хочется послать лучи добра проектам OpenCorpora.org, Викисловарю, YARN, RusVectōrēs и другим создателям открытых языковых данных — без вас было бы совсем грустно.)

Здесь у нас есть огромный опыт использования технологического плеча — когда 95% работы делает машина, 5% — человек. Это сразу даёт двадцатикратный прирост в производительности, который по мере обучения компьютера возрастает ещё больше. На примере Научи бота! мы хотим показать, что создавать лингвистические данные — это не так долго и дорого, как кажется с первого взгляда ;)

Я с вами в корне не согласен. С помощью нейросетей мы можем имитировать общение, слепленное с диалогов конкретного человека. И, что дальше? Мы ведь понимаем, что это пустотелый сосуд — внутри нет никакого подобия мысли, только голая статистика.

Человеку семантическая и эмоциональная разметка доступны естественным образом: посредством органов чувств. Мы знаем, где хорошо и где плохо, где физический мир, а где фантазия. Потом переносим понятия между мирами — тяжёлый в значении трудный, взорвать [блогосферу] в значении создать бурное обсуждение.

Я убеждён в том, что без семантического каркаса мы не сможем подойти к решению задачи создания generic AI, а так и будем решать конкретные узконаправленные задачи.

Хотя если отвлечься от глобальных целей, то такой датасет будет полезен во многих нетривиальных задачах компьютерной лингвистики — юмор, определение сарказма, разрешение лексической неоднозначности, определение переносного смысла, разрешение анафоры и других.

Мы, в частности, будем использовать его для улучшения нашей системы автоматической кластеризации мешка синонимов. Если сможем и вовсе искать синонимы автоматически — это будет огромная победа.