Как стать автором
Поиск
Написать публикацию
Обновить

Четыре слова, которые нельзя (исследование русской обсценной лексики на материалах соц.медиа)

Время на прочтение5 мин
Количество просмотров33K
Блог компании PalitrumLabБлог компании Brand AnalyticsСемантика*Data Mining*Big Data*
Из песочницы
Всего голосов 42: ↑40 и ↓2+38
Комментарии44

Комментарии 44

А с динамикой употребления обсценной лексики во время до кризиса и во время кризиса все ясно: до кризиса мы переживаем, волнуемся, пишем сообщения в духе «Лишь бы Х не случилось...», «Б, вот-вот все П накроется!», «Е как страшно-то!» и так далее) А как кризис наступит там слов много не надо, достаточно одного емкого П. Или продолжительного Е.
Всего голосов 14: ↑12 и ↓2+10
Очень качествЕННО?
Всего голосов 3: ↑3 и ↓0+3
Ну наконец-то! Теперь понятно, что делать.
Всего голосов 4: ↑4 и ↓0+4
Спасибо! Очень интересно!
Не ожидал, что у группы П такое большое кол-во глагольных форм.
Всего голосов 2: ↑2 и ↓0+2
Я знаю только две. Может здесь просто употребление считается? А не количество форм
Всего голосов 1: ↑1 и ↓0+1
вот вам для затравки: говорить, бить, обманывать, украсть...
Всего голосов 10: ↑10 и ↓0+10
а, точно, про последние две забыл
Всего голосов 1: ↑1 и ↓0+1
Не следует забывать про приставки и суффиксы (до-, на-, от-, с-, -ова-ть, — е-ть, -и-ть и т.д.).
Всего голосов 4: ↑4 и ↓0+4
Интересно поставить звукозаписывающее устройство в комнату к админам, и посмотреть на корреляцию с релизом, факапами, кол-ву закрытых задач и других "нестандартных решений".
Всего голосов 5: ↑5 и ↓0+5
Судя по моему опыту, когда в админскую заглядывает милый пушистый зверек, то не то что матов не слышно, разговаривать перестают. Слышно обычно только пыхтение и злобное шипение.
Но, когда зверек уходит, вот тогда держись. Накопленное прорывается.
Всего голосов 2: ↑2 и ↓0+2
Мат. часть
Неоднозначно…
Всего голосов 10: ↑10 и ↓0+10
А почему, б*я, совсем нет слов на Б — междометий?
Всего голосов 5: ↑5 и ↓0+5
вот кстати да
видимо в существительные (обращения?) посчиталось.
Всего голосов 1: ↑1 и ↓0+1
Тоже интересно. Мне кажется, они что-то с определением частей речи напутали.
Всего голосов 1: ↑1 и ↓0+1
Более-менее точно можно определить только глаголы и прилагательные, существительные могут выступать как междометия, а иногда и как частицы или наречия. Для этого нужен контекст. Согласен, "б*я" — чаще всего междометие.
Всего голосов 1: ↑1 и ↓0+1
Было бы интересно посмотреть графики для динамики на более длинном периоде, два месяца — не очень показательно. Год или два — вот это да.
Всего голосов 1: ↑1 и ↓0+1
На таких объемах — 45 млрд. слов — показательно. Ошибки сглаживаются. Другое дело, что причины такого поведения кривых не очень понятны. А на более длинном периоде — согласен, можно посмотреть с привязкой к разным событиям, поискать корреляцию с разного сорта лексикой.
Всего голосов 1: ↑1 и ↓0+1
А у меня вот такой вопрос. Известно, что обсценная лексика обладает следующим свойством: междометия и существительные омонимичны (т.е. пишутся одинаково). Например:
1) «Б, как страшно-то!» «Вот и все, П...»
2) «Я тут свою б навещал...» «П нагрянул неожиданно и бесповоротно»
В первом случае мы имеем дело с междометиями, а во втором с существительными.
Насколько хорошо автоматика справляется с определением части речи в таких случаях?
Всего голосов 1: ↑1 и ↓0+1
Говорят, что в первом случае Б должно оканчиваться на ть, в другом — на дь
Всего голосов 2: ↑1 и ↓10
"-ть" — это просто неправильно написанное "-дь". Или как модно нынче оправдываться — "Неологизмъ".
Всего голосов 4: ↑4 и ↓0+4
Говорят неправильно.
Всего голосов 2: ↑2 и ↓0+2
На таких объемах (до 100 сообщений в секунду) мы не включали pos-tagger — затратно для такой задачи, т.е. части речи проставляли вручную по результату. А вообще, это зависит от того, на каком материале систему обучить. Обычно у междометий высокая точность определения — около 99%.
Всего голосов 1: ↑1 и ↓0+1
Не совсем понял рисунок 9. Вы строили график употребления слова из групп по отношению ко всем остальным словам в этот же день?
Всего голосов 1: ↑1 и ↓0+1
Нет, это изменение сложности текста в указанный период по всем сообщениям (по всем словам, не только из группы). Оказалось, что это коррелирует с динамкой изменения обсценной лексики.
Всего голосов 2: ↑2 и ↓0+2
НЛО прилетело и опубликовало эту надпись здесь
Ну как же: б*овать, и его вариации с приставками.
Всего голосов 2: ↑2 и ↓0+2
забыли еще слово на букву З — или оно тоже в группе O?
Всего голосов 1: ↑1 и ↓0+1
это группа Е же
Всего голосов 1: ↑1 и ↓0+1
Нет, я про ту, что меет непосредственное отношение к МПХ :)
Всего голосов 1: ↑1 и ↓0+1
Действительно забыли… Спасибо, что напомнили. Оно бы вошло в группу О — она, правда, не так частотна, но требует отдельного изучения.
Всего голосов 1: ↑1 и ↓0+1
Вывод: а @#$ его знает…
Всего голосов 2: ↑2 и ↓0+2
Интересно вот что: если представить соц.медиа как некий живой организм, то а можно как-то прогнозировать (диагностировать) его поведение (отклонения) на какие-либо события, и наоборот, по его поведению предсказывать возможные события (например, в экономике)?
Всего голосов 1: ↑1 и ↓0+1
О том и речь! За экономику не ручаюсь, но прогнозировать что-то можно. Пока, скажем, это первая попытка найти связи между эмоциями и событиями.
Всего голосов 1: ↑1 и ↓0+1
Как известно, связи, при желании, можно найти чего угодно и с чем угодно.
Комментарий пока не оценивали0
Можно. Но на больших данных ошибки нивелируются, а закономерности всплывают. Вопрос в другом: их не всегда можно объяснить, да и связаны эти закономерности могут быть с чем-то совершенно другим. Но игнорировать их уже нельзя.
Всего голосов 1: ↑1 и ↓0+1
Мне кажется, интересная задача оценить встречаемость и сложность по отраслям (новостные ленты, политика, экономика, религия, технические науки, материнство и детство, отношения и семья), по посещаемости и по обязательности регистрации.
Всего голосов 1: ↑1 и ↓0+1
А с какой целью? Для классификации сообщений по отраслям? Можно, но это не очень точный алгоритм. Тут скорее нужно искать корреляции лексики/сложности по отраслям к описываемым событиям. Но пока не очень понятно, как — параметров получается очень много.
Комментарий пока не оценивали0
Лично мне интересны следующие вопросы (ожидает подтверждение/опровержение для утверждений):
  1. Российскую политику и экономику (почти) невозможно обсуждать без использования обсценной лексики. Предположительно, лидирует группа П
  2. Официальные новостные ленты модерируются активнее, чем либеральные
  3. Матерятся в основном анонимусы
  4. На женских форумах матерятся не меньше, чем на мужских. Или меньше, но сложнее.
  5. На технических ресурсах матершина реже, но сложнее.
  6. С ростом популярности ресурса растёт частота, но падает сложность. При падении популярности — процесс обратный.
    Про возраст тоже очень интересно. Я ожидаю параболу в осях сложность/возраст, если от 12 до 50 брать.
    С регионами будет сложно, советую вооружиться двухтомничком "Энциклопедия русского мата", там учитываются региональные особенности. Как в той шутке, "а у нас, в Новгороде, говорят через Ярослав" (про самый популярный глагол группы Е)
Комментарий пока не оценивали0
Ну это больше социологические вопросы. Наиболее интересен шестой пункт, т.к. менее всего очевиден.
Мы не учитываем региональные особенности, но учитываем наиболее частотные употребления: Я вместо Е имеется.
Собираемся посмотреть распределение по регионам, по полу и по возрасту. Надеюсь, публикуем в скором времени.
Всего голосов 1: ↑1 и ↓0+1
А данные были без привязки к чему-либо? Интересно было бы увидеть распределение групп по возрасту употребляющих.
Всего голосов 1: ↑1 и ↓0+1
Да-да, в процессе. Собираемся сделать распределение по возрасту, полу и регионам.
Всего голосов 1: ↑1 и ↓0+1
Вспомнился анекдот в тему (и, кстати, вопрос: учитываются ли указанный тип слов?)
Урок русского языка. Учительница дает задание:
(У) — Дети, назовите несколько слов на букву "х".
Вовочка тянет руку. (У), зная Вовочкин словарный запас, слова ему не дает.
(У) — Ну, давай ты, Леша.
(Л) — Хвостики!!!
(У) — Молодец! Ну, давай ты, Оля.
(О) — Хомутики!!!
(У) — Очень хорошо! Теперь назовите слова на букву "р".
Вовочка отчаянно тянет руку. (У), не вспомнив ни одного плохого слова на "р", дает слово Вовочке.
(В, выбегая из класса) — Хвостики! Хомутики! Расп3.14здяи!!! Я из-за вас чуть не обоссался!!!
Всего голосов 1: ↑1 и ↓0+1

а как обрабатывались "многоэтажные" фразы?
разбивались сначала на "корневые" части по словарю?
или они не очень "частотны" в исследуемой среде?

Комментарий пока не оценивали0
Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Ваш аккаунт

Разделы

Информация

Услуги

Техническая поддержка
© 2006–2024, Habr