Comments 85
Мата мало.
примеры
уе%анство;2
пи%орас;2
на%уй;7
ху%ней;4
ху%ня;4
му%акам;3
пи%дюлей;3
су%а;27
де%ил;19
ло%ара;4
пи%орас;2
на%уй;7
ху%ней;4
ху%ня;4
му%акам;3
пи%дюлей;3
су%а;27
де%ил;19
ло%ара;4
А в постах его кстати совсем немного. Например б_я всего одно.
Другое дело комменты! Но до них доберусь чуть позже.
Другое дело комменты! Но до них доберусь чуть позже.
По комментам я делал habrahabr.ru/post/155541/
За всё время лучшие матерные:
habrastats.comyr.com/za_vse_vremya_luchshie_maternie.html
PS Хостинг шляпа, может отвалиться.
За всё время лучшие матерные:
habrastats.comyr.com/za_vse_vremya_luchshie_maternie.html
PS Хостинг шляпа, может отвалиться.
По таким запросам, как я понимаю, «детектил», тоже подойдёт.
А под «су%а» ещё больше вариантов…
А под «су%а» ещё больше вариантов…
Хорошо бы результаты через www.wordle.net/ пропустить!
Какое же все-таки самое употребляемое слово? :) Только скорей всего это предлог какой-нибудь, поэтому надо еще ограничение на мин длину слова
Ну выложил же!
ссыль
ссыль
Если удается, пользователь вводит id первого поста и последнего, программа создает для каждого id URL и качает с него страницу.
Сколько места на жестком диске занимает копия Хабра?
А общая статистика? То есть какие слова самые популярные по частоте проявления их в статье? Правда словарик нужен будет, чтобы не вылезли предлоги или лишние слова.
И опять же.
ссыль
ссыль
хватит кидать всем в комменты нерабочие ссылки. добавьте эту информацию в пост
Вы просто график в статью добавьте и всё, а то так и будете ссылки кидать. По сути, всех (большинство) интересует именно «самые популярные слова», а не просто набор слов. Было бы логичней поместить график самых популярных, вместо тех, что вы поместили. На мой скромный взгляд.
Самые популярные, как и ожидалось, это местоимения, наречия и предлоги.
Согласен, что никакой полезной нагрузки это не несет, все сделано just for fun.
Как отфильтровать самые популярные от хлама представляю смутно. Но возможно займусь этим попозже.
Согласен, что никакой полезной нагрузки это не несет, все сделано just for fun.
Как отфильтровать самые популярные от хлама представляю смутно. Но возможно займусь этим попозже.
Это было бы самое интересное :-) Но тут нельзя отбросить просто по длине слова. Думаю, только ручная работа, просмотр результатов и снова — ручная работа…
Можно отбросить слова длиной 1 символ, и найти где нибудь список всех наречий, местоимений, предлогов, частиц и т.п.
Тогда было бы легко и просто.
Тогда было бы легко и просто.
Думаю в инете должны быть базы(словари), как раз таких «плохих» слов. Ведь нужны они не только в подобной ситуации, а много где ещё. Вот если найти такой словарь и по нему убрать все «лишние» слова. Будет то что надо.
Вот здесь, например, имеются частотные словари частей речи на основе Корпуса русского языка. Особенно стоит обратить внимание на частотный список лемм служебных частей речи, он как раз должен подойти.
Вручную? Не стоит. Всё сделано до вас.
Как в .NET не знаю, на python делал это с помощью github.com/kmike/pymorphy2
Как в .NET не знаю, на python делал это с помощью github.com/kmike/pymorphy2
Так ведь подсчитать частоту употребления, отсортировать по убывающей и сверху убрать весь мусор то что явно не слова и топ 20 можно уже вставить сюда, в статью или первые 30, там уже по обстоятельствам.
Я когда делал статистику по местному IRC первая десятка топовых слов(с предлогами и т.д.) давала чуть ли не 90% всех слов, после 200-й записи шли уже практически уникальные слова встречающиеся 1-2 раза.
И было еще забавно наблюдать ежедневные «пополнения словаря» в размере 50-100 уникальных слов в сутки. И это в ограниченном коллективе так сказать.
Да, было бы интересно посмотреть в разрезе ежесуточного пополнения словаря, насколько сильно изменяется используемый словарный запас и сопоставить всплески с какими-либо событиями как реальными так и виртуальными.
Я когда делал статистику по местному IRC первая десятка топовых слов(с предлогами и т.д.) давала чуть ли не 90% всех слов, после 200-й записи шли уже практически уникальные слова встречающиеся 1-2 раза.
И было еще забавно наблюдать ежедневные «пополнения словаря» в размере 50-100 уникальных слов в сутки. И это в ограниченном коллективе так сказать.
Да, было бы интересно посмотреть в разрезе ежесуточного пополнения словаря, насколько сильно изменяется используемый словарный запас и сопоставить всплески с какими-либо событиями как реальными так и виртуальными.
Error (509)
Первое, что я вспомнил, это серию Футурамы «Война — это ад», где был составлен список самых употребляемых Бендером слов.
Пожалейте людей, читающих хабр с мобильных устройств. Добавьте в пост топ самых популярных слов.
Первой сотни Вам хватит, чтобы разжечь аппетит?)
Как мы все видим первая сотня — это просто общеупотребительная лексика.
Возьмите любой частотный словарь русского языка и выделите из Вашей базы только те слова, которые резко выделяются из общей статистики русского языка — вот это и будет «лексикон Хабра».
Возьмите любой частотный словарь русского языка и выделите из Вашей базы только те слова, которые резко выделяются из общей статистики русского языка — вот это и будет «лексикон Хабра».
Для определения «контрасности» слов используется мера TF-IDF, или ее модификации, одной из лучших считается BM25.
Конечно, результат сильно зависит от покрывающего множества (корпуса) текстов, он должен быть достаточно большим и тематически взвешенным. Для последнего, к сожалению, сколь-нибудь продуктивного определения нет.
В качестве такого корпуса можно взять НКРЯ. Здесь его самые частотные словоформы.
Интересно таким же образом посчитать и биграммы Хабра.
Конечно, результат сильно зависит от покрывающего множества (корпуса) текстов, он должен быть достаточно большим и тематически взвешенным. Для последнего, к сожалению, сколь-нибудь продуктивного определения нет.
В качестве такого корпуса можно взять НКРЯ. Здесь его самые частотные словоформы.
Интересно таким же образом посчитать и биграммы Хабра.
>Как мы все видим первая сотня — это просто общеупотребительная лексика.
Не совсем. Самое часто встречающееся существительное на Хабре — «время» (на втором месте — «работы», именно в такой форме). Не думаю, что оно так и в общем случае :)
Не совсем. Самое часто встречающееся существительное на Хабре — «время» (на втором месте — «работы», именно в такой форме). Не думаю, что оно так и в общем случае :)
И напоследок самое вкусное.
Давно интересовало, насколько часто на хабре упоминается корень «вкус». Благодарю, что удовлетворили моё любопытство:
$ cat выборка\ хабр\ лучшие.csv | grep вкусн | awk -F"," '{val += $2} END {print val}'
1878
Суммарное употребление однокоренных слов ставит корень «вкус» на 2781 место из 438605 наименований.
По моему мнению надо нормализовать упоминание слова по месяцам к количеству постов в месяце. А то получается все графики выглядят почти одинаково (android разве что исключение).
Как тут
UFO just landed and posted this here
Хабраэффект убил дропбокс. Подскажите файлообменник?
UFO just landed and posted this here
rghost.ru
А мегу в пень, оттуда чтобы скачать надо постараться.
А мегу в пень, оттуда чтобы скачать надо постараться.
Ргхост всем жаждущим
Положите на Bittorrent sync
Т легко объяснить — т.о. у Вас как засчитается? Как 2 слова «т» и «о»?
Проанализируйте, с какими словами посты и комменты получают больше всего плюсов
Хорошо бы поделить на общее количество слов, чтобы увидеть тренд
Если этот топ-100 пропустить через типовой стоп-лист, чтобы отсеять мусорные слова (предлоги, местоимения и проч.), то он исчезнет полностью.
Интересно, на каком месте находится первое хабратематическое слово?
Интересно, на каком месте находится первое хабратематическое слово?
Если удается, пользователь вводит id первого поста и последнего, программа создает для каждого id URL и качает с него страницу.
Простите, но это адский оверхед. Когда я был молодой и глупый — я таким же способом как и вы парсил БашОргРу, скорость работы — ужасна. Потом я понял что проще обходить страницы со ссылками на сами статьи.
Так почему бы просто не задействовать кроулеры? И заодно вам бы не пришлось парсить эти самые «83174 пустых постов».
Все не так страшно как кажется.
200 000 статей за 26 часов — это 2,14 статьи за секунду. Безлимитный интернет есть, свободный ноут тоже. К тому же надо же было узнать что пустых статей именно 83 174)
И расскажите поподробнее про кроулеры. Это поисковые пауки?
200 000 статей за 26 часов — это 2,14 статьи за секунду. Безлимитный интернет есть, свободный ноут тоже. К тому же надо же было узнать что пустых статей именно 83 174)
И расскажите поподробнее про кроулеры. Это поисковые пауки?
Да, обращайтесь ко мне в скайп, покажу примеры.
Могли бы и статейку написать, чё уж там? Многим тема интересна.
Боюсь из меня ужасный постописатель, да и код мой особой красотой не блещет, и пишу я на Python…
Но я могу провести бенчмарк между брутфорсным методом (тот что в статье) и обходным…
Но я могу провести бенчмарк между брутфорсным методом (тот что в статье) и обходным…
По просьбам трудящихся выложил топ-100 слов на хабре. Удивило слово «т» на 92 месте. А также число 5 упоминается чаще чем 4.С предлогами и словами из одной цифры Ваш ТОП-100 получился не информативным, в нем мало смысла. Хорошо бы его немного профильтровать, и выкинуть оттуда явный мусор.
Осталось генератор кроссвордов для хабра написать)
А если выкинуть базовую лексику и посмотреть в хвост распределения Ципфа?
Можно ещё взять яндексовский mystem, распарсить форматы предложений самых популярных статей и написать генератор случайных текстов с учётом популярности слов из этой базы данных :)
Вот статья с вирусом, про которую было упомянуто: habrahabr.ru/post/170487/
Sign up to leave a comment.
Самые часто употребляемые слова на Хабре