Как стать автором
Обновить

И снова закинул старик невод… (парсинг хабра, продолжение)

Время на прочтение 2 мин
Количество просмотров 16K
Примерно месяц назад я опубликовал пост Вернулся невод с тиной морскою..., речь там шла о сравнении частотных словарей Википедии и Башорга. В комментах было много идей насчёт того, как это сделать правильно, а так же просьб распарсить другие сайты — Луркмор и конечно же Хабрахабр.

По ссылке частотные слова из комментариев Хабра, которые никогда не встречались в постах Хабра (осторожно, довольно много ненормативной лексики):
docs.google.com/file/d/0B-1U-yPHh8eSbk52bW84NXFyYm8/edit?usp=sharing

Ещё за недолгое время пребывания здесь, я не мог не заметить любовь здешних обитателей к созданию и употреблению «хабраслов», захотелось оценить масштабы явления.
Хабраслова (точнее словоформы, стеммингом не занимался) отсортированные по частоте употребления:
docs.google.com/file/d/0B-1U-yPHh8eST3l6M0tuZzVEOFE/edit?usp=sharing
Они же, но отсортированные в лексикографическом порядке:
docs.google.com/file/d/0B-1U-yPHh8eSaFVsYTdJaGtlQUU/edit?usp=sharing

Немного кода:

#этот велосипед я использую всегда для получения нужных мне кусков html-а
def generic_get(soup,search_tag,condition):
    l=[]
    for e in soup.findAll(search_tag):
        d=dict(e.attrs)
        if condition(d):
            l.append(e)
    return l

#получаем текст поста
def get_post_text(main_soup):
    return generic_get(main_soup,
                       "div",
                       lambda d:d.get("class",[''])[0]=="post")[0].text

#получаем текст всех комментов
def get_comments_text(main_soup):
    return ' '.join([x.text for x in generic_get(main_soup,
                                                 "div",
                                                 lambda d:d.get("class",[''])[0]=="message")])



К примеру, для получения текста этого поста, нужно сделать следующее:

>>> import BeautifulSoup
>>> import urllib
>>> bs=BeautifulSoup(urllib.urlopen("http://habrahabr.ru/post/192670/"))
>>> print get_post_text(bs)


И получим
Пожалуй, пост, который цитирует себя целиком, включая цитирование себя, включая… и т.д. это было бы оригинально… Я читал, что одному священнослужителю удалось написать нечто подобное на могиле своей собаки, но я, пожалуй, пытаться не буду...


Апдейт
В комментариях выложили частотный словарь Башорга — habrahabr.ru/post/192670/#comment_6692542

Частотный словарь Хабра тоже будет, я случайно ошибся при разбивке на слова, у меня буква «ё» попала в разделители, я забыл, что в таблице кодов она не находится между «а» и «я», и некоторые слова оказались разрезаны. Вечером запущу всё пересчитать, а завтра утром выложу.
Теги:
Хабы:
+26
Комментарии 51
Комментарии Комментарии 51

Публикации

Истории

Работа

Python разработчик
136 вакансий
Data Scientist
66 вакансий

Ближайшие события

Московский туристический хакатон
Дата 23 марта – 7 апреля
Место
Москва Онлайн
Геймтон «DatsEdenSpace» от DatsTeam
Дата 5 – 6 апреля
Время 17:00 – 20:00
Место
Онлайн
PG Bootcamp 2024
Дата 16 апреля
Время 09:30 – 21:00
Место
Минск Онлайн
EvaConf 2024
Дата 16 апреля
Время 11:00 – 16:00
Место
Москва Онлайн