sancheus Sep 14 2011 at 11:03

LXML — проблемы с кодировкой при парсинге HTML

2 min

15K

Website development*

From sandbox

Comments 9

niksite Sep 14 2011 at 14:38

Да, приходится свежеполученные данные принудительно превращать в unicode, нередко при этом пользуясь тормозным chardet. Увы, пока лучше вариантов не нашел.

qrick Sep 14 2011 at 16:01

Вам просили передать, что по RFC 2616 (HTTP 1.1) кодировка контента по умолчанию — ISO8859-1 a.k.a. Latin1. Так что библиотечка всё делает правильно, и питон всё делает правильно, а виноваты вебмастеры, не объявляющие кодировку своих страниц. И частично писатели стандарта, выбравшие «плохую» кодировку.

itforge Sep 14 2011 at 19:51

Или вы Александр Кошелев или я ничего не понимаю.
Вот та же самая статья, датированная аж 2009 годом: webnewage.org/2009/11/04/be-ware-lxml-html/

+13

guyfawkes Sep 14 2011 at 20:54

seriyPS Sep 14 2011 at 21:45

во-во… То же самое хотел написать. Копипейст, да еще и старинный. Хотя мне в свое время эта статья помогла!

А вообще я уже сто лет вот так пишу:

etree.HTML(body, parser=etree.HTMLParser(encoding='utf-8')

itforge Sep 15 2011 at 07:43

А я grab юзаю, он сам определяет кодировку по Content-Type из мета-тэга или из http-заголовка. Ну и utf-8, если ничего не нашлось.

seriyPS Sep 15 2011 at 13:16

lxml насколько помню тоже в meta — теги смотрит. Но не уверен. Предпочитаю всегда сам указывать.

Utter_step Sep 15 2011 at 00:20

Ждём комментарий автора.

daevaorn Oct 11 2011 at 01:06

Нет, это не я. Это наглое воровство:-(

Show the best of all time