multi_get — качаем сайты оптом

интересная функция, однако я бы на Вашем месте выделил бы куски кода в функции, а то тройные вложенные циклы это круто :) сложно понять. простота кода — залог успеха :)

> К сожалению, Хабр убивает whitespace (indentation), без которого код на python не будет работать…

Можно использовать тэг <pre>

c.setopt(pycurl.NOSIGNAL, 1) — это зачем?
def removewww(a) — может лучше регуляркой, а то домен может быть examplewww.com

Только я сразу подумал что это отличная штука для DOS-а кого либо?
:)

Всем привет.
Спасибо автору за информацию про c-ares и некоторые пояснения по скрипту.
Поскольку сюда будут заходить интересующиеся, позволю себе упростить им жизнь. В свободное от работы время, я иногда пишу обертку над pycurl, которая упрощает API работы с pycurl. Стараюсь максимально приблизиться к python-request.

Думаю никто не будет спорить, что разобраться во всех принципах работы pycurl задача не очень простая, особенно в асинхронном модуле.

Библиотека human_curl доступна на гитхабе.

Вот пример использования асинхронного модуля human_curl:

from urlparse import urljoin 
from datetime import datetime

from human_curl.async import AsyncClient 
from human_curl.utils import stdout_debug

def success_callback(response, **kwargs):
    """This function call when response successed
    """
    print("success callback")
    print(response, response.request)
    print(kwargs)

def fail_callback(request, opener, **kwargs):
    """Collect errors
    """
    print("fail callback")
    print(request, opener)
    print(kwargs)

with AsyncClient(success_callback=success_callback,
                 fail_callback=fail_callback) as async_client:
    for x in xrange(10000):
        async_client.get('http://google.com/', params=(("x", str(x)),)
        async_client.get('http://google.com/', params=(("x", str(x)),),
                        success_callback=success_callback, fail_callback=fail_callback)

Обработку данных можно реализовать через систему колбэков.