Недавно был пост о сборе статистики в Google App Engine. Вот один из рецептов, который я использую для подобных целей:
Так получается и показывается в браузере статистика за последние 10 дней для приложения toptuby.appspot.com
appcfg.py позволяет скачивать логи сервера. В примере выше они помещаются в файл today.txt. Эти логи потом анализируются минималистичным анализатором логов visitors. Указывается что надо учитывать все логи, максимальное количество полей в таблицах, сдвиг по времени, и то что нужно показывать типичные переходы внутри сайта. В результате получается страница html, которую можно посмотреть в любом браузере (все графики и диаграмы делаются при помощи элементов html). На сайте программы есть пример отчета. Больше о параметрах и appcfg.py, и visitors можно узнать просто набрав их в коммандной строке без параметров.
Таким образом, за один прием можно получать актуальную статистику, включая то, как ведут себя роботы. appcfg.py не имеет ограничение на 1000 запросов — доводилось скачивать логи и более 5000 записей, но это занимает время. Visitors генерирует отчеты по количеству уникальных посетителей в день, переходам из Google, внешним ссылкам, браузерам, операционным системам, роботам и еще около дюжины.
Недостаток visitors в том, что под Windows ее надо собирать из исходников на C (я это там так и не делал). Под Linux собирается на ура, в убунтовском репозитории тоже имеется. На удивление утилита не упоминается на странице Википедии о веб-анализаторах. С таким подходом можно пользоваться всеми, что упомянуты там как «logfile-based».
Если кто-то пользуется интересными анализаторами логов, что нет в списки в Википедии — маякните в комментариях.
#!/bin/bash
appcfg.py --num_days=10 request_logs code/ today.txt
visitors -A -m 50 -T --time-delta 10 --trails --prefix http://toptuby.appspot.com/ today.txt > today.html
firefox today.html
Так получается и показывается в браузере статистика за последние 10 дней для приложения toptuby.appspot.com
appcfg.py позволяет скачивать логи сервера. В примере выше они помещаются в файл today.txt. Эти логи потом анализируются минималистичным анализатором логов visitors. Указывается что надо учитывать все логи, максимальное количество полей в таблицах, сдвиг по времени, и то что нужно показывать типичные переходы внутри сайта. В результате получается страница html, которую можно посмотреть в любом браузере (все графики и диаграмы делаются при помощи элементов html). На сайте программы есть пример отчета. Больше о параметрах и appcfg.py, и visitors можно узнать просто набрав их в коммандной строке без параметров.
Таким образом, за один прием можно получать актуальную статистику, включая то, как ведут себя роботы. appcfg.py не имеет ограничение на 1000 запросов — доводилось скачивать логи и более 5000 записей, но это занимает время. Visitors генерирует отчеты по количеству уникальных посетителей в день, переходам из Google, внешним ссылкам, браузерам, операционным системам, роботам и еще около дюжины.
Недостаток visitors в том, что под Windows ее надо собирать из исходников на C (я это там так и не делал). Под Linux собирается на ура, в убунтовском репозитории тоже имеется. На удивление утилита не упоминается на странице Википедии о веб-анализаторах. С таким подходом можно пользоваться всеми, что упомянуты там как «logfile-based».
Если кто-то пользуется интересными анализаторами логов, что нет в списки в Википедии — маякните в комментариях.