How to become an author
Search
Write a publication
Pull to refresh

Comments 37

cat access.log | awk '{print $9}' | grep 200 | wc -l

А теперь представьте, что на сервере таймзона не +0400, а +0200
Total votes 4: ↑2 and ↓20
UFO just landed and posted this here
Хм, ну да. Тем не менее, способ разбора видится несколько ненадежным. Нужно больше регекспов.
Total votes 1: ↑1 and ↓0+1
Предложите тогда, пожалуйста, более «надежный» способ. Всем будет интересно. :)
Total votes 1: ↑1 and ↓0+1
Навскидку не готов. Но зато я придумал, до чего ещё докопаться: успешный запрос это не только код 200. Ещё как минимум есть 300-ые редиректы, а в спеке и 200-ых кодов хватает.
Total votes 1: ↑1 and ↓0+1
awk '{if($9==200)sum+=1}END{print sum}' access.log
Total votes 2: ↑2 and ↓0+2
Более того, там вообще весь скрипт можно на один awk заменить, чтобы лог дважды не читать. Особенно это будет полезно, если он большой:
awk '{sum+=1;if($9==200)ok+=1}END{printf "Passed: %3.2f%%\n", ok / sum  * 100}' access.log
Total votes 4: ↑4 and ↓0+4
Спасибо, добавлю к статье если вы не против.
This comment wasn’t rated yet0
Да, конечно.
Сам скрипт, кстати, не совсем рабочий. В COUNT=`wc -l access.log` будет «количество_строк access.log» а не просто количество строк, из-за этого последний awk навернётся, т.к. в -v передастся оно криво, кавычек то у вас там нет (:
This comment wasn’t rated yet0
Для такого случая (требуется только результат) можно использовать перенаправление:
wc -l < FILENAME


Переменная sum — лишняя. Для определения количества строк есть встроенная переменная NR (см. habrahabr.ru/company/centosadmin/blog/222469/#comment_7581431).
This comment wasn’t rated yet0
Спасибо, ваш вариант я тоже добавил. :)
This comment wasn’t rated yet0
Верно подмечено, очепяточка. Спасибо, исправлю.
This comment wasn’t rated yet0
Как-то году эдак в 1997, работал я в одной телефонной компании, которая эксплуатировала АТС, вываливающие свои логи в com порт, все это перемежалось какими-то асинхронными сообщениями, влезающими в середину нормальных записей и все портящих, короче еще тот недокументированный винегрет. Так вот, для пост-обработки всей этой неземной красоты, я начал пилить sed скрипт (к сожалению, за давностью лет он не сохранился). Где-то через пол года он вырос до ~1000! строк адского-ада и работал 10 минут (логи были большие), что напрягало. Выручили GNU flex и GNU bison, постобработка стала происходить за 10 секунд и, кончено, стало гораздо проще вносить изменения в код в случае появления новых типов сообщений.
This comment wasn’t rated yet0
А perl не пробовали? Имхо, для разбора CDR удобнее всего
This comment wasn’t rated yet0
Ну, это был вообще не CDR, а какой-то поток сознания этой самой GPTёвской SystemX с кучей unsolicited output. Ну, а так как, в то время я был хардкорным С программистом, выросшим из DJGPP, то perl я оставил как-то за бортом… :)
This comment wasn’t rated yet0
Причем в данном примере таймзона вообще?
This comment wasn’t rated yet0
Из лога — [12/May/2014:03:08:55 +0400]. Если будет +2 часа к UTC, то будет +0200.
Total votes 1: ↑1 and ↓0+1
UFO just landed and posted this here
Это же все стандартные инструменты их вообще любой админ Linux использует, иначе как вообще на linux рабоать без их знания. Я думал напишите про что-нить вроде zabbix, chef, а лучше что-то новенькое, чего я не слышал)
Total votes 5: ↑4 and ↓1+3
Да, все верно, первая часть про стандартные инструменты. :) Это полезно для начинающих админов. Удивлять опытных юниксоидов не было задачи.
Про что-то новенькое напишем в следующих статьях.
Total votes 2: ↑2 and ↓0+2
Если бы подобный пост был тогда, когда я линуксом только начал сталкиваться, то это сэкономило бы кучу времени. А так — толстенный талмуд по RHEL оказался наиболее информативной книжкой на тот момент (хотя и дистрибутив был другой). Так что не думаю, что лишним будет в копилке.
Total votes 4: ↑4 and ↓0+4
Хороший пост. Пригодится для начинающих админов и особенно для начинающих программистов.
Total votes 1: ↑1 and ↓0+1
Напишем простой скрипт для подсчета процента успешно обработанных запросов

Можно еще проще
awk '$9 == 200 { s++ } END { print s / NR * 100; }' access.log
Total votes 4: ↑4 and ↓0+4
Полюбил awk за его минимализм и при этом огромный функционал, когда пришлось писать сложные скрипты на embeded-устройствах с ash(shell такой) и практически без утилит вроде head, tail etc.
This comment wasn’t rated yet0
Про core utils, наверное, все знают, что про них писать?

Было бы интересно почитать про всякие штуки автоматизации/конфигурирования/развёртывания типа Salt, Docker, только не на уровне «Hello World», а с реальными примерами использования и настройки.
Total votes 1: ↑1 and ↓0+1
на самом деле, про core utils можно рассказывать вечно, очень уж там много всего прикольного и малоизвестного.
This comment wasn’t rated yet0
Спасибо за структурную выкладку основных инструментов.

Хотелось бы в следующих статьях почерпнуть следующие аспекты:
— ваш личный best practice в мониторинге (оповещениях)
— реальные графики работы высоконагруженных серверов
— какой инструментарий для бекапа используется вами для разных типов данных (большой объем, большое количество, малый объем, малое количество, бекапы баз). Хотелось бы узнать ваш практический опыт в этом, какие инструменты используете в обоих направлениях (создание+восстановление бекапа)
— как проводится тестирование сервера до введения его в боевой режим
Total votes 1: ↑1 and ↓0+1
Спасибо за идеи. Постараемся все отразить в будущих статьях.
This comment wasn’t rated yet0
Один я чуть не взорвался от дизайнерских решений на сайте этой компании? :)
Total votes 1: ↑0 and ↓1-1
Есть ошибочка в формировании даты =)
date +%H:%m -d "-1 hour"
Так вы месяц выводите, а не минуты. Скорее тогда уж так:
date +%H:%M -d "-1 hour"
This comment wasn’t rated yet0
Верно, не заметил. Наверное потому, что минуты тут и не нужны.
This comment wasn’t rated yet0
А не подскажете чего-нибудь прочитать поподробнее про strace, а то как-то пока не довелось использовать? Ну кроме мана, естественно. Желательно на примерах.
This comment wasn’t rated yet0
Кратко, но информативно и ссылками на более глубокие материалы, тут
This comment wasn’t rated yet0
Невижу ssh в утилитах командной строки.
Она может быть не первая команда с коротой начинается изучение линукса, но точно первая с которой начинается рабочий день.
Total votes 1: ↑1 and ↓0+1
Тоже верно. Надо было бы, еще упомянуть терминалы (Guake, Terminator и т.п.)…
This comment wasn’t rated yet0
Напишем простой скрипт для подсчета процента успешно обработанных запросов.
Более правильный вариант для подсчета процента успешно обработанных запросов

И самый правильный вариант — использовать mod_status, а не городить огород из анализа access логов. А так же использовать custom лог со всей необходимой информацией.

P.S.
cat access.log | awk ...
< access.log awk…
This comment wasn’t rated yet0
Sign up to leave a comment.

Your account

Sections

Information

Services

Support
© 2006–2024, Habr