Функциональные мониторинги в Яндексе

Друзья-коллеги подсказывают что существует понятие Synthetic monitoring, хотя не похоже что термин основательно укоренился.
Также в статьях есть такие ключевые слова как Top Down monitoring и Real user monitoring
Про опыт в различных проектах и компаниях было бы очень интересно прочитать в комментах.

Очень хороший и правильный пост. Функциональное тестирование в контексте мониторинга «правильности работы» — обязательная часть любого крупного проекта или сервиса. Я уже в третьей компании за свою карьеру ввожу тестирование именно в таком контексте. Кстати, позволю себе немного пропиариться, похожую услугу мы предлагаем в составе нашего сервиса www.trackfort.com/

Занятно, что в интернете в основном и встречаются по этой теме SaaS предложения. При этом, если на сервисе есть автотесты и есть кому их писать, то сделать такую систему у себя не представляется слишком уж сложной задачей.

Так или иначе основные интересные вопросы — это
1. Выбор функциональности для мониторинга, не все имеет смысл мониторить
2. Работа с большим потоком результатов и их фильтрация
3. Интеграция информации от таких мониторингов в общую картину
Ну и, как я уже писал ранее, интересно как такой вид проверок приживается в различных командах разработки и как дополняет/конкурирует с более низкоуровневыми мониторингами

Мы используем Selenium-тесты для проверки работоспособности нашего сервиса.

Интересно то, что сам сервис служит как раз для регулярного выполнения Selenium-тестов, и тесты для тестирования себя самого сам же и может запускать.

Но, к сожалению, гонять тесты только с помощью самого сервиса нельзя — т.к. тесты просто не выполнятся, если что-то произойдёт с той частью сервиса, которая тесты запускает.

Как раз на тему функционального и синтетического мониторинга написал большую статью, как мы делали функциональное тестирование в 2000 сценариев, можно посмотреть на наш опыт.