Comments 8
цена/качество будет не очень и качества 100% не будет — человеческий фактор.
в инутсрии мобильных устройств, тоже есть тестирование, тестируют руками — нажимают кнопки и смотрят в экран, потом смотрят в todo list и сравнивают результаты по описанию или картинки.
примерно в 2000м году придумали сделать автоматическое тестирование, чтобы компьютер коннектился к сотовому етелфону, ходил по меню, делал действия, анализировал результаты и выносил вердикт.
круто! за 30 мин. можно прогнать 300 тестов с различными условиями, человек неделю будет сидеть, да еще ошибется где-нибудь от усталости и зарпалту ему надо платить.
казалось ы одни преимущества.
однако разработка тестов не успевает за разработкой фич, а еще часто требования не известны до конца чтобы напрограммировать тесты, а с человеком решить можно, проще это.
в итоге остались и автоматические тесты и ручное тестирование.
ручное тестирование — потому что бывают сложноописываемые или долгоописываемые тесты, и оптимальнее посадить инженера.
автоматическое тестирование — потому что за ночь можно прогнать столько «общих» тестов, сколкьо инженер за год не сделает.
в инутсрии мобильных устройств, тоже есть тестирование, тестируют руками — нажимают кнопки и смотрят в экран, потом смотрят в todo list и сравнивают результаты по описанию или картинки.
примерно в 2000м году придумали сделать автоматическое тестирование, чтобы компьютер коннектился к сотовому етелфону, ходил по меню, делал действия, анализировал результаты и выносил вердикт.
круто! за 30 мин. можно прогнать 300 тестов с различными условиями, человек неделю будет сидеть, да еще ошибется где-нибудь от усталости и зарпалту ему надо платить.
казалось ы одни преимущества.
однако разработка тестов не успевает за разработкой фич, а еще часто требования не известны до конца чтобы напрограммировать тесты, а с человеком решить можно, проще это.
в итоге остались и автоматические тесты и ручное тестирование.
ручное тестирование — потому что бывают сложноописываемые или долгоописываемые тесты, и оптимальнее посадить инженера.
автоматическое тестирование — потому что за ночь можно прогнать столько «общих» тестов, сколкьо инженер за год не сделает.
Кстати, да, я пока не видел краудсорсинг-сервиса по тестированию мобильных приложений на разных устройствах, но думаю, что должен появиться такой. Потому что содержать и поддерживать огромный парк мобильных телефонов для тестирования весьма непросто и недёшево. А так — набираются добровольцы-тестировщики с разными телефонами, приходит заказ, раздаём всем, а потом сводим результаты и выдаём заказчику отчёт.
Мне один знакомый рассказывал, как в кетае тестируют телевизоры на крупных фабриках. Выделено специальное помещение, где сидят десятки человек перед телевизором и постоянно щёлкают каналы, при возникновении проблем они зовут специалиста. Процесс тестирование происходит круглосуточно, на территории завода были построены бараки для тестеров.
Касательно Litmus. По-моему проще эту деятельность автоматизировать, разве нет? Одни и те же странички запускаются в различных браузерах и делаются скриншоты. Да и такая ручная работа — жесть как утомительна.
Да, снимать скриншоты можно автоматически. Но сравнивать автоматически не получается. Некоторые попытки в этом направлении пытается сделать Adobe своим новым инструментом BrowserLab, но он тоже лишь помогает дизайнеру выявить отличия, а принимать решение о том, насколько они существенны или несущественны пока всё равно должен человек.
Sign up to leave a comment.
Автоматизация тестирования «по-китайски»