Тест производительности: удивительно и просто

Для определения регрессий можно использовать обычный t-тест или непараметрический критерий Манна-Уитни. Для статистической модели можно попробовать распределение Вейбулла из теории надёжности.

Я бы для начала отметил, что работа компьютерного железа и операционных систем общего назначения, по ряду различных причин, нелинейна на субсекундных интервалах, поэтому обычный тест производительности по своей абсолютной продолжительности должен занимать хотя бы десяток секунд. Любые рассуждения о миллисекундах в контексте производительности можно проводить только с очень чёткими оговорками относительно того, что же именно и в каких условиях мы меряем.

Для приблизительной оценки производительности процессора-памяти использую 7Zip в консоли
7z b

Спасибо за отличный пост. Что вы думаете по поводу Universal Scalability Law:
https://www.vividcortex.com/blog/2015/11/13/capacity-planning-with-usl/
https://en.wikipedia.org/wiki/Neil_J._Gunther