Привет, Хабр. Я бы хотел поговорить о принципах построения рейтингов компаний на рынке заказных веб-разрабток в России. Мы опубликовали подробную методологию построения рейтинга-2010, но хотелось бы разобрать тему немного шире. Поэтому я предлагаю поговорить о том, какими вообще могут быть метрики на нашем рынке.
Какие факторы вообще имеет смысл учитывать в рейтинге:
1. Реальные бизнес-показатели компании
- Финансы (оборот, прибыль и пр.)
- Штат сотрудников
- Ценовой сегмент
- Количество выпускаемых проектов
- Узнаваемость бренда среди клиентов
- Узнаваемость бренда в отрасли
- Позиционирование и вес на рынке
- Количество и формат упоминаний в СМИ
- Отзывы клиентов о работе с компанией
- Степень удовлетворенности по разным аспектам клиентского сервиса
- Качество выпускаемых проектов
- Организационная модель, методики управления и производства
Прежде всего, надо пояснить, почему для построения рейтинга студий не очень подходят метрики, принятые на «взрослых рынках», и почему мы пытаемся «изобрести велосипед»:
- Рынок «размазан» по нескольким тысячам компаний
- Даже лидеры, на самом деле, имеют очень небольшую долю от всего рынка (при обороте в 10 млн. долл., а это 1-2 компании, доля будет всего порядка 3%).
- Компании на рынке быстро появляются и быстро сгорают (низкий порог входа)
- Большинство компаний очень маленькие
- Большинство компаний работают по «серым» схемам, и не готовы предоставлять отчетность
- Даже если отчетность предоставлена, отделить бюджет на разработку от бюджетов на рекламу и продвижение и транзита (CMS, хостинг) — невозможно (а складывать их нельзя).
- Проводить глубинное интервьюирование и проверять «на их территории» данные, подаваемые тысячами игроков — безумие
Я опишу нашу методику и формулы простыми словами, чтобы было понятнее. С развернутым текстом (и всякими бонусами, вроде «что считается накруткой») можно ознакомиться тут.
В проекте в 2010 году участвует порядка 1 000 студий, 100 клиентов и 50 экспертов.
1) Студии предоставляют свой вариант 10-ки лидеров рынка (показатель — оборот за 2009 год), расставляя рейтинговые баллы от 1 до 5. Для каждой компании считается набранный балл. Взаимные голосования считаются с коэффициентом ½. Далее голоса первых 300 компаний («выборщики») учитываются как есть, а голоса остальных — с коэффициентов 1/5. Так у каждой компании получается ее Rball_internal, который показывает мнение самого рынка.
2) Клиенты и эксперты называют свою 10-ку самых узнаваемых брендов на рынке. Рейтинговые баллы не расставляются, десятка идет общим списком. Для каждой компании считается количество ее упоминаний в этом голосовании — RBall_external.
3) Для каждой компании считается ее общий рейтинговый балл RBall = RBall_internal + RBall_external*3.
4) Для каждой компании считаются 7 поправочных коэффициентов, по бизнес-показателям деятельности (которые сама компания подает при опросе). Они перемножаются и получается итоговый поправочный коэффициент K.
5) Для каждой компании считается клиентский коэффициент. Клиенты указывают, с какими компаниями у них есть положительный опыт сотрудничества и отрицательный. По разнице количества этих упоминаний считается коэффициент С.
6) Финальный балл рассчитывается путем умножения рейтингового балла на единый поправочный коэффициент K и клиентский коэффициент С: Ball = RBall*K*C.
Краткий FAQ по нашей методологии:
Q: Студии голосуют друг за друга, это же бред? Рейтинги авто-производителей так не строят, вы можете представить, чтобы Audi попросили проголосовать за BMW?
A: Там совершенно другой рынок — полностью прозрачные финансы, четкий пул лидеров (порядка 50 брендов), а не несколько тысяч компаний в 3-10 человек.
Q: Настоящий рейтинг может быть только по реальным оборотам компаний.
A: Рейтинг может быть по чему угодно — хоть по суммарному количеству веснушек у сотрудников компаний. Но, действительно, многие рейтинги на взрослых рынках строятся по оборотам. На нашем рынке пока сделать такой рейтинг с необходимым качеством нельзя. Причины две. Во-первых, деятельность компаний непрозрачна, и лишь единицы готовы предоставить свою финансовую отчетность. Во-вторых, даже если отчетность предоставлена, разделить бюджеты на разработку и на рекламу не представляется возможным (а большинство компаний занимаются и разработкой, и рекламой). В любом случае, в рамках нашего проекта одним из подрейтингов будет срез по оборотам, заявленным самими игроками (но я бы рекомендовал использовать эту информацию только как справочную). К тому же, репрезентативность рейтинга может серьезно нарушиться, так как возможно попадание в списки лидеров компаний, которые либо не специализируются на веб-разработках (системные интеграторы и т.д.), либо создаются под 1-2-3 крупных проекта.
Q: Все места куплены, вы жулики!
A: Точно. Вы должны нам тысячу долларов за ответ на этот вопрос =)
Спасибо за внимание, постараемся ответить на вопросы и конструктивную (!) критику в комментариях :)
