Machine Learning Boot Camp — как это было и как это будет

[Apatic]

Посмотрите сами в таблице ТОП-10 участников контеста.

Это ТОП по и финальному и предварительному баллу?
Любопытно было бы посмотреть каким был ТОП-10 чисто по предварительному и как относительно него изменился ТОП-10 по финальному.

[sat2707]

Это топ только по финальному. На самом деле, по предварительному получились бы практически те же финалисты, только Саше Луценко повезло бы сильно больше, по предварительному результату он оказался бы на первом месте.
Когда пройдет второй контест — можно будет попробовать сравнить корреляции между рейтингами на разном классе задач. Вдруг найдется что-то интересное :)

[kraidiky]

Блин! Какая интересная задача была! Прям руки чешутся натравить на неё свои алгоритмы. Если времени наскребётся, сначала её помучаю, а потом уже посмотрю что в этом году придумали.

[sat2707]

Если вы про «Бинарные данные», о которых речь в статье — так ведь контест уже закрыт, да и интриги больше нет.
Попробуйте лучше новую, она вполне ок — 900+ признаков, есть где разгуляться :)

[chianti]

Меня удивляет, что до конца конкурса еще 29.5 дней, а некто Andrey Litvinov уже выложил решение с средней относительной ошибкой равной 0.0 (то есть лучше уже нельзя в принципе)…

[sat2707]

Это ошибка — в случае, когда загружается решение, которое не может прохавать парсер, решению выставляется status=FAULT и score=0. Мы не учли это при запуске контеста, где метрикой выступает значение, которое «чем меньше тем лучше» :(
Конечно же такие решения в финальном рейтинге учавствовать не будут вовсе, да и из промежуточной таблицы мы их уберём ASAP
А 0.0 я думаю в принципе недостижим

[kraidiky]

Билайновский конкурс показал, что если не ограничивать количество попыток — ещё как достижим. Один из участников просто перебором брутфорснул 70% тестовой выборки и таким образом увиличил себе учебную. Не из злого умысла, а потому что мог.

[sat2707]

И как, дали приз? Или это оказалось не в рамках правил? :)

[kraidiky]

Ну он же показывающиеся 70% брутфорснул, а не те 30% по которым идёт зачёт.
Они там закрытым образом редактировали результаты от тех, которые им не понравились. Так что связь между результатами и местами получилась не очевидной. Если хотите узнать подробнее, то вот тут в статье и в комментариях к ней: https://habrahabr.ru/post/269745/

[sat2707]

Отвечу сам себе — мы исправили косяк с нулевыми результатами, теперь всё встало на свои места. Приношу извинения всем, кто был введен в заблуждение, будем тестировать лучше :)

[firexonix]

Может, подскажете — у вас есть какая нибудь площадка/чат для обсуждения решений? А то тяжеловато чему-то учиться, не общаясь с другими участниками контеста.

[sat2707]

Отдельной площадки нет. А пусть будут google groups, тынц
Ссылочку добавили, спасибо за идею