Comments 2
Расскажите подробнее про методику оценки и подсчёту рейтинга?
Рейтинг строится на основе опроса участников конференции.
Оценки Превосходно, Хорошо, Нормально, Плохо превращаются в цифры и считается среднее арифметическое (по сути это rangevoting.org )
Но тут может возникнуть ситуация, что какой-нибудь коварный докладчик позовёт своих друзей на доклад, и они все поставят оценку «Превосходно». Может ли доклад с 10-ю слушателями быть «лучшим докладом конференции»? Конечно, может и такое быть. Но на Joker'е все доклады массовые. Минимальный зал был на 300 кресел.
Чтобы такого не получалось, в оценки каждого доклада подмешиваются несколько нулевых оценок (всем одинаковое количество, и оно равно 5-10% от общего количества слушателей конференции). В результате доклады с небольшим количеством слушателей получают меньший рейтинг, чем аналогичные по средней оценке, но с большим количеством слушателей. Эта же процедура описана тут: rangevoting.org/BetterQuorum.html
Это всё теория. На практике есть много интересных эффектов.
Самый суровый — «проклятие главного зала». Практика показывает, что в «главный зал» идут даже те, кто исходно на доклад не планировал. Возможно, считают, что «раз главный зал, то и доклады самые хорошие». Возможно, лень уходить с прошлого доклада. В подобных случаях получаются отзывы в духе «Плохо: ничего нового, ничего непонятно, вода какая-то».
Докладчик виноват что-ли? А что ему с таким отзывом делать? Беда да и только.
Понятие «крутой» доклад у каждого своё (кому-то нужно Spring, а кому-то кишки JVM), и вовсе неправда, что «в главном зале всегда самый крутой». В выборе доклада может помочь докладчик (он-то свой доклад знает) и программный комитет (ПК).
Или так: если во время доклада пару раз моргнёт проектор, то всё, гарантировано будут отзывы «Плохо: проектор не работал, было плохо видно».
И это при том, что есть отдельный вопрос по техническому оснащению площадки. Там и стоит написать «у вас моргал проектор в 4-ом зале когда кто-то клал сотовый рядом с ноутбуком».
Но зачем докладчику-то писать про неработающий проектор? И зачем портить настроение докладчику? Зачем портить рейтинг?
Или так: доклад на английском языке. Об этом написано и в программе, и докладчик недвусмысленно говорит. Обязательно будет пара отзывов в таком духе: «Плохо: из-за знания английского половина доклада осталась непонятной». Да. Прямо по-русски. Докладчик виноват что-ли? Зачем ставить «Плохо», если проблем в докладе и подаче не было? К слову: ПК проводит репетиции и с англоговорящими докладчиками. Иногда советуют «не употреблять непереводимую игру слов», но в большинстве своём английский язык у докладчиков не родной, и они говорят очень простыми словами.
Но есть и обратные примеры. На каждой конференции встречается (несколько) человек, которые в комментарях к оценке доклада дополнительно пишут разбивку: «подача-5, полезность-2, применимость-4, новизна-5». Лучи добра таким писателям. И докладчику понятно, и ПК помогает сделать выводы.
Оценки Превосходно, Хорошо, Нормально, Плохо превращаются в цифры и считается среднее арифметическое (по сути это rangevoting.org )
Но тут может возникнуть ситуация, что какой-нибудь коварный докладчик позовёт своих друзей на доклад, и они все поставят оценку «Превосходно». Может ли доклад с 10-ю слушателями быть «лучшим докладом конференции»? Конечно, может и такое быть. Но на Joker'е все доклады массовые. Минимальный зал был на 300 кресел.
Чтобы такого не получалось, в оценки каждого доклада подмешиваются несколько нулевых оценок (всем одинаковое количество, и оно равно 5-10% от общего количества слушателей конференции). В результате доклады с небольшим количеством слушателей получают меньший рейтинг, чем аналогичные по средней оценке, но с большим количеством слушателей. Эта же процедура описана тут: rangevoting.org/BetterQuorum.html
Это всё теория. На практике есть много интересных эффектов.
Самый суровый — «проклятие главного зала». Практика показывает, что в «главный зал» идут даже те, кто исходно на доклад не планировал. Возможно, считают, что «раз главный зал, то и доклады самые хорошие». Возможно, лень уходить с прошлого доклада. В подобных случаях получаются отзывы в духе «Плохо: ничего нового, ничего непонятно, вода какая-то».
Докладчик виноват что-ли? А что ему с таким отзывом делать? Беда да и только.
Понятие «крутой» доклад у каждого своё (кому-то нужно Spring, а кому-то кишки JVM), и вовсе неправда, что «в главном зале всегда самый крутой». В выборе доклада может помочь докладчик (он-то свой доклад знает) и программный комитет (ПК).
Или так: если во время доклада пару раз моргнёт проектор, то всё, гарантировано будут отзывы «Плохо: проектор не работал, было плохо видно».
И это при том, что есть отдельный вопрос по техническому оснащению площадки. Там и стоит написать «у вас моргал проектор в 4-ом зале когда кто-то клал сотовый рядом с ноутбуком».
Но зачем докладчику-то писать про неработающий проектор? И зачем портить настроение докладчику? Зачем портить рейтинг?
Или так: доклад на английском языке. Об этом написано и в программе, и докладчик недвусмысленно говорит. Обязательно будет пара отзывов в таком духе: «Плохо: из-за знания английского половина доклада осталась непонятной». Да. Прямо по-русски. Докладчик виноват что-ли? Зачем ставить «Плохо», если проблем в докладе и подаче не было? К слову: ПК проводит репетиции и с англоговорящими докладчиками. Иногда советуют «не употреблять непереводимую игру слов», но в большинстве своём английский язык у докладчиков не родной, и они говорят очень простыми словами.
Но есть и обратные примеры. На каждой конференции встречается (несколько) человек, которые в комментарях к оценке доклада дополнительно пишут разбивку: «подача-5, полезность-2, применимость-4, новизна-5». Лучи добра таким писателям. И докладчику понятно, и ПК помогает сделать выводы.
Sign up to leave a comment.
Реактивный мир: открытый бесплатный доступ к докладам конференции Joker 2018 + обзор лучшей десятки