Pull to refresh

Comments 86

UFO just landed and posted this here
Вообще, отличная система — система актуальности.

Приведу пример — рейтинг строится только из последних оценок (+просмотров) за последний месяц.

Например (не применимо к хабру), если мне за статью поставили плюс или минус месяц назад. То оно просто исчезает. При этом если поставили неделю назад — оно остаётся… таким образом тема, становясь более не нужной, теряет в баллах.

Тоже самое, можно сделать и с рейтингом людей. Давая шанс любому человеку (кстати минусы можно, например снимать через 6 недель), которого (возможно) по ошибке заминусовали…
К сожалению, этот подход уравнивает эксперта, который уехал на неделю в Сочи, и любого другого непрофессионала.
Временно уравнивает. Пока он в отпуске.
При этом месяц я взял условно. Можно взять два месяца.

А эксперт, который не появляется пару месяцев на сайте — зачем он такой нужен?
Я, например, предпочитаю умные комментарии людей, которые пусть даже появляются раз в два месяца тем, кто комментирует ежедневно, но не по делу.
И что это меняет? Умные люди не будут комментировать?
Умные люди, скорее всего, уйдут с такого сайта туда, где их мнение не будет обесцениваться после двух месяцев отсутствия активности. Здесь я бы хотел подчеркнуть, что сайты делаются для людей, а не люди живут для сайтов. Если человек месяц не заходит на сайт, это самим сайтом должно нормально восприниматься.
Если сайты делаются для людей, тогда можно совсем убрать отрицательные рейтинги :) — оставить только положительные…
Может ли стать решением просто уменьшить вес параметра посещения в общем (сложном) расчете рейтинга? Т.е. пусть не посещает профессионал — это не обнулит весь рейтинг, но снизит по отношению к активным пользователям.

Спасибо.
Профессионал на то и профессионал, что он сможет рейтинг свой востановить за малое время…

И кстати говоря, Хабрасила считается подобным образом, который я сейчас описывал :)
Ну… это проблема скорее общественного, социального характера, чем web2.0
Так ведь Web 2.0 как раз и живет по социальным законам, в этом его главная особенность.
Ну это понятно. Просто именнов данном вопросе больше упор делает как раз на социологию, ну и получается на протополитические взгляды создателя ресурса. Типа либеральные/консервативные/и тд.
Непосредственно в данный момент занимаюсь разработкой системы рейтинга на сайте.
И вот что получилось:
1. Есть рейтинг активности посетителей (заполнение полей профиля, ежедневная авторизация на сайте, голосование за материалы, публикация материалов и комментариев).
2. Оценка качества материалов (+1/-1). Причем пользователи делятся на две группы: все и эксперты, вес голоса эксперта в несколько раз весомее обычного пользователя (допустим в 10 раз). И чтобы сравнить эти две оценки их необходимо привести к одному порядку:
Х_все = (сумма_голосов/число голосов) * 10;
Х_экс = (сумма_голосов/число голосов);
При этом X может принимать значения от -10 до +10.
это случайно не н2ру? по описанию похоже
нет, мой проект ещё в стадии разработки
Боюсь, что данная система никак не будет характеризовать пользователей. И возможна несложная социальная накрутка. В объективной системе влияние других пользователей не должно быть видимым или значимым. Один из 30-40 параметров… или даже больше. Плюс еще вес каждого параметра различен.

Пример Google PR.

Спасибо.
А как у вас в эксперты попадают то?
Администрация сайта назначает из совершенно конкретных людей (которых знает в offline)
Рейтинг не нужен вообще. Рано или поздно все кармы/оценки/топы себя изживают. Это формализация неформализуемого и вырождение неизбежно. Возможно, вы почините это математикой, что-то подкрутив.

Подавайте информацию так как она есть и будет вам счастье.
Нужен бог, который даст силу своим апостолам.
UFO just landed and posted this here
А как это применить к рейтингу предложения, фотографии или вакансии — т.е. статичного (неактивного) объекта?
UFO just landed and posted this here
Это не рейтинг, это попытка стимуляции активности. По крайней мере в контексте форума это будет однозначное зло.
UFO just landed and posted this here
Я не говорю о том, что ЧЕГО на том или ином сайте создается рейтинг. В вашем случае это для стимуляции активности, где-то для ранжирования пользователей, еще где-то так пытаются обозначить профессионалов.

Читать тут: slovari.yandex.ru/search.xml?text=%D1%80%D0%B5%D0%B9%D1%82%D0%B8%D0%BD%D0%B3&st_translate=0

Поэтому и я говорю, что указанная схема это стимуляция активности, а не рейтинг. Налицо подмена понятий.
UFO just landed and posted this here
Вы предпочитаете количество качеству?
UFO just landed and posted this here
UFO just landed and posted this here
Гордость величиной рейтинга и уровнем кармы компенсирует длину члена. Вроде давно всем известно :-D
UFO just landed and posted this here
Я просто не поддрачиваю на рейтинг и говорю, то что я думаю.
В этом и есть истинная свобода — высказывать те мысли, которые ты хочешь высказать, а не оглядываться на действия толпы.
Людям с нормальной самооценкой не нужно одобрение толпы народу в правильности своих действий и высказываний. :).
UFO just landed and posted this here
UFO just landed and posted this here
а потом оно же ее и убьет, если наследование статуса будет от отца к сыну — как уже было доказано многими революциями и иже с ними.
Правильнее в наше время говорить о технократии ;) Лично я совсем не исключаю, что в ближайшие лет 200, если нас не сметет с шарики третьей мировой, она таки образуется.
Я бы сделал сортировку рейтинга: по рекомендациям, выполненным заказам, заказов за неделю и etc.

С ее помощью можно будет найти как молодого перспективного специалиста, так и старого опытного.

Это я конкретно фриланс темы.
Заказазов за неделю?! Что то вы уж очень во времени заужаетесь. А если проект на несколько месяцев? У вас получиться, что вперед выйдут профессиональные и не очень верстальщики который в неделю смогут потянуть 2-3 проекта в том время как высококлассные специалисты способные заниматься сложными и средними проектами требующими несколько месяцев работы просто по рейтингу скатятся на дно.
Рейтинг — это попытка замотивировать аудиторию делать то что нужно создателю.

На форумах, в частности, ценно когда люди туда регулярно срут им пользуются, поэтому им и начисляют его пропорционально кол-ву отправленных сообщений. Правда почему-то рейтинг обычно с временем не сдувается.
А по поводу справедливости, её нет, как в жизни так в вебе. Так же как и объективности.
Когда типа крутой чел приходит на сайт фрилансеров, только этот чел знает что он крут.
Не только он это знает. Он не в вакууме живет. На ресурсе существуют люди с хорошей историей которые могут его знать в реале. Существует система инвайтов для регистрацией, отчего же не ввести систему инвайтов для профессионалов? Аналогия так же с жизнью, когда на предприятие приходит новый человек по рекомендации от работника этого предприятия.
Ну на ЛинкедИне нет кстати никаких рейтингов.
Есть только рекомендации.
И на основе этих рекомендаций и их авторов, рекрутеры делают выбор.

Это модель наиболее приближена к «реальной жизни», и наверное отчасти по-этому ЛинкедИн в лидерах.
Ну вот, вы уже и пример даже конкретный привели ) К чему и собственно и веду. Имхо, в свете развития социальных сетей рейтинг по рекомендации начнет выдвигаться вперед (что не исключает так же использование и старых методов).
UFO just landed and posted this here
Вот вот. Это и есть непосредственное представление информации в доступных категориях.
В разрезе программирования оценка не всегда субъективна. Код вполне объективен, если в нем пишут бред, то это и выглядит как бред.

В остальном соглашусь, все достаточно субъективно (
Президента тоже выбирает толпа, которая ни чего не понимает в управлении, хотя правильней было бы доверить выборы знающим людям (хотя так и есть на самом деле, просто об этом открыто не говорят).
Да-да, меня тоже удивляет, что люди, всё-таки согласившиеся с тем, что «кухарка не может управлять государством», дают этой кухарке право выбирать того, кто будет руководить государством :)
UFO just landed and posted this here
Я думаю что любая система управления, где отбор кадров производится не на основе эффективности, обречена на деградацию с последующим отмиранием.
UFO just landed and posted this here
Кухарки не имеют своего мнения при выборе своего правителя.
Есть лидеры, которые управляют мнением толпы. Есть механизмы управления толпой.
Так же и с рейтингами.
Тогда все будут недовольны, так как выбирали не они. Людям важно ощущать свою значимость. Хотя, даже когда люди выбирают, потом все равно недовольны своим выбором. Толпа — сила. Недовольная сила.
Мы считаем рейтинг в зависимости от:
1) кол-ва посещений материала,
2) времени с момента опубликования,
Только не делим на него, а в отношении реальной базы контента выбрали необходимые коэффициенты. Например: 2 часа — коэффициент 1, 4 часа — коэффициент 0.75… 72 часа — коэффициент 0.1. Это очень способствует быстрому обновлению контента.
3) кол-ва комментариев
Необязательный пункт, вносит лишь некий дополнительный мало значащий плюс к рейтингу.
4) динамике изменения рейтинга (пересчитываем каждые 20 минут и строим топ от большой дельты к малой).

Я думаю, что подобная система наиболее рациональна из тех, что мне встречались до этого.
в своё время рылся по этому вопросу — тут прямая дорога к математикам.
вот неплохой материал который нарыл в своё время:
1. http://www.banki.ru/forum/index.php?PAGE_NAME=read&FID=10&TID=43228
тут о том, как агентство пытается считать рейтинги банков. есть оч полезные идеи.
2. http://www.spectator.ru/technology/web-building/voting
просто размышления о рейтингах — может получите вдохновение на идеи новые)

кстати, эта тема зовётся у них Экспертная система — сюда и ножно копать.
исходя из инфы, чтобы сделать именно толково, а не просто костыль, то нужно заюзать Байеса и т.д.
мне оказалось не по зубам :(
Основная проблема — выбор критериев, их должно быть не так много, и они должны быть легко вычислимы (определимы).
Ahem. Мои пять копеек.

Вы пытаетесь (в идеале) приравнять рейтинг не к времени, проведённому на сайте, а к реальному профессионализму человека. Ну, во первых, профессионализм вообще оценка довольно субъективная. Во вторых, посмотрите на простой пример.

Приходит к вам программист. Даёт вам свой ник на Хабре. Вы посмотрели его статьи — ну вроде ничего, толково пишет. Но чтобы узнать его профессиональный уровень как программиста, вам всё равно придётся дать ему задание и посмотреть как он подходит к решению, как пишет код. Однако перед сайтом вы ставите именно такую задачу — выяснить профессиональный уровень человека по статьям и комментариям.

Другого способа узнать профессионализм человека я к сожалению не знаю.

Итого: может быть, вы конечно подразумеваете под «профессионализмом» не то что я. В любом случае, вам нужно чётко прояснить, по каким критериям вы хотите оценивать людей. Здесь возможно много вариантов, вот в чём загвоздка.
UFO just landed and posted this here
Как вариант — можно. На Topcoder если не ошибаюсь похожая система.
Профессионализм, конечно, субъективное понятие. Но я бы хотел сказать что это качество каким-то образом чётко связано с количеством и качеством успешно реализованных (в оффлайне) вещей. Увы, я совершенно не представляю как адекватно перенести эту информацию в онлайн.
Мысль толковая, но совсем простая, не хватает веса полезности (которую можно вычислять по просмотрам и ответам) тех же постов если это для форума. Если же для сайта как фрилансер, там надо несколько еще оценок добавлять, умение общаться, сроки, цена, качество.
предлагаю вариант (сразу предупреждаю не для всех случаев подходит, сами определите или вам такой вариант подойдет)
рейтинг должен вычисляться автоматичсеки из интернета. Первый тупой пример реализации, который пришел в голову: по email (или имени и фамилии) давать запрос в Google, смотреть на каких страницах, сайтах встречается упоминание о данном человеке, подсчитывать кол-во встречаемых раз + вес страниц к примеру по PR или ТИЦ. Можно запрос строить в разных проекциях, к примеру со словами математика, ИТ. Т.е. чтобы определить в какой области человек больше авторитетен. Т.е. учитываться будет активность человека во всем интернете, а не в пределах нашего сайта.
UFO just landed and posted this here
если вы зарегистрированы под одним емейлом и ником на 9000 — значит вы профи в какой-то области. Лузер не сможет этого сделать. А если гвоздолупый скрывал свои реальные данные, то это его проблемы. Нормальным профессиональным людям нечего скрывать. А если тварищ проффесионал впервые вообще вылез в инет, это как бы тоже его трудности. Ему тогда хотя бы надо получить рекомендации от других профи.
А вообще уникального решения не найти. Предлагаемый мною вариант базируется на накопленной глобальной сумме знаний. Уверен кто-то сделает такой алгоритм в ближайшее будущем. Я инфу про людей к примеру ищу через гуугль. Более менее четко видно кто есть кто и что из себя представляет. так что если это может делать человек мозгами, значит можно научить робота автоматизировать процесс.
Однако, предлагаемая идея не панацея, а так мысли на тему…
UFO just landed and posted this here
при желании это все решается матчингом :) в итоге можно даже будет знать какие есть у юзера другие подпольные фамилии :). Однако повторюсь это уже вам не простой ретинг :), такое стоит делать глобально — экспертная система, для КГБ или ЦРУ :) с реализацией SOA интерфейса для подключения в свои порталы :)
Резюмируя некоторые комментарии выше, скажу что рейтинг человека (как профессионала) можно вычислить исходя из независимой (от администрации сайта) сертификации. Например, рейтинг программиста в данной конкретной области можно принять за число 0..100 соответствующее проценту (Percentile) на одном из принятых сертификационных сайтов (скажем, brainbench). Она не зависит от времени, проведённом на сайте (что приближает её к реальности), не зависит от «тусовки», сложившейся на данном сайте, что тоже хорошо. По-моему, это не самая плохая и субъективная оценка профессиональных навыков.

При этом оценка статичным объектом может складываться из оценок участников в соответствии с весовыми коэффициентами их профессиональных навыков в данной тематике.
Сам же добавлю критический взгляд на такое предложение: тестирование на подобных сайтах определяет уровень знаний человека. Но оно не способно определить уровень умений по применению этих знаний. Таким образом, не всякий отличник в реальной жизни умеет применить эти знания и решить конкретную задачу, в то время как более смекалистый хорошист может решать задачи с гораздо большей лёгкостью. В конечном итоге важно качество реализации, а не уровень знаний автора, и здесь явный просчёт вышеприведённого подхода.
К сожалению, как я писал в одном из комментариев выше, я совершенно не представляю как адекватно перенести в онлайн информацию о количество и качестве успешно выполненных оффлайн-проектах.

Как вариант, можно создать более продуманную сертификационную систему, которая будет проверять не только знания, но и практические навыки. Разумеется, сложность создания такой системы будет превышать сложность создания систем уровня brainbench, а у нас в России сейчас и таких-то нет.
вариант интересен. Однако, я думаю профи, тратить время на сертификацию будет только если ему это очень-очень надо. Нужно сделать так чтобы автоматически определялось за счет уже ранее проделанной работы. К примеру участие в каких-то опенсорс проектах. опять же определять важность таких проектов. Ну а вообще было рульно сделать глобальную экспертную систему поиска людей и определения их навыков, знаний, прочего.
По-моему, во всех цивилизованных странах со сложившимся рынком труда, сертификация является краеугольным камнем развития профессионала на определённом этапе.
По поводу автоматического определения профессионализма на основе участия в опенсорс-проектах — я не думаю что это возможно, да и правильно тоже. Во-первых, далеко не все могут позволить себе (экономически) активно заниматься в опенсорс. Во-вторых, совершенно невозможно извне определить уровень профессиональности вклада данного конкретного человека, а изнутри такая оценка будет субъективна в рамках профессионального уровня участников самого проекта.
Что касается глобальной системы, то сложность этой задачи представляется мне огромной. Если уж и начинать с чего-то, то сделать сертификационную систему уровня не ниже brainbench. Потом поднять уровень вопросов до тестирования практических решений (там подводных камней тоже тонны будут). Ну а потом уже, на очередном витке развития, можно будет думать о глобальной экспертной системе. Опять же, кто будет «судить» её? Люди с максимальным рейтингом? Но это опять же неправильно, т.к. эти люди будут тормозить развитие системы, потому что заинтересованы в сохранении своего рейтинга в новой его версии.
положите в основу — слово — ПРОГНОЗ, или ПРЕДПОЛАГАЕМАЯ оценка и станет намного легче. Точно (одназначно) оценить очень трудно, однако можно с достаточно большой вероятностью правильно сформировать оценку. К примеру относительно испольнителей на фрилансе сразу можно отсеять кидалово и новичков, и наоборот сформировать группу опытных людей. Вообщем было бы желание. Акцентирую еще раз, основная мысль — использовать глобальную базу накопленной информации и знаний.
положите в основу — слово — ПРОГНОЗ, или ПРЕДПОЛАГАЕМАЯ оценка и станет намного легче
Увы, не могу понять чем это поможет. Поделитесь?

К примеру относительно испольнителей на фрилансе сразу можно отсеять кидалово и новичков, и наоборот сформировать группу опытных людей.
Расскажите на какой основе?
1. станет легче тем что вы порог достоверности снижаете — соот-но упрощается решение задачи. к примеру, до определенного уровня, снизив всего на несколько процентов критерий правильного срабатывания — вы уменьшаете на много процентов сложность реализации.

2. на основе собранной с инета информации, с последующим матчингом под разными срезами и сортировкой
2. Вы действительно полагаете что подобное возможно автоматизировать?
думаю что это возможно, однако это не просто и делать это ради одного рейтингования у себя на сайте очень накладно будет по времени и ресурсам. вот если бы кто сервис такой общий сделал, это была бы тема…
Даже не представляю как это возможно технически.
Обычно, датамайнинг и экспертный анализ — это работа целых отделов соответствующих фирм. Отделов, в которых сидят не просто люди, но профессионалы.
По-моему, для адекватной оценки нужна удобная система публикации портфолио и рекомендаций от других участников, может быть, даже система документации заказов прямо на сайте. Например, не известный мне чувак берётся выполнить работу. Я смотрю в его профиле список завершённых проектов с описаниями (хотя бы краткими) и комментариями заказчиков (может быть, и всех желающих), читаю хвалебные (и наоборот) отзывы в целом о человеке как исполнителе. Если доверяю кому-то из подписавшихся, составляю мнение, если оно хорошее, начинаю общение с чуваком, если сделка заключается, задача повисает у него в профиле как текущая, в результате работа автоматически добавляется в портфолио, а я вписываю свой комментарий.

А звёздочки (для ускорения оценки при просмотре профиля) пусть проставляют специально подобранные администрацией профессионалы (общепризнанные, которым доверяют все) за отдельную плату со стороны желающего получить погоны =) Но в таком случае придётся воевать со связями и взятками…
читаю хвалебные (и наоборот) отзывы в целом о человеке как исполнителе. Если доверяю кому-то из подписавшихся, составляю мнение, если оно хорошее, начинаю общение с чуваком, если сделка заключается, задача повисает у него в профиле как текущая, в результате работа автоматически добавляется в портфолио, а я вписываю свой комментарий.

Очень велика вероятность, что ни у одного из потенциальных подрядчиков нет оценок ни от кого, кому вы доверяете (вообще говоря, вероятность таких совпадений довольно мала). К тому же такой подход отсекает всех вновьпришедших. Плюс те проблемы, что вы упомянули в конце. В результате получим опять «тусовку» и топ-10 наиболее ангажированных, которые снимают сливки. Всё как и есть сейчас.
Нет тех, кому доверяю? Оцениваю сложность и сроки завершённых проектов. Новичкам можно доверить что-то несложное задёшево, если справляются, добавляют эту штучку в копилку и потом погут получить посложнее. Если не справляются, им тут не место.

У тех, кто постоянно в теме, со временем будет всё больше знакомых. Если общество не подаёт признаков честности, рейтинги всегда будут врать и их следует отключить =)
Предлагаю подумать, а можно ли отказаться от двух полярной модели рейтингов? Как пример: нуль даёт наименьше права, минус даёт привилегии X, плюс даёт привилегии Y. Новичок либо в течении испытательного периода имеет 1 (специальный рейтинг или «права»), или какого-то уровня минус или плюс.
Мысль звучит свежо. Не приведёте более конкретный пример? Возьмём для примера фрилансеров.
Для начала опишу задачу рейтинга на сайте для фрилансеров и их работодателей, что не так — поправляйте.
Зачем нужен такой сайт работодателю — найти исполнителя в а) нужной области, б) с нужным уровнем, в) подходящими ценами, г) прочее (быстродействие, исполнительность, понимание проблемной области, умеющий предложить решение проблемы [вытянуть ТЗ] и т.п.).
Для фрилансера — это найти а) интересный для него проект, б) подходящий по бюджету
Т.е. что для клиента, что для фрилансера важно найти не лучший, а оптимальный по его критериям.
Задача сайта (и рейтингов) не простое, линейное ранжирование плохой/хороший (новичок/профессионал), а определения готовности успешного решения определённой задачи.
Итого: рейтинг не должен служить цели членометрии среди своих, а для заказчика, что бы он мог быстро найти оптимального исполнителя для своей задачи/проблемы. Подойдёт ли для этого числовое отображение рейтинга? Нет, т.к. непонятно в чем выражаются эти числа (размерность).
И линеен ли рейтинг? Т.е. фрилансер с рейтингом 100 сделает работу в 10 раз быстрее, чем фрилансер с рейтингом 10?
вне зависимости от способа подсчёта «волшебных баллов» к самой системе рейтингования должно быть приложено описание сути подсчёта. Чтобы человек глядя на цифру чётко представлял себе, что за ней спрятано, а не просто сравнивал величины пиписек Пети и Васи.
имхо, универсальное рейтингование — бессмысленно
Sign up to leave a comment.

Articles