Comments 68
Шикарно, обязательно попробую
Интересно. А поясните. Вот сказано, что минимальная цена задания — 1 цент. Вот я хочу разметить базу изображений тысяч на 50. По каждой картинке выбрать класс и всё. Это получается 30к, что явно является неадекватной ценой (такую базу разметить это дня два посидеть, выходит где-то 5 тысяч обычно если договариваться с каким-нибудь фрилансером).
Можно делать батчи по 10 картинок в задании? Как это тогда реализовано?
А в целом да, очень интересно. Часто старадаю от того, что сложно найти человека, который быстро базу может прочесать/собрать. Часто самому приходиться делать.
Можно делать батчи по 10 картинок в задании? Как это тогда реализовано?
А в целом да, очень интересно. Часто старадаю от того, что сложно найти человека, который быстро базу может прочесать/собрать. Часто самому приходиться делать.
Минимальная цена задания — 1 цент, в одном задании можно разместить 20-30… изображений, на Ваше усмотрение как заказчика.
Когда грузите задания — там и решаете, по сколько изображений разместить на одной странице.
Задания раздаются сразу многим, поэтому скорость разметки Вас тоже может порадовать.
Спасибо за комментарий!
Когда грузите задания — там и решаете, по сколько изображений разместить на одной странице.
Задания раздаются сразу многим, поэтому скорость разметки Вас тоже может порадовать.
Спасибо за комментарий!
50к картинок за 2 дня, серьезно? Я бы посмотрел на такого человека-макаку, способного бездумно сидеть 2 суток к ряду, чтобы разметить 50к картинок.
Домохозяйки, например.
А так же люди с ветки, посвящённой Толоке, с одного авторитетного форума.
А так же люди с ветки, посвящённой Толоке, с одного авторитетного форума.
На самом деле недавно размечал 11к фоток для тестирования Gooogle Vision Api.
50к можно обработать часов за 8 с учетом перекуров и отдыха глазам, особенно если ничего шокирующего в базе нет и помечать удобно.
50к можно обработать часов за 8 с учетом перекуров и отдыха глазам, особенно если ничего шокирующего в базе нет и помечать удобно.
Прикольно бывает повыполнять иногда полевые задания. И самому размяться, и копеечка капает.)
Во, кстати — давно интересно было. Кто такой Иван Драгомилов с картинки в заголовке поста? Насколько я понимаю, это тестовый пользователь. Сохранились ли предания, почему именно Иван Драгомилов и почему именно Турция?)
можно ли заказать распознавание капчи?
для распознавания капчи есть отдельные сервисы с пакистанцами и т.п. :) Ты отправляешь картинку через api тебе ее распознают и выдают ответ. ИИ не нужен :)
Такой тип заданий — не наш фокус. Про то, какие задания не подходят Толоке, можно еще почитать здесь
А что такого особенного в Швейцарии, что её отдельно выделили в пользовательском соглашении?
Сейчас «Толока» предоставляет только список полученных ответов на каждое задание, при этом вопрос их агрегации остаётся на усмотрение заказчика. Для обработки данных мы с коллегами используем Mechanical Tsar, в котором реализованы вероятностные методы оценки доверия к участникам: ZenCrowd, Dawid-Skene, и др. Применение таких методов обеспечивает более надёжный результат на тех же самых данных по сравнению с простыми эвристиками вроде «голос большинства» или «половина голосов».
На мой взгляд, при использовании «Толоки» очень важно создавать тестовые («золотые») задания. Это неприятно и скучно, но позволяет обучить участников и за счёт этого существенно повысить качество разметки.
Глючит страшно.
взять хотябы picpaste.com/stupidtoloka.png
причём значение переключателя ничего не меняет.
Или на задании с визитками оно меня уговаривало что на фото есть телефон хотя его там нет.
И это далеко не всё.
А я только 3 задания выполнил…
взять хотябы picpaste.com/stupidtoloka.png
причём значение переключателя ничего не меняет.
Или на задании с визитками оно меня уговаривало что на фото есть телефон хотя его там нет.
И это далеко не всё.
А я только 3 задания выполнил…
Не смотрите, что задания начинаются от цента, их много разных и с разной оплатой. С приходом опыта приходит скорость, которая не в ущерб качеству. Навык стабильно держится на высоте.
Мои любимые задания это «Фактчекинг» от заказчика Я.Кассиопея и «Обновление данных об организациях» от заказчика «Я.Единорог», достойная оплата за разумный объём работы, рекомендую к выполнению. Заказчики адекватные, работу не отклоняют без веской причины, инструкции к заданиям логичные и понятные.
Когда только начинал выходило немного, от неопытности и траты времени на инструкции. Сейчас получается делать $8/час, при должном старании.
Мои любимые задания это «Фактчекинг» от заказчика Я.Кассиопея и «Обновление данных об организациях» от заказчика «Я.Единорог», достойная оплата за разумный объём работы, рекомендую к выполнению. Заказчики адекватные, работу не отклоняют без веской причины, инструкции к заданиям логичные и понятные.
Когда только начинал выходило немного, от неопытности и траты времени на инструкции. Сейчас получается делать $8/час, при должном старании.
8$ / час!!! Как-то не реалистично
800 центов / 0,02 = 40 000 заданий за час!!!
Там есть и по 30 центов, делается легко и просто.
Да, ну. Простая трата времени. Лутше тратить время на изучение чего-то полезного. А такую работу нужно делегировать китайцам :)
Китайцы сейчас побольше наших получают :(
А как же домохозяйки двух популярных и легендарных республик?
Так же есть те, у кого с изучением чего-то полезного проблемы.
А как же домохозяйки двух популярных и легендарных республик?
Так же есть те, у кого с изучением чего-то полезного проблемы.
Только что выполнил задание на 0,06$ «Соответствие товарной категории запросу». И когда появяться задания с полие высокой оплатой? (заработал 50 опыта).
Работа всё-таки больше дневная и задания с более высокой оплатой висят днём.
А как вам это задание?
А как вам это задание?
Да все задания для людей не особо стремящихся к каким-то великим достижениям в жизни (: Не думаю что люди читающие хабр побегут выполнять эти задания…
Это непростое задание, и баллы навыка (опыта) у вас далеко не самые низкие. Неудачно просто выбрали.
А вообще, попробуйте другие задания, от других заказчиков. Толока, как и всякий краудсорсинговый проект, требует времени и терпения, чтобы втянуться, и получать стабильную оплату за, казалось бы, очень дешевые задания.
Поставьте себя на место исполнителя, прикиньте в уме, какое задание наиболее выгодное (сколько на него тратит заказчик, и сколько получаете вы), выбирайте его и приступайте. Через некоторое время вы поймете, как это просто — срубить бакс-другой за десять минут. И все в выигрыше.
А вообще, попробуйте другие задания, от других заказчиков. Толока, как и всякий краудсорсинговый проект, требует времени и терпения, чтобы втянуться, и получать стабильную оплату за, казалось бы, очень дешевые задания.
Поставьте себя на место исполнителя, прикиньте в уме, какое задание наиболее выгодное (сколько на него тратит заказчик, и сколько получаете вы), выбирайте его и приступайте. Через некоторое время вы поймете, как это просто — срубить бакс-другой за десять минут. И все в выигрыше.
То-есть поэтапного увеличения оплаты труда не предусмотрено
Занимательная математика на Хабре!
Не переключайтесь!
Не переключайтесь!
0.02 цента за задание?)
Довольно сложные задания, в плане формулировок. Попробовал из интереса несколько типов учебных заданий, выполнял всё максимально внимательно и прилежно, но в соответствии категорий товарам в Маркете, например, набрал около 50%. Как-то мы расходимся с составителем теста в понимании того, что к какой категории относится, при том, что я практически каждый вопрос сверял с инструкцией.
P.S. Блин, когда уже на всех сервисах Яндекса появится переключатель между аккаунтами? Я готов терпеть старый переключатель, где он ещё остался, но совсем без него тяжело: у меня рабочий аккаунт и личный и постоянно приходится переключаться. А вообще идеально было бы, если бы каждый сервис помнил аккаунт и подтягивал нужный, но это, понятно, практически нереально.
P.S. Блин, когда уже на всех сервисах Яндекса появится переключатель между аккаунтами? Я готов терпеть старый переключатель, где он ещё остался, но совсем без него тяжело: у меня рабочий аккаунт и личный и постоянно приходится переключаться. А вообще идеально было бы, если бы каждый сервис помнил аккаунт и подтягивал нужный, но это, понятно, практически нереально.
Прикольно! Недели две назад зарегистрировался, во время поездок на велосипеде с работы на работу и по городу получается выполнять 5-10 заданий, даже премию недельную в 4$ выдали! Только вывод на ЯД почему-то не работает… 2 раза пробовал оба раза reject…
P.S. Думал Толока это от фразы to lookup =)
P.S. Думал Толока это от фразы to lookup =)
class=«tasks__itm__price__descr»
Почему у Вас такой странный БЭМ?
Почему у Вас такой странный БЭМ?
Зашёл на https://toloka.yandex.ru. Я залогинен под Яндекс-аккаунтом. Нажал «Присоединиться». Мне на следующей странице сразу пишут:
«Ваш телефонный номер используется другим пользователем. » — хотя я никакого номера ещё не вводил. Ссылка «обратитесь за помощью в службу техподдержки» выглядит так: «https://toloka.yandex.ru/toloka@support.yandex.com», и, соответственно, снова выбрасывает на главную страницу.
«Ваш телефонный номер используется другим пользователем. » — хотя я никакого номера ещё не вводил. Ссылка «обратитесь за помощью в службу техподдержки» выглядит так: «https://toloka.yandex.ru/toloka@support.yandex.com», и, соответственно, снова выбрасывает на главную страницу.
Обратитесь, пожалуйста, в поддержку. Вам обязательно помогут!
Из любопытства попробовал выполнить тестовое задание по оценке релятивности выдачи карточек организаций, оказалось, что для этого нужно знать районы Москвы, хотя город указан в профиле. Логика составителей тестовых заданий для меня оказалась местами непонятна, например на запрос «аптека 24» представлена карточка круглосуточной аптеки №4, а от меня почему-то ожидается ответ «Полностью подходит», так как, цитата: «Аптека работает 24 (часа)». По-моему, ваши сотрудники со временем сами начинают мыслить как поисковые машины, и кажется теперь я наконец-то понял, почему при поиске организаций Яндекс временами выдает что-то не в тему.
т.е. вы реально считаете что когда человек пишет в поисковике аптека 24, ему надо аптека номер 24, а не аптека работающая 24 часа?
хех мда)
хех мда)
Я считаю, что в данном случае вероятен как тот, так и другой вариант, и для таких неоднозначных запросов там есть вариант «Не знаю».
Вот честно — я бы тоже подумал, что имеется в виду аптека №24.
Если мне нужна аптека, которая работает 24 часа в сутки, я так и напишу — «аптека круглосуточная» ;) «дежурная», в конце концов…
Если мне нужна аптека, которая работает 24 часа в сутки, я так и напишу — «аптека круглосуточная» ;) «дежурная», в конце концов…
Объясните, пожалуйста, подробнее юридическое основание выплат.
Из пользовательского соглашения получается, что все люди являются подрядчиками и оказывают услугу компании-резиденту Швейцарии.
Более того, оплата услуг производится в валюте.
Если человек оказывает услугу регулярно и за деньги у него получается систематический доход и необходимость регистрации в качестве ИП. О чём в соглашении лишний раз упомянуто. Также там упомянуто, что пользователь обязан зарегистрироваться в качестве ИП, если законодательство страны это подразумевает, с уплатой соответствующего НДФЛ и страховый взносов.
Правильно я понимаю, что ставка компании делается на то, что ФНС будут не интересны люди, регулярно получающие 1-2-5к руб. в месяц? Даже если по итогам года они не сдадут декларацию. Как относится к подобным выплатам валютный контроль? И контроль в соответствии с 115-ФЗ и др.?
Или есть какое-то другое юридическое объяснение?
Из пользовательского соглашения получается, что все люди являются подрядчиками и оказывают услугу компании-резиденту Швейцарии.
Более того, оплата услуг производится в валюте.
Если человек оказывает услугу регулярно и за деньги у него получается систематический доход и необходимость регистрации в качестве ИП. О чём в соглашении лишний раз упомянуто. Также там упомянуто, что пользователь обязан зарегистрироваться в качестве ИП, если законодательство страны это подразумевает, с уплатой соответствующего НДФЛ и страховый взносов.
Правильно я понимаю, что ставка компании делается на то, что ФНС будут не интересны люди, регулярно получающие 1-2-5к руб. в месяц? Даже если по итогам года они не сдадут декларацию. Как относится к подобным выплатам валютный контроль? И контроль в соответствии с 115-ФЗ и др.?
Или есть какое-то другое юридическое объяснение?
Не ходите Джон Донн проверять, после него живот болит
Небольшое пожелание по интерфейсу мобильного приложения, в частности задача разметки проигрываемого\непроигрываемого видео:
Сценарий со стороны пользователя (aka исполнителя) такой — поскольку цена за оценку 15 видео всего 1 цент, пользователь, ценя своё время, работает почти на автомате, понимая буквально с первых секунд проигрывается ли видео, поэтому старается сделать клик по радиобатону и кнопке «Далее» максимально быстро. Из-за этого случаются мисклики, я так неправильно оценил видео с котиками, например… каюсь каюсь =(. Предлагаю переделать радиобатоны в надпись «Проигрывается?» и кнопки «Да»\«Нет», желательно большие и желательно друг рядом с другом (по аналогии с тем как мы привыкли на десктопном приложении подтверждать действия в модальных окнах). Считаю что изменение интерфейса позволит минимизировать количество ошибочных оценок. Ну или повысить сумму вознаграждения =) но для бизнеса это плохой вариант.
Сценарий со стороны пользователя (aka исполнителя) такой — поскольку цена за оценку 15 видео всего 1 цент, пользователь, ценя своё время, работает почти на автомате, понимая буквально с первых секунд проигрывается ли видео, поэтому старается сделать клик по радиобатону и кнопке «Далее» максимально быстро. Из-за этого случаются мисклики, я так неправильно оценил видео с котиками, например… каюсь каюсь =(. Предлагаю переделать радиобатоны в надпись «Проигрывается?» и кнопки «Да»\«Нет», желательно большие и желательно друг рядом с другом (по аналогии с тем как мы привыкли на десктопном приложении подтверждать действия в модальных окнах). Считаю что изменение интерфейса позволит минимизировать количество ошибочных оценок. Ну или повысить сумму вознаграждения =) но для бизнеса это плохой вариант.
Сервис явно для домохозяек и людей не хватающих с неба звезд. Проще и безопасней получать деньги на обычной работе, а здесь себя чувствуешь жителем поднебесной.
А вот кстати, можно ли закидывать задания в сервис в риалтайме? Какой минимальный лаг между забросом и получением решения достижим (если пользователей много)?
Риалтайм сделать можно. Лаг зависит от типа задания, количества элементов на странице, сложности инструкции.
Например, мы получали время отклика в 3-4 минуты для модерации текстов по простым правилам.
Обратитесь, пожалуйста, в службу поддержки с описанием задачи, и мы подскажем, как это можно реализовать.
Например, мы получали время отклика в 3-4 минуты для модерации текстов по простым правилам.
Обратитесь, пожалуйста, в службу поддержки с описанием задачи, и мы подскажем, как это можно реализовать.
Оценка релевантности запросу крайне спорные задания. Выполнил тренировочное ради интереса.
Пара примеров:
Запрос «планета фитнес жулебино». В выдаче фитнес клуб этой организации в люблино. Выбираю что выдача «полностью подходит», поскольку у них нет клуба рядом с метро жулебино, а ближайший как раз в люблино. Система пишет, что запрос не подходит вообще, хотя он как минимум походит частично.
Потом запрос «агрокомбинат московский». В выдаче сайт под заголовком «агрохолдинг московский». Захожу на их сайт, вижу большими буквами «Агрокомбинат Московский». А система почему-то считает что запрос «частично подходит», поскольку «в запросе имелась ввиду промышленная область под этим названием». Чушь же.
Пара примеров:
Запрос «планета фитнес жулебино». В выдаче фитнес клуб этой организации в люблино. Выбираю что выдача «полностью подходит», поскольку у них нет клуба рядом с метро жулебино, а ближайший как раз в люблино. Система пишет, что запрос не подходит вообще, хотя он как минимум походит частично.
Потом запрос «агрокомбинат московский». В выдаче сайт под заголовком «агрохолдинг московский». Захожу на их сайт, вижу большими буквами «Агрокомбинат Московский». А система почему-то считает что запрос «частично подходит», поскольку «в запросе имелась ввиду промышленная область под этим названием». Чушь же.
При большом количестве материалов в задаче страничка в Хроме при прокручивании запросто умирает, делая невозможным выполнение задания.
> Популярное заблуждение: чем больше перекрытие, тем выше качество результатов. Как правило, это не так.
Приведите пример, когда это не так. Например, бывает ли при увеличении перекрытия качество хуже?
>Точность достаточно быстро стабилизируется с увеличением перекрытия, и мало для каких заданий обоснованно перекрытие больше 5 человек на задание.
«Стабилизируется» — это ограниченно сверху? Приведите пример, когда точность ограниченна сверху.
>Не совсем интуитивный факт: цена за задание в краудсорсинге практически не влияет на качество получаемых оценок.
То есть, если бы краудсорсеры автоматизировали свою работу, то вы бы получили ровно такой же эффект?
Правильно ли я понимаю, что такой эффект наблюдается только у краудсорсеров, а у экспертов, работающих за фиксированную зарплату в месяц такого эффекта нет?
>В Толоке, как и любом социуме, есть люди прилежные и внимательные, а есть — ленивые, недобросовестные и при этом умеющие писать скрипты.
>Основная задача: удержать в сервисе первых и как можно раньше найти и ограничить вторых. Для этого мы научили Толоку анализировать поведение исполнителей.
Вот я например считаю, что ограничить вторых невозможно. Так как вы не знаете, есть ли они, или успешно прячутся в каждом втором исполнителе. Этот момент в вашей публикации очень плохо разобран.
>У заказчиков появилась возможность автоматически выявлять и ограничивать тех толокеров, кто, например, отвечает слишком быстро, или чьи ответы не согласовываются с ответами других.
Ну так ведь на следующей итерации выживут только те, кто отвечает не слишком быстро и согласовывает ответы между собой и с результатами веб-поиска.
>Мы также добавили возможность использовать контрольные задания («ханипоты») и обязательную приемку перед оплатой. Причем приемку тоже можно упростить. Отдать задания одним пользователям, а оценку их результатов – другим.
Так как недобросовестные исполнители согласовывают свои ответы, в том числе на контрольных заданиях, то нет никаких ожиданий, что приемка не будет пройдена.
Нет ли у вас программы баг-баунти для тех, кто с помощью скриптов успешно пройдет проверки и приемки? Желательно, что бы награда была выше, чем потенциальная сумма, которую недобросовестный исполнитель может заработать.
Приведите пример, когда это не так. Например, бывает ли при увеличении перекрытия качество хуже?
>Точность достаточно быстро стабилизируется с увеличением перекрытия, и мало для каких заданий обоснованно перекрытие больше 5 человек на задание.
«Стабилизируется» — это ограниченно сверху? Приведите пример, когда точность ограниченна сверху.
>Не совсем интуитивный факт: цена за задание в краудсорсинге практически не влияет на качество получаемых оценок.
То есть, если бы краудсорсеры автоматизировали свою работу, то вы бы получили ровно такой же эффект?
Правильно ли я понимаю, что такой эффект наблюдается только у краудсорсеров, а у экспертов, работающих за фиксированную зарплату в месяц такого эффекта нет?
>В Толоке, как и любом социуме, есть люди прилежные и внимательные, а есть — ленивые, недобросовестные и при этом умеющие писать скрипты.
>Основная задача: удержать в сервисе первых и как можно раньше найти и ограничить вторых. Для этого мы научили Толоку анализировать поведение исполнителей.
Вот я например считаю, что ограничить вторых невозможно. Так как вы не знаете, есть ли они, или успешно прячутся в каждом втором исполнителе. Этот момент в вашей публикации очень плохо разобран.
>У заказчиков появилась возможность автоматически выявлять и ограничивать тех толокеров, кто, например, отвечает слишком быстро, или чьи ответы не согласовываются с ответами других.
Ну так ведь на следующей итерации выживут только те, кто отвечает не слишком быстро и согласовывает ответы между собой и с результатами веб-поиска.
>Мы также добавили возможность использовать контрольные задания («ханипоты») и обязательную приемку перед оплатой. Причем приемку тоже можно упростить. Отдать задания одним пользователям, а оценку их результатов – другим.
Так как недобросовестные исполнители согласовывают свои ответы, в том числе на контрольных заданиях, то нет никаких ожиданий, что приемка не будет пройдена.
Нет ли у вас программы баг-баунти для тех, кто с помощью скриптов успешно пройдет проверки и приемки? Желательно, что бы награда была выше, чем потенциальная сумма, которую недобросовестный исполнитель может заработать.
Сложилось впечатление, что вы сами используете бот.
Было бы нелогично с моей стороны поднимать эту тему, если бы я это использовал.
Меня не устраивает качество поиска Яндекса и я считаю, что бюджеты SEO составляют какую-то существенную часть выручки Яндекса, часть от этих SEO-бюджетов направляется и на такие вредности, типа ботнетов и исполнители Mecочhanical Turk.
С вашей точки зрения, любой, кто говорит, что в каком-то софте есть дыры, — хакер, который про эти дыры знает и хочет их использовать.
Это не так. Безопасность через незнание — плохая политика, Яндекс просто закрывает глаза на проблему, типа раз никто не заявляет, что этим пользуется, значит такого явления не существует. Очень недальновидная политика.
Меня не устраивает качество поиска Яндекса и я считаю, что бюджеты SEO составляют какую-то существенную часть выручки Яндекса, часть от этих SEO-бюджетов направляется и на такие вредности, типа ботнетов и исполнители Mecочhanical Turk.
С вашей точки зрения, любой, кто говорит, что в каком-то софте есть дыры, — хакер, который про эти дыры знает и хочет их использовать.
Это не так. Безопасность через незнание — плохая политика, Яндекс просто закрывает глаза на проблему, типа раз никто не заявляет, что этим пользуется, значит такого явления не существует. Очень недальновидная политика.
Что если у меня какой то кастомный таск, например обвести объекты рамкой или выделить точки?
К Толоке в ее нынешнем виде очень подходит вот этот отрывок из рассказа О'Генри:
Платить за задачки по 1 центу, заставляя людей делать по сотне задачек в час (!), — это значит относиться к человеческому мозгу как к машине. Цена задания должна зависеть от количества классов, на которые надо разбить данное множество объектов, и параметров, по которым определяются эти классы. А она не зависит и ставится как-то… от фонаря. Спрос на одноцентовые задания, оцененные явно несправедливо, показывает, что у нас в стране, да и на братской Украине, безработица приняла слишком крупные размеры…
Несомненно, отчасти помочь этой беде посредством Толоки — хорошее дело. Но задания надо оценивать выше и по справедливости — пропорционально их сложности.
Как я уже сказал, мне снилось, что я стою недалеко от кучки ангелов зажиточного вида, и полисмен взял меня за крыло и спросил, не из их ли я компании.
— А кто они? — спросил я.
— Ну, как же, — сказал он, — это люди, которые нанимали на работу девушек и платили им пять или шесть долларов в неделю. Вы из их шайки?
— Нет, ваше бессмертство, — ответил я. — Я всего-навсего поджёг приют для сирот и убил слепого, чтобы воспользоваться его медяками.
Платить за задачки по 1 центу, заставляя людей делать по сотне задачек в час (!), — это значит относиться к человеческому мозгу как к машине. Цена задания должна зависеть от количества классов, на которые надо разбить данное множество объектов, и параметров, по которым определяются эти классы. А она не зависит и ставится как-то… от фонаря. Спрос на одноцентовые задания, оцененные явно несправедливо, показывает, что у нас в стране, да и на братской Украине, безработица приняла слишком крупные размеры…
Несомненно, отчасти помочь этой беде посредством Толоки — хорошее дело. Но задания надо оценивать выше и по справедливости — пропорционально их сложности.
Sign up to leave a comment.
Яндекс.Толока. Как люди помогают обучать машинный интеллект