Как стать автором
Обновить

Комментарии 175

Зачем странички форума, если есть rss + стандартизированное название темы? :)
По крайней мере мне этого хватает вполне для извлечения всей нужной информации.
rss-фид вида: somerssurl/?director=lynch;country=usa ну и так далее, хочу однажды забить поиск, получить url фида и получать torrent'ы подходящие под критерии поиска. пределом мечтаний было бы реализация всего набора булевых операторов(and,or,not) в фиде.
И предлагаю завязаться тогда на какой-нибудь imdb id, чтобы торрент-клиент мог мониторить указанный выше рсс, и, встретив id фильма, которого у меня ещё нет, качал бы его. В поле «название фильма» могут и с ошибками написать, поэтому я бы не стал ему доверять.
Кстати да, даёшь метаинформацию, завязанную на внешние источники!
Да, с этого стоит начинать тогда. И только после пометки всех существующих торрентов делать фильтрацию по ней.
разумно, согласен. Но ведь встаёт одно, но важное, но… мотивация релизёров. Не думаю что все полезут на imdb.com за id. Хотя проблему конечно могу решить грамотно написанные «пауки».
У рутрекера и сейчас весьма жесткие правила оформления раздач. И именно поэтому его любят — реже встречаешь кота в мешке. Так что это оправданное требование, которое ненамного усложнит оформление.
Ну, это уже от интерфейса зависит. Релизер может вбивать название на английском и год выхода, а ему аяксом подтянутся на выбор варианты. Думаю, что в 99% случаев будет предлагаться только один фильм.
Лучше уж сразу imdb id вбивать, а ajax'ом вся информация о фильме подтянется.
Точно :)
Но вообще, изменить привычки людей сложно, лучше сделать оба варианта, в зависимости от того, в какие поля вбито, то и подтягивается.
IMDB id вещь конечно интересная, учтем. Однако сразу вижу две негативные вещи. Во первых это англоязычный ресурс, и его знают далеко не все. Во вторых это частный случай элемента API только для фильмов, причем только для тех, которые есть на IMDB.

Можно брать только рейтинг и мелочи вроде жанра. Или с кинопоиска брать информацию.
Мне, например, нужен такой API, именно для фильмов (и сериалов).
Чтобы была возможность сгенерить ссылку на рутрекер (или сразу забрать .torrent) по запросу качества и id фильма. Или качества, жанра и года.

Не знаю, какие API и для чего можно использовать кроме как для фильмов (и, возможно, музыки).
там же вроде стали появляться переводы (хотя местами оставляют желать).

Кстати, это может быть темой для сотрудничества с IMDB, если конечно, будет интересно.

На мой вкус, общее API должно быть максимально простым, скажем — грамотно отдавать удобный rss, внутри которого помимо текста для человека — теги для программ.
А вот для каждого раздела, специфические вещи выносить в расширение этого простого API (скажем, в записях rss от разных разделов будут присутствовать разные специфические теги)
Если не rss, а RESTful — то можно что-то типа /раздача/id — как база, и /раздача/id/музыка-что-там, /раздача/id/кино-что-то-там и в таком духе.
может kinopoisk.ru ещё запрашивать?
если они, конечно, не будут против :))
кстати, а у кинопоиска есть API? ;)
Насколько знаю, нет. Да и, по-моему, это вовсе не обязательно, чтобы получать с него какие-то данные.
конечно не обязательно, но было-бы очень удобно.
Раз уж тут разговор об API ;)

Фактически, наличие API у хорошего каталога контента снимает кучу забот с трекера — просто используем уже готовое. По крайней мере на первых порах можно не сильно заморачиваться.
Я у них как-то про API спрашивал, так мне ответили, чтоб я посмотрел какие у них get/post-запросы отправляются и просто использовал их :).
если по get/post умеют отдавать json/xml с данными — то да, можно считать что api. Если html со всем (данные, разметка) — то API нет, только название.
В прошлом году мои друзья делали локальный торрент-трекер, и прикрутили к нему плагины, которые парсили Кинопоиск и IMDB — достаточно было ввести название фильма (в особо сложных случаях — адрес страницы фильма), а остальная информация подсасывалась автоматически. Это существенно упрощало оформление раздачи — ведь такие поля, как список актёров, описание фильма, год выхода — всё это заполнялось автоматически. Так что технически это осуществимо. Осталось только это реализовать.
НЛО прилетело и опубликовало эту надпись здесь
Хотя проблему конечно могу решить грамотно написанные «пауки»

Поле для ввода названия фильма автоматически могло бы подгружать с IMDb или KinoPoisk.ru список наиболее релевантных, при клике по конкретному — автоматически заполнять все метаданные.
Думаю, это только на пользу и пользователям, и релизерам, и администрации.
Кстати да, было бы неплохо иметь какую-то систему для поиска по уникальному идентификатору, а не по названию. А то бывают случаи, когда с ними большие проблемы. А если мониторить автоматически — нужна возможность указывать требуемое качество и размер.

Вообще, по хорошему нужна метаинформация по раздачам и поиск по ней, поскольку поиск по тексту сообщения неудобен.
ага, и сайтам типа кинобазы было бы легче
Я этого почти добился с рутрекером и flexget. Единственный не решенный момент — параноидальное отношении администрации форума к попытка скачать торрент не со страницы форума :(
Очень нужен RSS-фид обновлений конкретного торрента, чтобы сразу было видно, когда его перезаливают. При этом чтобы в этом фиде не было ничего другого, типа ответов в тему и т.д.
tvfedor.ru
Я в курсе. Но если бы это было в самом rutracker-е было бы гораздо лучше. Да и возможностей гораздо больше.
Тогда уж лучше возможность добавлять торренты в «Избранное» и фид на изменение этих торрентов.
Потому что на все торренты фидов не напасешься.
Согласен. Вместо фида по каждому торренту (это ж какая нагрузка то будет на сервер!) целесообразнее сделать уведомление на e-mail после подписки / добавления в избранное более гибким (отдельные опции «уведомление об изменениях раздачи», «уведомления о комментариях» и т.п.).
простите, но например mTorrent не умеет читать e-mail, а вот rss — вполне умеет.

Объединение пачки раздач в один пользовательский фид «избранное» (или «подписка»)- по идее даст меньшую наргрузку на сервер, хотя это всё считать нужно. Например обновление rss-фида совсем не обязательно прям online выдавать, меня устроит раз в 15 минут, или даже раз в пол часа.
Я предлагаю e-mail уведомления в рассчёте, что их будет читать всё-таки человек.
У вас там торрент-ферма что ли? Не понимаю, зачем такой уровень автоматизации, когда торрент-клиент уже начинает своей жизнью жить.
насколько нужно человеку узнавать об обновлениях, если это всё может делать программа? Например я не слежу за выходами новых серий на лостфильме — это вместо меня делает программа. И всё остальное, тоже она делает.

«Такой уровень автоматизации» — это то, чем занимаются все монстры индустрии производства контента — упрощают способы доступа человека к контенту.

Если это сериал, то человеку удобно приходить домой, и просто начинать смотреть новую серию. Жизнь моего торент-клиента полностью мне подконтрольна, никакой «своей» жизни у него нет :)

Какие rss читать, как часто их проверять, откуда что качать автоматически, откуда скачать автоматически торрент-файл, но не запускать в раздачу, при каком рейтинге уходить с раздачи, в какие каталоги складывать — всё просто. Один раз настроил — и просто получаешь удовольствие.
С трекерами, которые отдают RSS (хоть в каком-то виде) — настройка mTorrent — это заполнение трёх-пяти полей в диалоге RSS Downloader.
С раздачами на rutracker нужно либо пользоваться сторонними сервисами которые «оборачивают в rss», либо руками.

Поэтому, при наличии аналогичных раздач на трекерах с rss «из коробки», предпочитаю их. Это, конечно, если мы говорим о трекере.

Совсем другой разговор — если это общение людей на форуме.
Да, конечно, приятно получать комментарии в почту. Но простите, комментарии — это не трекер, это форум. Это про людей, про общение, а не про торенты и раздачи файлов.
Я не возражаю против улучшения жизни людям, но хочу обратить внимание, что это две разные задачи. И решать их нужно отдельно.
e-mail уведомления об изменившихся торрентах (заметьте, не комментариях к торрентам) нужны тем людям, которые как вы не качают обновляющийся контент на полном автомате
сколько таких людей?

на всякий случай повторюсь — не обязательно качать контент на автомате, в том-же mTorrent это птичка «запускать автоматически». Можо просто получать новые торенты автоматически. Таким образом из цепочки трекер-клиент исключается e-mail, и необходимость его читать глазами.

Все новые торенты будут уже в клиенте, останется просто нажать «Start».

И таки еще раз — я не против того, чтоб хоть всё иметь возможность высылать по e-mail. Я о том, что не всегда это имеет смысл, что для получения контента есть более удобные средства, которые уже реализованы в клиентах, и популярны среди пользователей.

Наш спор, на самом деле пустой. Достаточно повесить на неделю-две опрос вида
Вам удобнее получать обновления торентов
( ) по e-mail
( ) rss
и собрать реальные мнения реальных пользователей :)

Я с удовольствием схожу и выберу пункт «rss»
Достаточно повесить на неделю-две опрос вида

и собрать реальные мнения реальных пользователей :)

Ха-ха, аргумент! Т.е. если поклонники редкого качания и уведомлений по e-mail всё-таки будут, то их потребности вообще никому не интересны?
почему не интересны? Интересны. Но четко будут видны приоритеты, что делать в первую очередь, а что во вторую. По сути, именно этого тут и спрашивают, но с технической стороны, учитывая аудиторию Хабра.

Не вижу принципиальных проблем спросить свою аудиторию напрямую, и узнать мнение простых пользователей.

Довольно часто продвинутым пользователем нужно совсем не то, что простым людям :)
Я о том, что не всегда это имеет смысл

Я, конечно, понимаю, что вы всё по себе меряете…
у меня даже есть футблока с надписью «Я нерепрезентативен» :)
Собственно, такие rss можно точно так же засунуть в любимый rss-ридер и читать их там глазами.
я не читаю RSS, это слишком время отнимает
а также RSS всех новых торрентов
все таки лучше с фильтрами… по автору, по наличию слова в заголовке, по жанру и т.д.
языку, качеству видео и аудио (в т.ч. DTS или нет)…
Как то не странно и не парадоксально, но понятия «новых торрентов» у нас нет. Потому что все раздачи проходят ручную проверку модераторами, и только после этого получают статус официальной раздачи. Это помогает бороться с фейками, дублями и т.п.

ЕTсть и подводные камни — человеческий фактор. Иногда по забывчивости или разгильдяйству модераторов статус «непроверена» может быть у раздачи очень долго.

Не будем забывать и о правообладателях. Какая то часть новых раздачь тут же закрывается их ботами.

Поэтому сама идея RSS «новых» раздач, хоть и лежит на поверхности, но над правильной ее реализацией пока еще думаем.

> Не будем забывать и о правообладателях. Какая то часть новых раздач тут же закрывается их ботами.

Моё предложение по API для rutracker.org — это отнять у правообладателей все API и прочие возможности банить раздачи на rutracker.org
да вы маньяк, батенька :}
По поводу API — как минимум нужно вынести в него все функции, доступные через веб-интерфейс. Т.е. грубо говоря, чтобы можно было написать программу, обеспечивающую полноценную работу с трекером, но без открытия его в браузере. А дальше уже смотреть, как это будут использовать, и развивать в зависимости от этого.

Кроме того, имеет смысл внимательно посмотреть в сторону интеграции с торрент-клиентами — какие средства интеграции они предоставляют и как это можно использовать.
НЛО прилетело и опубликовало эту надпись здесь
API — это всегда фрагментация и размен относительной популярности непосредственно сайта (если речь идёт о сайте) на абсолютную популярность сервиса в целом, вместе со всей инфраструктурой (альтернативными и новыми инструментами и т.д.).

Т.е. без API все пользователи сервиса пользуются им исключительно через сайт, относительная популярность сайта — 100%. С API же относительная популярность сайта, естественно, уменьшается. Но при этом, если всё сделано правильно, то увеличивается совокупная абсолютная популярность сервиса. Происходит это из-за того, что, во-первых, появляются альтернативные инструменты пользования тем же самым сервисом, и значит сервисом начинают пользоваться новые люди, которым было неудобно пользоваться сайтом, но стало удобно пользоваться этими альтернативными инструментами. Во-вторых, увеличивается информационный охват, о сервисе говорят больше людей, и, что более важно, более разные категории людей. Значит, увеличивается косвенная реклама сервиса.

Если всё сделать правильно, то даже при уменьшении относительной популярности сайта, его абсолютная популярность возрастёт.
Золотые слова! С вашего позволения процитирую их в следующем раунде переговоров с заказчиком)
Да без проблем :-)
Лучше тогда сразу ознакомьте заказчика с тем письмом Стива Йегге, которое стало событием месяца. Письмом о том, как надо Понимать Платформу.

Если рутрекер станет платформою — это будет ого-го.
не всегда. API — это способ реализовать конкретные цели.

Если цель — обеспечить более простую интеграцию с другими (сеайтами, программами итд), но сохранить посещаемость пользователей — будет одно API.
Если цель — «предоставить другой сопособ для всех» — то такое, как вы предложили — «всё, что можно в браузере».

Все что вы дальше рассказываете — вполне правильно, но начинать нужно таки с целей.
-иметь список скаченных раздач за все время жизни аккаунта
-иметь возможность проверить что из этого еще живо на компе (это уже плюшка а не необходимость)
-я думаю связать с апи виджет)
-кнопки рассказать друзьям в вк и фейсбуке + отдельно для копирования в буфер ссылка +краткое описание и вам реклама и меньше гемора с рекомендацией какую раздачу качать из всех)
-возможность общения с другими программами допустим чтоб пользователь имел -возможность программно(ищем по названию, отсортировать по кол-ву сидов отправить куда либо дальше список)
-а также фишку самообновления по запросу
Николай Авдовин
К первым двум пунктам можно ещё добавить:
-списки будущих и прошлых закачек
-раздачи, созданные пользователем или группой
(чтобы можно, например, было подписываться на новые релизы конкретного человека или группы, это может быть довольно удобным)
-[возможно] темы, в которых пользователь оставлял благодарности.
-список сидов и личей у конкретной раздачи

Таким образом, имея удобные структуры данных о пользователе и раздачах, можно реализовывать что-нибудь интересное.

Например, стоит подумать над такой идеей: поиск «связанных» раздач. Анализировать то, что скачивает пользователь, затем смотреть, кто из обитателей трекера часто скачивает то же самое и анализировать уже их информацию на предмет того, что можно посоветовать первому пользователю.

Таким образом можно удачно порекомендовать какой-нибудь фильм, музыкальную группу или книгу, ориентируясь на предпочтения группы людей. Это просто концепт, всё не так просто и алгоритм получится сложнее, а может и совсем другим. Но пользователям наверняка такая функция пригодилась бы. Тем более активных участников обмена много, так что подобное будет хорошо работать.
Как минимум те поля, что выдает поиск по трекеру, а также добавьте поля, видимые в самой раздаче:
— хэш раздачи (вот это ОЧЕНЬ желательно);
— размер раздачи;
— сколько раз скачали (необязательно);
— дата-время регистрации торрент-файла (вот это ОЧЕНЬ желательно);
— список сидов (вот это ОЧЕНЬ желательно);
— список личей.
А зачем вам список сидеров/личеров? Разве не достаточно просто их количества и, скажем, суммарной скорости? Для эстетов можно добавить дисперсию скоростей и максимальную/минимальную скорости.
— список сидов (вот это ОЧЕНЬ желательно);
— список личей.
Т-рищ майор, залогиньтесь.
Я и так прекрасно парсю страницу раздачи, но зачем грузить трекер выдачей мне всей раздачи, если можно получать только список, что, без сомнения, будет легче для трекера.
Это не ответ на вопрос, зачем нужен список сидов ;)
Пишу прогу, которая работает с данными раздач, в т.ч. ей нужен список сидов. Извините, если не указал ранее, но, разумеется, я не просто так попросил данный функционал.
Все равно непонятно, зачем кому-то нужен именно список сидов :)
API для поиска очень нужно!

Мне достаточно: название, размер, дата, количество сидов / личей, а ну и собственно url на найденную страницу.
Очень нужна возможность запретить удаление раздачи правообладателем. Когда меняли домен — помню было несколько текстов написано о том, что теперь они сами виноваты и больше не будем им идти на встречу. Через некоторое время всё скатилось до того, что относительно свежие фильмы проще найти на конкурирующих трекерах. Как вариант, можно отдавать ссылку на скачивание в RSS.
Колоссальное заявление про правообладателя, ничего не скажешь.
Для этого есть magnet линки. Можно не хранить файл торрента на сервере, но тогда будут проблемы с учетом рейтинга.
Нету рейтинга
Он больше ни на что не влияет, но считается.
Фрилич же вечный
Все равно можно им меряться.
RSS можно отдавать с паролём, как на турбофильме. Тогда будут отдаваться ссылки на скачку сразу с постфиксом юзера.
Я не думаю, что это возможно для магнет. А у него как раз суть в распределенности, удалить не получится просто физически.
Для файлшары торрент неудобен тем, что привязан к пользователям. В идеале должен быть комбинированный вариант, где «официальный» сервер является одним из сидов.

А вообще API лично для меня само по себе малополезно. Вот о чем я давно мечтаю — чтобы обновляемые торренты автоматически подхватывались, а то приходится по закладкам их искать.
То есть хранить всю информацию на сервере рутрекера!?
Как это? «обновляемые торренты автоматически подхватывались» Чем?
А рутрекер уже просто файлшара?

Клиентом. Для того же uTorrent, раз он теперь поддерживает плагины, можно сделать.
Хранить все и вся на сервере(-ах) очень убыточно.
Не все используют uTorrent. А на счет обновление раздач таких как сериалы, существуют специальные трекеры со своими плюшками.
Разумеется. Но именно для этого есть файлшары. Случаи, когда есть смысл использовать торрент без гарантированного постоянного источника раздачи довольно редки. Это должно быть что-то весьма популярное.

Не все, но очень многие.
На самом деле по моим оценкам, в том случае когда количество потенциальных скачек файла >100 уже можно смело использовать трекер вместо бесплатного хостинга.
Как вариант, есть сервис для отслеживания обновления раздач. Заносим к примеру темы с сериалами, которые смотрим. Если появится новая серия и торрент обновиться, на почту придет письмо с уведомлением.
Хотелось бы нечто подобное непосредственно от рутрекера.
Ну я сейчас просто закладки на онгоинги в отдельной папке держу, и когда клиент говорит что torrent not registered иду за обновой. Но иногда оказывается, что ссылка утеряна, и приходится искать заново.
У меня в трансмишене стоит ограничение — раздавать пока не достигнет 2x, потом стоп. В таком случае все равно приходится самому ходить искать обновления.
Эх, только вчера я думал об API, идея витает в воздухе)
Все равно надо скачать обновленный .torrent, скормить его клиенту и указать место где лежат старые файлы. И еще старый .torrent удалить.
Кому надо? Программе? А вам не пофигу? :))))))
Или вы хотите что бы у вас клиент сам понимал что раздача обновилась и он такой — хоп и уже обновлённую качает? :)
> клиент сам понимал что раздача обновилась и он такой — хоп и уже обновлённую качает?

Было бы неплохо имхо.
Как говорится «опционально бы»… Я бы не хотел, чтобы он без спроса хозяйничал у меня на винте…
Само собой, что опционально. Иметь возможность включить такую штуку лучше чем её не иметь :)
А что, это так технически сложно? Для сервера — один новый стейт для трекера «обновлен», возможность получить от него ссылку на обновленный торрент. Для клиента — уметь получать этот торрент и качать его в ту же папку, что и старый. Если с выпендрежем — можно еще возможность прикреплять к обновлению скрипт чтобы переименовывать и/или удалять старые файлы для наведения порядка.
Разрешать такие скрипты — это опасно. Вот будет и релизера плохое настроение (или банально взломают его) и отправит он всем скрипт «rm -rf /».
Дык разрешать работу только в той папке, куда скачивается торрент, к которому относится скрипт.
Так в том то и дело, что требуется ещё и участие клиента, а кто этот функционал будет прикручивать к клиенту? Если какой то стандартизированный API появится в большинстве трекерных движков — тогда можно говорить о поддержке клиентами, а пока — несбыточные мечты.
А как вы думаете, откуда «какой то стандартизированный API» появится «в большинстве трекерных движков»? Магически и сразу везде? Сначала-то эта функциональность должна появиться хотя бы в одном движке трекера, потом в отдельных клиентах (и поначалу даже не в самих клиентах, а плагинами). А уже потом, когда идея распространится и станет популярной, её начнут внедрять в другие движки трекеров и в стандартную функциональность клиентов, можно будет говорить о каком-то едином API — причём практически наверняка он будет разработан в основном на базе API трекера, первым реализовавшего эту функциональность.
Я что то крайне сильно сомневаюсь что даже под рутрекер разработчики начнут затачивать свои клиенты. Вот если движуха станет массовой — разработчики задумаются, а так — крайне вряд ли.
У меня всё именно так и происходит. Понимает, что раздача обновилась, скачивает и шлёт на почту письмо о том, что можно, придя с работы, посмотреть новую серию сериала. Плюс ко всему, мониторит появление интересных мне фильмов в HD.
Естественно, торрент-клиенту в этом помогают самописные скрипты. На мой взгляд, можно один раз заморочиться с написанием скриптов и больше не париться с отслеживанием выхода новых серий и их скачиванием.
А каким клиентом пользуетесь, если не секрет?
transmission-daemon + shell скрипты
Я вот там в начале собственно и дал пару линков на подобные скрипты, доведённые до некого «конечного продукта» :) Оттуда разговор и начался. Сам уже почти год пользуюсь — замечательно, учитывая то кол-во раздач за которыми я слежу :)
Пока не узнал об RuTracker Release Monitor расширении на хром, также приходилось хранить закладки на все сериалы и периодически пробегать по ним в поисках новых серий.
Спасибо!
Не совсем апи, но хотелось бы видеть схлопывание различных вариантов раздач с одним именем. Например, для музыки — это разные форматы. Я ищу какой-то альбом, в результатах поиска — 2 строки. Сам альбом и дискография. Сам альбом доступен в мп3-вбр, 320кбпс и флак (отдельные раздачи). Также для фильмов, сериалов, софта и тд. Это очень упростит поиск — не надо будет пролистывать тонны страниц результатов поиска для нахождения нужной раздачи. Кажется, так сделано на what.cd.
+ поддерживаю идею со ссылками на тематические сайты для музыкальных (discogs) и видео(imdb) раздач
Это по сути и требует метадаты с каким-то внешним индексом.
Поиск по хешу и выдача списка сидов. Конечно же этого не сделают, но некоторым мелким тематическим трекерам это бы помогло с раздачами, а крупным — помогло с редкими раздачами. Ну и в случае использования «ваших» сидов требовать лого на странице описания размещать или что-нибудь в этом духе.
API Хабрахабра позволяет узнать карму и рейтинг пользователя, а также его положение в топе. Например, сейчас мне достаточно открыть URL http://habrahabr.ru/api/profile/mithgol/ для того, чтобы увидеть:

<?xml version="1.0"?>
<habrauser>
<login>Mithgol</login>
<karma>50</karma>
<rating>372.57</rating>
<ratingPosition>6</ratingPosition>
</habrauser>

API rutracker.org также следует позволять пользователю лицезреть свой рейтинг в реальном времени (а также, быть может, и ряд параметров, влияющих на рейтинг: объём скачанного, объём розданного).

Во время фрилича всё это, согласен, малоактуально; однако в дальнейшем может пригодиться, и даже весьма пригодиться.
В трекерах некоторые объемы скачанного/отданного, а так же список раздач прячут. Нужна будет авторизация в отличии от хабра.
позволять пользователю лицезреть свой рейтинг в реальном времени

чтобы рейтингодрочерство процветало? %)
А какой вред в рейтингодрочерстве, если оно увеличивает объёмы сидирования?
Сделали бы вы для начала «свой» механизм для отслеживания обновления в раздачах.
SELECT * FROM tbl_topics ORDER BY update_time LIMIT 10

Или конкретный запрос для пользователя который скачал торренты с id: 1,2,3,4,5,6,7,8,9
SELECT * FROM tbl_topics WHERE id IN(1,2,3,4,5,6,7,8,9) ORDER BY update_time LIMIT 10
Тут суть не столько в получении из базы, сколько в удобной системе получения обновлённых торрент файлов.
Как пользователю мне нужно три функции:
— RSS для поиска, т.е. чтобы я мог оперативно видеть новые раздачи которые меня интересуют.
— Возможность получить хэш определённой раздачи.
— Скачать торрент файл.
Вторая и третья возможность необходимы, чтобы автоматически загружать обновляемые торренты, например сериалы.
Хорошая новость. А это только в планах или есть примерные сроки когда это будет доступно? Точно стал бы одним из первых пользователей бета-тестеров.
Вопрос же на обсуждение вынесен, прочтите внимательнее…
Общие, без авторизации

— Список категорий трекера в корне/в категории (ID, имя)
— Список раздач в категории (ID, имя, дата создания, дата обновления, размер)
— Информация о раздаче (ID, имя, хэш, размер, описание, кол-во сидов/личей, УРЛ первой картинки больше чем 64х64 пикселя)
— Поиск по части наименования (ID, категория, имя, дата создания, дата обновления, размер)
— Последние комменты по раздаче (ID, текст, автор)

Персональные, но не с логином а токеном (генерируемым идентификатором на страничке пользователя)

— Добавление раздачи
— Изменение существующей раздачи
— Скачивание торрент-файла по ID

Вообще желательно сделать это API открытым и независимым тогда клиенты могут с ним интегрироваться.
Например все хотят автоматическое скачивание новых серий в раздаче.
Формализовать требования к раздачам: по сути указать какая мета информация у какого раздела обязательна.
Например для фильмов это: оригинальное и локализованное название, год выпуска, режиссер, список актеров.
Для музыки это: исполнитель, год, тип (альбом/дискография),…

Принцип как в openstreetmap.
Список «полей» или «свойств» у каждой раздачи создающий должен выбирать сам (какие-то поля обязательные, какие-то нет решает администрация).
Для основных, обязательных свойств — приличный веб-интерфейс с выбором допустимых значений, для доп. свойст пойдет и простой список пар: название=значение.

По сути все, что сейчас хранится в первом посте раздачи должно быть доступно в виде справочника «параметр»=«значение».
Это практически невозможно. Дело в том, что контент в раздачах настолько разнообразный, что как либо формализовать требования к его оформлению нельзя, даже внутри разделов идут споры, какие то общие правила ввести просто немыслимо.

К этому стоит добавить такой момент, что контингент посетителей рутрекера, скажем так чуть выше среднего по интернету. Это значит что если мы хотим получать больше новых раздач, нельзя ужесточать требования к ним: это отпугнет новых релизеров.
А если подумать на тему краудсорсинга/вики и т.д.? Т.е. чтобы обычные пользователи могли каким-то образом редактировать описания, а модераторы (а может быть и релизер — тут вопрос) просматривали эти изменения и либо разрешали их, либо нет. А если отказаться от премодерации (хотя бы для пользователей, проходящих по каким-то критериям — скажем, как давно зарегистрировался и сколько раздал), то постмодерацию можно возложить на тех же самых пользователей, как это делается в вики.
Хоть это и не по теме API но всеже.

Как я уже писал выше — аудитория рутрекера — на «волосок выше средней по интернету». Ее даже приблезительно нельзя сопоставить с аудиторией, например, Хабра. Это означает сотни тысяч школьников, малограмотных студентов, неадекватов, среди которых есть ну очень «интересные личности» ботов, роботов и криворуких скриптов всех мастей и видов. Если всему этому разрешить редактировать раздачи «как на вики» — то получим такой бардак в котором не одна тысяча модераторов ногу сломит.

Кроме того, описание раздачи — вещь всегда в чем то субьективная. И дав возможность кому то править то что сделал другой мы породим массу конфликтов.
Я бы сказал, что аудитория википедии тоже не сильно отличается — а там это вполне работает, — но не буду ;-). Ведь дело даже не в этом. Я же написал — можно же ввести некоторый ценз, возможно даже с градацией. Раздал сколько-то гигабайт — можешь редактировать/добавлять простейшую метаинформацию. Создавал свои раздачи и раздал на них столько-то гигабайт — можешь редактировать описания. Являешься top seeder-ом — можешь видеть предложения по изменению метаинформации и аппрувить их. Модератор — можешь видеть чужие изменения описаний и аппрувить их. И т.д.

Просто обратная связь (структурированная и постоянная!) с как можно большим количеством пользователей — это абсолютное благо и её надо использовать по максимуму. Ну и толпа хомячков при правильном её использовании — страшная сила ;-).
Естественно, что сразу всего не получить; но с чего-то начинать нужно. Для начала допустим в разделе фильмы будет 2 обязательных поля: название и год выпуска, остальные кастомные. и одно большое поле с описанием (по сути это сейчас текст первого поста).
При этом все эти «поля» должны определенным образом рендериться, опять же как это сделано в openstreetmap. Допустим поле imdb будет автоматом представлять из себя логотип imdb с рейтингом фильма, если есть поле ссылка на описание на кинопоиске или еще куда-то: показываем в виде логотипа или ссылки. Фамилия актера ведет на старницу в той же imdb.

Психология человека такова, что он будет стремиться к «украшательству». Чем больше таких фенечек, свистелочек и перделочек вы им предоставите, тем больше ими будут пользоваться. Поначалу не всегда адекватно (но разве все раздачи сейчас сразу правильно оформлены?)
Вторая особенность человека в том, что он ленив. Если будет альтернатива: руками оформлять каждое поле (чтобы раздача соответствовала правилам оформления) при помощи bb кодов, либо просто в форме добавить несколько полей и выбрать их значения, то постепенно люди начнут пользоваться формами.

В основе этих свистелок у Вас будет лежать прично формализованная БД, которую можно будет много где использовать.
так пусть спорят — почему нет? Если есть активные люди, которые готовы аргументировано отстаивать свою точку зрения — почему нет?

Для API важно, чтоб результатом их споров было некое формальное описание, которое будет легко выдать наружу как параметр=значение (например).

Для такого разнообразного контента API должно быть многоуровневым и расширяемым. Минимальный: id раздачи (хеш, что там еще есть у всех торрентов), ссылка на торрент-файл, ссылка на пост, и может быть даже текст первой записи — у всех.
Дальше, мета-информация, которая от раздела к разделу может меняться.

Если брать примеры в том-же XML — для каждого раздела свой namespace, в котором определен набор тегов возможных, среди них обязательные. Всё это можно отдать активистам — почему нет?

А человеку который соберется подключиться через это API, будет понятно, что
1. XML
2. вот это есть всегда
3. в каждом разделе есть свой набор тегов, которые понятно откуда брать

(если не XML, то что-то другое — не суть важно)
Я уже джва года жду такую программу: я прихожу домой, а новая серия доктора Хауса, или гонки MotoGP скачена, остается только посмотреть. Что-то вроде подписок/обновлений, причем источник тут не сильно важен (торренты или что-то еще).
пока вы ждете — остальные уже пользуются :)
Откроете тайну?
tvfedor.ru :)
Спасибо. Посмотрел что вроде можно клиент таким образом чтобы файлы из rss рассылки скачивались автоматически. Это уже близко к тому что хочется. К вопросу об API: видимо получение различного рода обновлений довольно популярный запрос.
ну смотря какой у вас клиент
у меня цепочка
tvfedor+yahoo pipes+собственный скрипт, который логинится на rutracker+TorrentWatcher-X на попкорне
А можно ссылку на ваш yahoo pipes?
И в каком виде ваш скрипт автологина? Хотелось бы в виде юзерскрипта, который можно было бы скормить лисе (скриптишу или грисманки).
скрипт — на appengine, по адресу на rutracker выдает .torrent файл
пайп просто заменяет оригинальные урлы на ссылки на мой скрипт. ссылку на него по понятным причинам дать не могу :)
Нда. Совсем мечтой было бы сделать плагин для utorrent-a который бы спрашивал логин и пароль для рутрэккера и чтоб уже не заходя на сайт можно было ориентируясь по rss-кам выбирать раздачи, добавлять какие-то из них в «избранное», после чего юторрент периодически проверял бы наличие обновлений в этих раздачах и автоматически бы скачивал их… эх, сказка.
моя штука должна работать и для мюторрента тоже
если есть навыки работы с пайпами и аппенжином — могу поделиться исходниками
раздачи добавляйте в федора
С пайпами навык работы есть, а вот appengine даже и не знаю что это. Этот тот который Google AppEngine? Если да, то там для регистрации требуется вводить номер мобильного, а мне моя паранойя никогда не позволит добровольно отдать корпорации добра такую информацию.
А вообще я говорил про плагины для utorrenta — он же с 3-ьей версии стал поддерживать «apps». Вот хорошо бы было иметь хоть один действительно полезный app для него.
А поделитесь?
Спасибо!
Хотелось бы иметь возможность поиска по трекеру, а то сейчас приходится отслеживать изменения «дизайна». Идеально, конечно, если бы все подключили одинаковое API, то есть должна быть легкая установка и интеграция, а значит какая-то «расширяемость»: например у одного трекера не хранится количество пиров, а значит он не будет их отображать, чтобы такое было предусмотрено. И так можно расширять до бесконечности: описание, актеры, наличие субтитров, формат кодека, контейнера, поддержка описаний и названий на разных языках.
Очеь желательно получать ссылку не только на страницу с описанием, но и на скачку торрент-файла (пусть даже с авторизацией). Поиск, конечно, хочется свободный, без необходимости регистрации, или с простейшей авторизацией (логин+пароль прямо в запросе, без кук и тому подобного).
Определитесь, какую конкретную задачу вы хотите решить, и тогда можно будет ответить, какой нужен API и с его ли помощью вообще решается ваша задача. Вот вы пишите

>> Также есть некоторое количество программ и плагинов, которые чтобы получить нужную информацию напрямую, старательно парсят странички форума.

Если ваша задача — упростить им задачу, то посмотрите, какую именно информацию дергают такие программы и сделайте для этого API.
Это очевидная и лежащая на поверхности задача. Насколько я понимаю, в рутрекере хотят посмотреть несколько вперёд и спросить у народа (как раз делающего те самые программы и плагины) — а чего их душенька желает? Потому что далеко не все желания можно реализовать только парсингом html-страничек, как это сейчас только и возможно.
Люди желают, чтобы рейтингов/регистрации не было (на других трекерах это нормально работает) и раздачи не закрывали (этого в случае с рутрекером мы скорее всего не дождемся, по понятным причинам).
Насчет рейтингов и регистраций — сильно ошибаетесь. Внутри РТО есть мощнейшее лобби, требующее вернуть рейтинг и сделать регистрацию по инвайтам. Как здесь.
А чем закончилась история с судебными исками к torrents.ru? Или от вас отстали взамен на согласие по первому же требованию закрывать раздачи на рутрэккере?
А что если подумать более радикально, чем RSS новых раздач и интеграции с базой IMDB? Вы пишите про обмен файлами, может позволить через API на более менее простом уровне создавать и выкладывать раздачи? Даже пусть не только торренты, а просто файлообмен с друзьями. Проблему сидеров можно решить выдавая какие-нибудь каналы (сидбоксы?) пользователям в аренду за плату или пусть сами в сидерах сидят. Если посмотреть дальше, что можно составить некую конкуренцию Dropbox и им подобным, конечно хорошо допилив протокол, создав API и промыв мозги пользователям :).
Небольшой оффтопик.
Доработать трекер что бы он отдавал ip адреса пиров того же провайдера. Для провайдеров у которых есть разделение на локальный и внешний трафик это позволит разгрузить внешний канал и переместить основной торрент трафик во внутреннюю сеть, увеличить скорость загрузки таких раздач. Отпадает необходимость в широком канале, несколько таких пиров совместно выкачают раздачу.
В профиле раздачи показывать сколько сейчас локальных пиров. Добавить пункт в настройках: запретить отдавать ip адреса других сетей, для пользователей лимитных тарифов.
Основная проблема — собрать базу диапазонов ip адресов провайдеров с белыми адресами.
Это вообще отдельная тема, достойная отделнього разговора. Если кратко- пробовали, работает, но не так хорошо как хотелось бы. А все дело в волшебных пузырьках DHT, который все потуги сетевой оптимизации сводит на нет. Трекер ведь по сути лишь инициирует старт раздачи, и на этом моменте еще как то можно оптимизировать списки пиров. Потом они уже сами друг друга находят и влиять на этот процес очень сложно
В спецификации .torrent-файлов есть опциональный ключ private, который запрещает поиск пиров через PEX и DHT. В этом случае список пиров можно получить только через трекеры, описанные в полях announce/announce-list этого .torrent файла.
С этим приватом раньше весело было (не знаю как сейчас) — трекер выдавал всего 50 пиров, и на популярных раздачах некоторые пользователи получали только личей с нулем скаченного, dht/pex не работают, результат соответствующий — крики в комментах что ничегонекачается при тысячи сидов.
А rss можно взять собственно с рутрэкера или с xpoft.ru/
Сейчас есть рсс и этого, на самом деле, достаточно.
Если на рутрэкере сериальные раздачи производились бы не добавление новых файлов в существующий торрент, а отдельно, все было бы намного проще и гибче, к примеру, для выборки этих самых же сериалов по критериям.
А так, даже наличие API не спасет, внтурь лазать все равно никто не будет.
В этих RSS нет ссылки на скачивание .torrent файла, только ссылка на страницу раздачи, где надо авторизоваться и только тогда будет доступна ссылка «скачать» .torrent файл.
Т.е. сейсас цепочка такая: RSS > Сайт > Торрент-клиент, а раз уж делают API то цепочка должна укоротиться до RSS > Торрент клиент. А так как многи торрент-клиенты понимают RSS, то для многих эта цепочка сократится вообще до 1 звена. Вот это было бы мега-удобно.
Комментарием выше ссылка на скрипт, который это все делает :)
Требований слишком много и слишком сложен процесс установки-настройки всего этого: требуется установить Python, установить FlexGet, скормить ему скрипт, чтобы он работал с RSS и в итоге FlexGet будет скачивать и отдавать .torrent файл торрент-клиенту. Я правильно понял схему работы?
Тем не менее — спасибо.
Хотя повторюсь — идеальным бы вариантом был бы плагин для utorrent.
И опять-таки — все эти сложности из-за того, что рутрэккер в своих RSS не выдаёт ссылку на скачивание .torrent файла, иначе бы и плагина не понадобилось — щас почти любой торрент-клиент работает с RSS.
плагин, который будет парсить «конкретную» РССку и по topicId генерировать ссылку на торрент.
топик rutracker.org/forum/viewtopic.php?t=topicID
ссылка .torrent dl.rutracker.org/forum/dl.php?t=topicID
ПРОФИТ?
Ему нужно ещё периодически логиниться, т.к. без авторизации — ссылка на скачивание не даст скачать *.torrent файл.
Мой вариант прост: API должен быть бесплатным! :-)
И JavaScriptоввым, чтобы верстая сайты для телевизоров можно быть его юзать.

Насколько я знаю, есть различные плееры BBK которые умеют качать фильмы с рутрекера. То есть, какой-то API там вроде-как используется, только вот какой…
Являюсь автором расширения для Firefox «Rutracker.Org Addons»:

rutracker.org/forum/viewtopic.php?t=1877183
addons.mozilla.org/ru/firefox/addon/rutrackerorg-addons/
habrahabr.ru/blogs/p2p/94240/ (статья немного устарела).

Как видно, расширению уже почти два с половиной года, по возможности я реализовал большинство просьб пользователей (более двух тысяч комментариев в теме на трекере). Могу лишь перечислить те причины, по которым мне приходится парсить страницы. Было бы, конечно, намного удобнее, если бы это можно было делать при помощи API, как я делаю в другом своём расширении по отношению к Живому Журналу.

1. Получение структурированного списка форумов и подфорумов (чтобы составлять в будущем запросы о новостях, а также узнавать обновления в структуре сайта), причём как всех форумов, так и форумов только для раздач. Сейчас мне для этого приходится парсить списки в формах поиска соответственно по форуму и трекеру.

2. Получение новых раздач в реальном времени по выбранным форумам (приходится парсить выдачу поиска по трекеру с опцией новых раздач с последнего посещения и с пометкой затем всех форумов как прочитанных при помощи кук). Единственный способ получать все новые раздачи без задержки и в полном объёме (с возможностью сразу автоматически загружать нужные торрент-файлы).

3. Суррогат подписки на комментарии при помощи разбора последней страницы темы и идентификаторов комментариев на ней — или старницы моих сообщений для слежения за темами, в которых отметился пользователь (что более экономно, поскольку одной страницей получаем последние комментарии в десятках тем).

4. Статистика пользователя при помощи парсинга профиля.

5. Наличие новых сообщений парсингом шапки на любой странице.

6. Получение UID пользователя парсингом ссылки на профиль.

7. Пользователи просили о возможности добавлять задания для автозагрузки на домашний компьютер из других мест (когда это почему-либо не хочется делать через веб-интерфейс к торрент-клиенту). Чаще всего они делают это, добавляя раздачи на страницу будущих раздач, потом расширение парсит эту страницу и передаёт торрент-файлы в папку автозагрузки клиента. Возможно, и для этой страницы можно было бы сделать API.

8. Думаю, полезным было бы также получать список раздач по UID пользователя.

6. Парсинг торрент-файлов для получения содержаний раздач.

Лично для меня удобнее всего было бы получать JSON в UTF-8 (API ЖЖ, например, выдаёт или пары ключ-значение, разделённые переводом строки, что очень неудобно, или XML, что довольно расточительно).
Хотелось бы что бы названия *.torrent файлов как-то соответствовали самому контенту. Сейчас они содержат ли какой-то мало информативный код.
Мне бы хватило, чтобы все что выводится пользователю(+ хеш торрента) можно бы забрать как JSON
Я как-то приложение для android делал — скачивает описания новых фильмов (критерии задаются в настройках) с kinobaza.tv, в оффлайне можно их просмотреть, отметить понравившиеся — при появлении их на трекерах в нужном качестве, на нужном языке и т.п. торрент-файл добавляется в персональную rss-ленту пользователя, откуда он автоматом и скачивается.
Хотелось бы чтоб что-то подобное и без kinobaza.tv можно было сделать (а то развитие своего api они приостановили).
Шёл 2011 год, а рутрекер всё думал, что форум и кривой поиск это лучшее, что придумали. Перейдите уже на нормальный движок, возьмите за цель лучшие по юзабилити трекеры — what.cd и waffles.fm. Ваши описания фильмов и прочая фигня никому не нужны, вы не сможете конкурировать с кинопоиском и имдб своим копипастом оттуда в определению ущербную структуру форума.
Видите ли в чем дело. С одной стороны, безусловно, дизайн форума устарел и требует доработки.

С другой стороны рутрекер — это не чей-то личный проект который делает на нем что хочет, это проект, который несколько тысяч людей (костяк форума) считают своим, привыкли к уже существующему его виду, и любые изменения приходится делать с оглядкой на общественное мнение. Которое, как вы знаете, очень консервативно. Это первое.

И второе: Почему вы так упорно приводите в пример imdb и кинопоиск? Рутрекер — это не специализированный фильмотрекер, хотя фильмы и составляют его львиную (и самую популярную ) его часть. Он ценен именно той огромной масса материала, которую на imdb и кинопоиске никогда нет, не было и не будет.

Именно поэтому интеграция с сервисамим по фильмам — это не самые приоритетные моменты, есть куда более общие задачи.
Спасибо за ответ, но он некорректен. Ни один большой трекер не является проектом одного-двух человек. В тех же моих примерах администрация менялась не один раз не в результате каких-то разборок или чего-то такого, а в итоге развития — люди сделали всё, что успели в своё свободное время и ушли, дав место другим. А ещё эти трекеры живут на пожертвования, не показывают рекламу и вообще не зарабатывают на ней деньги, потому что проекты построены из альтруизма и часто более демократичны в плане модерирования, чем рутрекер.

Второй момент — я вообще считаю, вам не нужны все эти описания со сторонних сайтов. Ну написал пользователь, копипастнул и всё. Если человек захочет, он сам найдёт всё в гугле, не надо вообще заострять на это внимание.

Третий момент — платформа устарела, да. При желании и должной сноровке можно связаться с администрациями трекеров и попросить у них совета. А то и получить от них их варианты движков, потому что это: 1) всё делается энтузиастами для энтузиастов; 2) у вас есть имя и некий авторитет; 3) стандартный трекерный движок в процессе допиливания под себя видоизменяется на 90%, то есть почти полностью; 4) и даже его придётся допиливать, скорее всего, под high load, потому что аудитория в разы меньше на этих трекерах.
НЛО прилетело и опубликовало эту надпись здесь
Может быть, я и опоздал к празднику, но тем не менее.

Мне бы очень хотелось интеграции в API функциональности «будущие закачки». Чтобы можно было манипулировать списком и доставать торрент файлы.
Ну как, есть подвижки? Очень хочется API…
И еще через год спрошу — будет API?
Все еще интересно, будет ли API

А API уже было или еще нет?

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации

Истории