Как стать автором
Обновить

Комментарии 123

Все больше проникаюсь уважением к командной строке.
НЛО прилетело и опубликовало эту надпись здесь
НЛО прилетело и опубликовало эту надпись здесь
НЛО прилетело и опубликовало эту надпись здесь
Оффтоп, но попробуйте использовать lftp - вполне комфортно, функционально и многопоточно. :)
Зачем?
В очень многих случаях то увеличивает скорость скачивания, часто в десятки раз..
По моему опыту закачка в несколько потоков увеличивает скорость, только если сервер принудительно ограничивает скорость для одного потока. Но такое, слава Богу, встречается крайне редко. Поэтому для меня wget - отличный менеджер загрузок.
Не только. В случае с широким каналом и большим пингом скорость в 1 поток будет скорее всего намного меньше чем в несколько. Широкий канал и большой пинг может быть как у юзера, так и в ДЦ где стоит сервер, так и где-то между.
При скачивании из Укр. ДЦ из России (через Германию) такое наблюдается почти всегда (думаю это далеко не единственный случай подобной ситуации)
НЛО прилетело и опубликовало эту надпись здесь
Скорость скачивания больше зависит от ширины канала и технических особенностей функционирования сети по обе стороны, нежели количества потоков. Если всё как надо, то и со 100 мбит линком в один поток качается на пределе возможностей.

Многопоточное скачивание для достижения повышенных скоростей - это, имхо, больше маркетинговый ход. Выше головы всё равно не прыгнуть.
НЛО прилетело и опубликовало эту надпись здесь
Так может это ограничение на сервере установлено не просто так? Ты что - хочешь обмануть сервер?
Из-за таких многопоточных качальщиков приходится ограничивать число коннектов с одного ИП.
НЛО прилетело и опубликовало эту надпись здесь
Умеет с незапамятных времен читайте ман на тему ключа range, тока нафиг это баловство (скачивание в несколько потоков) не надо...
Нет в чистом виде не умеет и ключа такого нет.
Посмотри тут, вроде скрипт простой чтобы заставить wget качать в несколько потоков
НЛО прилетело и опубликовало эту надпись здесь
area2?
aria2
интересно и познавательно, но в чем может быть проблема набрать рейтинг на torrents.ru не понимаю :)
проблема в том что если уж мне что то и надо скачать, то это как правило редкое или элитарное кино или малопопулярный у масс сериал и т.п., набрать на таком рейтинг нереально. А все популярное есть в локальном пиринге так что нужды брать с торрентов нет.
НЛО прилетело и опубликовало эту надпись здесь
опередил:)
Я обхожусь просто популярным кино :) тоже хорошо расходится :) А на том же дистрибутиве MAC OS весом в семь гигов я набрал ратио почти 10 не напрягаясь :) пути есть, с другой стороны - кому что :)
На торрентс.ру прон вынесли на отдельный трекер, но свежие фильмы все так же рулят в деле поднятия рейтинга.
хочешь сказать что за прон не идет рейтинг?
Ошибся я, сейчас выносят, в июле, видимо, завершат переезд. Как я понял, текущий рейтинг будет скопирован, а дальше подсчет будет вестись раздельно. Просто сначала речь шла о переезде в течение недели, видимо все оказалось сложнее.
самоее фееричное то, что половина людей, нагнетающих тебе рейтинг, качают прон, чтобы поднимать себе рейтинг ;)
можно скачать(найти в локальном пиринге файл из торрента и подменить его) один ролик с порнухой, оставить на неделю, и рейтинг просто взлетит:)
Так и поднимал =) только не порнухой, вытащил из пиринга популярную какуюто киношку, просто по пирам посмотрел =) и воткнул себе. на 3Mb канале рейтинг в космос улетел.
у меня так взлетел рейтиинг один раз когда у меня на раздаче были все сезоны симпсонов и кторрент находил личеров в 100 мбит локалке :) вот это было круто, правда не долго проработало, видимо был один личер, который качнул и ушел :)
ну боюсь быть заминусованным,но все же, у меня были такие же проблемы и проблемы с исходящим каналом, если немного порыться в гугле то существуют сотни програм для поднятия рейтинга
ну так конечно не наберешь рейтинг, т.е. если он тебе нужен, просто надо взять пару популярных раздач и все, выше уже посоветовали :)
Во-первых на torrents.ru далеко не всё есть, а во-вторых, не вижу проблемы заработать за год ~50 евро.
мда, я лично не пользуюсь рапидой вообще, все что мне надо я могу найти не только на торрентс.ру, нафиг мне тратить на это 50 евро, есть кстати масса трекеров и диси хабов, на которых не нужно набирать рейтинг
Ну я же говорю, первый и главный аргумент - "далеко не всё есть". Просто у вас другие запросы.
а на рапиде значит "всё" есть?
Не занудствуйте. Да, на рапиду часто выкладывают то, чего не на торрентах, и наоборот.
на thepiratebay.org есть все ;)
Ну да, конечно. Сразу видно, что сравнивали.
что с чем? я с рапиды никогда ничего не качаю, как можно сравнивать файловый хостинг и торрент-трекер?
Я имею в виду thepiratebay.org и torrents.ru. Утверждение про первый ресурс "там есть всё" - не более чем шутка.
это почему?
Потому. Просто поверьте, что вы не смотрели все фильмы и не слушали всю музыку на свете.
это называется разговор ни о чем :) а на пиратбэе выложено процентов 80 всех доступных в интернете ресурсов, поэтому я и сказал, что там есть всё и от своих слов не отказываюсь, потому что 80% это практически все что можно себе представить ;)
Это называется, считать себя самым осведомленным, основываясь на своем узком кругозоре.
Еще раз перечитайте мой прошлый пост. Если вам полностью хватает перечисленных вами ресурсов, рад за вас. Не очень понимаю, о чем вы хотите говорить, если и так всё знаете.
да нет это вы считаете себя умнее остальных и пытаетесь отстоять свою точку зрения во что бы то ни стало, а мой кругозор шире вашего ;) так что успокойтесь :) я отдаю себе отчет в том что занимаюсь тролингом, а вот вы нет ;) если вы не смогли чего-то найти на пиратбэи или других бесплатных трекерах это ваши личные проблемы, можете покупать премиум аккаунты на рапиде, а ещё лучше покупайте контент в специализированных официальных источниках, там точно есть всё, что можно найти, начиная от ультра-раритетов, заканчивая дебильными американскими фильмами, только стоить это вам будет не 50 евро, платить деньги за скачку с файлообенников я считаю глупым занятием, потому что есть бесплатные варианты, сразу прошу прощения, но ваш ответ я читать не буду поэтому можете ничего не отвечать :)
Тролля обидели и он сбежал? А мне ведь несложно ответить :)
Я вам объяснил, зачем люди используют рапиду, ничего более. А ваши рассуждения про дебильные фильмы и ультра-раритеты только подтверждают мое предположение о вашем кругозоре. И вы считаете, что меня интересуют ваши советы на тему того, где брать контент ? Спасибо не надо, это мои личные проблемы :)
ах, если бы, он больше на файлопомойку похож
и русскоязычного контента я там как-то не находил
ну это же не значит что его там нет :) просто там невнятный поиск, да и то только на первый взгляд
А я подумал по заголовку, что wget научился с рапидшары без логинов и безо всяких ограничений o0
;)
* качать
все бы вам на халяву :)
Да я вообще давно с рапиды ничего не качал =)
А смысл генерить кучу ссылок java скриптом ? Если уж работаем в консоли, то может стоит быть последовательным до конца ? :)
for i in {0..100} ; wget супер_файл_часть_$i ; done
нее смотри - на сайтах написано супер_файл_1 а под ним скрывается ссылка http...com/...rar консолью html так просто не распарсишь.
wget + sed + awk + bash делают невозможное :)
В конце концов perl никто не отменял;;;
Мм, а это в каком шелле range через {} работает? В баше вроде только так можно $(seq 0..100) ?
~$ bash --version
GNU bash, version 3.2.39(1)-release
НЛО прилетело и опубликовало эту надпись здесь
Вот, блин, почему этот раздел на торрентс.ру так развит :)
Че вы всё про порно... Может у человека канал несимметричный;))
В смысле, всё идёт со скоростью 64mbps, а на проне разгоняется до 512? :)
Премиум гораздо проще оплачивается с помощью различных интернет валют, в автоматическом режиме и в течении 5 минут, список официальных ресейлеров в России http://www.rapidshare.com/resellers.html
только вот чтоб купить интернет валюты надо вылзать на улицу, искать автомат или банк или карточки по грабительскому курсу... короче предпочитаю платить с visa там где это возможно.
Интернет валюты можно купить с той же карточки не выходя из дома.
как купить webmoney с карточки? Несколько раз искал такую возможность но ничего не нашел кроме каких то мутных вариантов через несколько валют или с грабителькими тарифами.
купить предоплаченную карту не вариант ?
дайте ссылку где это можно сделать в сети.
на plati.ru думаю можно найти такие варианты.
plati.ru как я понял по этому тексту http://plati.ru/asp/howtobuy.asp не принимает карты visa в оплату
Автору не повезло с банком, преимиум зачастую покупается визой без всяких проблем и танцев с интернет валютами.
НЛО прилетело и опубликовало эту надпись здесь
Можно вместо wget использовать aria2. Понимает вызов вида aria2c -P http://server.tld/file[0-10].rar для закачки списка файлов. Среди преимуществ закача в несколько потоков, торренты, cookie и что самое "вкусное" это режим работы демоном. Чтобы совсем все было в командной строке можно с помощю awk вырезать ссылки из предварительно скачанного файла. Например как то вот так: awk '/href/ {for (i=1; i<=NF; i++) {if ($i ~ /^href/) {print $i}}}' file.html

P.S.: спасибо за статью, достаточно полезно.
Ещё можно скачивать через http-авторизацию
wget --http-user=<user> --http-passwd=<pass> <rapidshare-url>
+1, изврат какой-то пост запросом отправлять логин с паролем, когда можно через HTTP авторизацию
пост запросом они отправляются один раз и потом лежат у тебя на винте готовые куки, а через http каждый раз надо вводить логин с паролем
~/.wgetrc
Да, самый правильный метод
Хотя и под первый можно написать простой bash-скрипт, который будет проверять наличие кук, логаться и допустим качать определенный диапазон файлов
мало того, думаю что прокатит даже ссылка http://username:password@rapidshare.com/url-bla-bla-bla
Во втором FF список ссылок на странице показывался в Page Info, в 3м эту возможность убрали. ИМХО, зря.
Ну её же легко вернуть... Всё равно этой фичей пользовались только "продвинутые" пользователи...
wget — штука хорошая, но многопоточную загрузку не поддерживает. Это БОЛЬШОЙ минус, когда качаешь с медленных серверов. Есть в нём и другая (не такая большая, но всё же) трабла: не поддерживает большие файлы. Когда я попытался скачать какой-то SDK с майкрософта, wget определил размер файла как отрицательный и отказался качать (реальный размер был чуть больше одного гигабайта).

Если пользоваться Windows религия не запрещает, FlashGet forever, а для рапиды и иже с ними — RapGet.
Есть shell скрипт реализующий многопоточность для wget.
В wget есть опция --ignore-length, добаленная специально для веб серверов отдающих некорректный Content-Length.
Проблема не в --ignore-length, а в том, что кто-то пользуется устаревшей версией wget'а (ну или сборкой под Windows, что, в принципе, одно и то же)...
Верно, проблема в самом wget'e, который хранит длину файла в переменной слишком короткого размера.
А shell-script и прочее — здорово, но во FlashGet все встроено, что удобно. Wget хорош для закачки через удаленную консоль, тут действительно ничего лучше нет.
Пока сидел под виндой пользовался wget.exe =)
Спасибо за статью, попробуем!! ж)
да очень просто всю сотню ссылок изменять подобным образом:)
а какие сложности?
Не вручную ведь :)
видимо можно написать скрипт, но меня ломает, напиши тогда и опубликуй в отдельном хабратопике:)
Не проще с DownThemAll скачать?
есть решение проще
1) создаем файл (например list)
2) забиваем все ссылки туда
3) wget --user логин --password пароль -с -i /путь к файлу/list

man wget :)
НЛО прилетело и опубликовало эту надпись здесь
сделать три мутных действия очевидно быстрее для меня чем перезагружаться в висту 5 минут ради одной закачки.
НЛО прилетело и опубликовало эту надпись здесь
да я вообще тупой, не видите чтоли?
а где можно узнать расписание happy hours на рапиде ?
спросить у генератора случайных чисел
НЛО прилетело и опубликовало эту надпись здесь
НЛО прилетело и опубликовало эту надпись здесь
а слабо такое же бесплатно? :)
НЛО прилетело и опубликовало эту надпись здесь
это сервис для закачки, а не скачивания
НЛО прилетело и опубликовало эту надпись здесь
я нисколько не сомневаюсь в полезности предложенного сервиса, но боюсь в России запрашиваемые за его использования деньги вряд ли кто платить будет

мне так хватает одного премиума для RapidShare :)
НЛО прилетело и опубликовало эту надпись здесь
НЛО прилетело и опубликовало эту надпись здесь
Все это класно но для чего такие сложности. Все значительно проще. Пишем wget -b --http-user=Ваш логин --http-passwd=Ваш пароль --input-file=файл с списком файлов которые закачиваются и все закачка пойдет в бакграунде да еще можна указать папку куда класть файлы --directory-prefix=/home/roman/download следить за закачкой можна коммандой tail -f wget.log
Линукс и коммандная строка рулит :-))
а можно еще проще, просто заполнить .wgetrc и .netrc

~$ cat .wgetrc
user-agent = "Mozilla/5.0"
read_timeout = 300
tries = 1000
wait = 0
waitretry = 0
continue = on
dir_prefix = ~/Downloads/

~$ cat .netrc
machine example1.com login password
machine example2.com login password

затем от ныне и по скончание веков просто wget -i list.txt

А то, не то что рулит, еще и педалит за тебя ;)
~$ cat .netrc
machine example1.com login (login) password (password)
machine example2.com login (login) password (password)
а можно сделать так, чтобы для разных сайтов разный dir_prefix был?
а я Perl + CURL юзаю %)
и не надо direct downloads включать

#!/usr/bin/perl
use strict;
use warnings;
use LWP::UserAgent;
if ($#ARGV == -1)
{
print "syntax: $0 \n";
exit(1);
}
exit(1) if ($ARGV[0] !~ qr{^http://((www|rs\d+)\.)?rapidshare\.com/files/\d+/.+$});
my $ua = LWP::UserAgent->new;
my $cookie = 'user=ЛОГИН-ПАРОЛЬ';
my $response = $ua->get($ARGV[0], cookie => $cookie);
catch_unsuccess($response);
extit(1) if ($response->content !~ //)
$response = $ua->post($1, ['dl.start' => 'PREMIUM'], cookie => $cookie);
catch_unsuccess($response);
if ($response->content =~ qr{'(http://rs\d+tg\.rapidshare\.com/files/\d+/dl/(.+?))'})
{
exec(sprintf("curl -b '%s' '%s' -o '%s'", $cookie, $1, $2));
exit(0);
}
sub catch_unsuccess
{
my ($response) = @_;
if (!$response->is_success)
{
print $response->status_line . "\n";
exit(1);
}
}

cat mylinks.txt | xargs rapidshare.pl
криво вставилось :(

нормальный сорец: http://pastebin.ca/1061432
Следующим шагом будет поставить под firefox плагин flashgot и добавить под него правило
wget -c -S [--directory-prefix=FOLDER] [--referer=REFERER] [--post-data=POST]
[--load-cookies=CFILE] [--header=Cookie:COOKIE] [--input-file=UFILE]
интересный топик, особенно удивляет его рейтинг.
неужели тут столько людей, которые не знают, что wget поддерживает куки?
бред какой-то.
Реально понравилось вставка javascript'овская - что-то в этом есть.

Про поддерживает куки и авторизацию во wget - знал

ipetr@acid8:~> wget --http-user=*** --http-passwd='***' http://rapidshare.com/files/127026941/fm0704.7z
--18:41:41-- http://rapidshare.com/files/127026941/fm0704.7z
=> `fm0704.7z'
Resolving rapidshare.com... 195.122.131.8, 195.122.131.9, 195.122.131.10, ...
Connecting to rapidshare.com[195.122.131.8]:80... connected.
HTTP request sent, awaiting response... 302 Moved Temporarily
Location: http://rs382tg.rapidshare.com/files/127026941/fm0704.7z [following]
--18:41:41-- http://rs382tg.rapidshare.com/files/127026941/fm0704.7z
=> `fm0704.7z'
Resolving rs382tg.rapidshare.com... 80.231.41.183
Connecting to rs382tg.rapidshare.com[80.231.41.183]:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 4,922,004 [application/octet-stream]

100%[==================================================================================================================>] 4,922,004 892.51K/s ETA 00:00


1. Нет необходимости принимать и сохранять cookies
2. Если уж использовать специальный скрипт, то такой, который бы только ссылки на rapidshare отфильтровывал (Опера умеет, кстати, то же самое по Ctrl-J)
3. На случай, если что-то нужно закачать на rapidshare я использую официальный перловый скрипт rsapi.pl
Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации

Истории