Комментарии 19
Тебя взяли на работу в Яндекс или нет?
Пока никто ничего не предлагал, но я всегда открыт для общения :)
Совершенно аналогичный вопрос возник, после прочтения всего цикла статей.
Зачем я Яндексу? Единственное, что я умею, это находить всякие «странные» способы использовать различные бесплатные сервисы в своих целях.
А на должность тестера? Ведь именно эти «странные способы», которые вы находите, скорее всего, означают дырки в их системе, которые любая уважающая компания стремиться закрыть или исправить.
Интересный вариант, но если только руководителем группы тестирования, может даже и не Яндекса, благо опыт работы более 7 лет в области разработки ПО. Но пока я не нахожусь в активном поиске работы, разве что в «пассивном», только если будет действительно интересное предложение, правда, думаю, что конкурировать с моим текущим работодателем другой, не очень крупной компании будет в период кризиса тяжеловато.
Что же касается Яндекса, то, как я понял, из комментариев в предыдущей статье, его сотрудники не считают это дыркой. Я могу с ними согласится, если этот риск просчитан и принят.
Что же касается Яндекса, то, как я понял, из комментариев в предыдущей статье, его сотрудники не считают это дыркой. Я могу с ними согласится, если этот риск просчитан и принят.
Специалистом по ИБ
Вот если бы я продолжал работать где раньше — обязательно бы пригласил
Вот если бы я продолжал работать где раньше — обязательно бы пригласил
>используя скрипт даунлоада файлов по частям
ZIP-архив вполне альтернатива, т.к. ZIP-архив такая штука, что скачав немного информации, можно получить содержимое находящихся в нем файлов и качать не весь архив, а только необходимые файлы. Большой плюс что ZIP — фактически стандарт, котрый не понимает только ленивый.
ZIP-архив вполне альтернатива, т.к. ZIP-архив такая штука, что скачав немного информации, можно получить содержимое находящихся в нем файлов и качать не весь архив, а только необходимые файлы. Большой плюс что ZIP — фактически стандарт, котрый не понимает только ленивый.
Что-то я не очень понимаю, как можно в реалтайме из зипа с поддержкой докачки отдать юзеру нужный файл. Чтобы не надо было его сначала на сервер скачивать и распаковывать.
ну вообще можно ведь архив и частями качать.
достаточно выкачать ту часть, в которой лежит нужный файл.
достаточно выкачать ту часть, в которой лежит нужный файл.
Ну вот например, Download Master поддерживает выборочную скачку файлов из ZIP-архива. Цитата из хелпа
«Получить содержание ZIP архива / Просмотр ZIP архива
Вывести окно просмотра содержания ZIP архива. В нем вы сможете выбрать те файлы, которые хотите закачать.»
«Получить содержание ZIP архива / Просмотр ZIP архива
Вывести окно просмотра содержания ZIP архива. В нем вы сможете выбрать те файлы, которые хотите закачать.»
А у всех хостеров входящий траффик бесплатен? А то можно разориться на этом «проксировании» файлов с Народа.
Кроме всего прочего, надо понимать, что у нас (Яндекса) есть система мониторинга, которая позволяет найти и заблокировать IP и/или аккаунты, которые используют наши сервисы в противоречии с пользовательским соглашением (в данном случае автоматизация не проблема, проблема в нагрузке на наши сервера).
То есть большой сервис на базе Народа whitelabel построить не получится =)
Кроме всего прочего, надо понимать, что у нас (Яндекса) есть система мониторинга, которая позволяет найти и заблокировать IP и/или аккаунты, которые используют наши сервисы в противоречии с пользовательским соглашением (в данном случае автоматизация не проблема, проблема в нагрузке на наши сервера).
То есть большой сервис на базе Народа whitelabel построить не получится =)
На шаред хостингах и VPS в Москве очень даже у многих. Для крупного проекта это конечно не вариант, но для раскрутки на первое время очень даже, чтобы не тратить сразу много денег на сервера. Насчет нагрузки, мои тесты с gmail показали, что даже на нагруженном проекте в случае 10 гигов кеша (размер шаред хостинга рублей за 400) и достаточно мелких файлов (~10 мегабайт) запросы в сторейдж происходят крайне редко.
И на самом деле это просто идея, если бы я хотел это реализовать, то не писал бы здесь сейчас ничего :) Признаюсь, у меня была такая мысль, но я подумал, что кто-кто, а Яндекс точно забанит :) Это просто статья о том, что не все можно закрыть каптчами, о том, что не стоит бить себя кулаком по груди и кричать что мой «тупой каунтер» никто никогда не сломает.
И на самом деле это просто идея, если бы я хотел это реализовать, то не писал бы здесь сейчас ничего :) Признаюсь, у меня была такая мысль, но я подумал, что кто-кто, а Яндекс точно забанит :) Это просто статья о том, что не все можно закрыть каптчами, о том, что не стоит бить себя кулаком по груди и кричать что мой «тупой каунтер» никто никогда не сломает.
Вы не правильно говорите.
Надо говорить так — затраты на разработку и поддержку «системы обхода» экономически не оправданы. Знаете о неуловимом Джо? во во
Надо говорить так — затраты на разработку и поддержку «системы обхода» экономически не оправданы. Знаете о неуловимом Джо? во во
Насчет затрат, вижу пока единственный вариант, OpenSource проект YandexS3, на sourceforge, затраты почти нулевые, людям должно понравится, подключатся, может даже пожертвуют на развитие проекта :)
Каждый, кому это нужно, создаст свой маленький S3 на Яндекс.Диске гигов на 100, нагрузка из расчета на аккаунт/IP минимальная, мониторинг пропустит! Яндекс не против? :)
Каждый, кому это нужно, создаст свой маленький S3 на Яндекс.Диске гигов на 100, нагрузка из расчета на аккаунт/IP минимальная, мониторинг пропустит! Яндекс не против? :)
>> как именно работает система защиты Яндекс.Диск'а и какие у нее недостатки.
Даже на платных файлохостинга, каптча не вид защиты, а элемент занижения функциональности для бесплатных аккаунтов, дамы мотивировать пользователей покупать премиум аккаунты. А у яндекса, каптча элемент для мотивации установки Яндекс.Бара. Если человек в состоянии модифицировать себе юзер-агент, значит оно осознаёт, что бар ему не нужен, значит нет смысла им навязывать бар и ущемлять в функциональности. Да и не придумать защиты. Все данные посылаются браузером, а значит можно воспроизвести их курлом, привязывать к учётной записи? — регистрация бесплатна.
Обход каптчи которая появляется, если часто запрашивать ссылки на файлы, по средством передачи range диапазонов. Эта система имеет 2 недостатка, которые ставят крест на этой идее:
1) Нельзя одновременно качать, несколько файлов(вам как то удалось, возможно потому что у вас нет такой фичи как «Локальный Яндекс») с одного пака. Довольно давно было введено ограничение 1 поток. Т.е. при таком раскладе, если нам всё равно придётся скачивать инфу последовательно. Если я буду последовательно качать файлы по стандарту, у и каптча не появится, она появляется если несколько раз подряд запросить ссылки :)
2) Нельзя дописать/изменить файл.
Два недостатка сильно сокращают разнообразие информации которую можно хранить подобным образом. Честно говоря я так и не предумал, что можно хранить, с такими ограничениями. Логи? Архивы? да нафиг мне их на Народ.Диск лить :) Создать файловую помойку?, с какой бизнес моделью вы собираетсеь окупить свои старания? Народ.Диск варез не любит, о чём не двусмысленно намекает в соглашении :)
Ну да ладно, вы же сделали пометку, что это всего лишь идея. Есть ещё третий не явный недостаток, в один прекрасный день, у яндекса может изменится политика по отношению к данному сервису, есть ли смысл так рисковать своим временем? :)
>> Я ни в коем случае не хочу сказать, что в Яндексе работают непрофессионалы, наоборот, изучая код, я пришел к обратному выводу.
Как вам удалось получить код Яндекс.Диск? Или вы имеете введу КОД html, КОД css, и немного JS(на Диске его очень немного)
Имхо, людям которым хватит компетенции реализовать подобный функционал для себя, никогда не возьмутся его делать. Овчинка выделки не стоит. Не думаю что у вас дальше идеи уйдёт :)
Даже на платных файлохостинга, каптча не вид защиты, а элемент занижения функциональности для бесплатных аккаунтов, дамы мотивировать пользователей покупать премиум аккаунты. А у яндекса, каптча элемент для мотивации установки Яндекс.Бара. Если человек в состоянии модифицировать себе юзер-агент, значит оно осознаёт, что бар ему не нужен, значит нет смысла им навязывать бар и ущемлять в функциональности. Да и не придумать защиты. Все данные посылаются браузером, а значит можно воспроизвести их курлом, привязывать к учётной записи? — регистрация бесплатна.
Обход каптчи которая появляется, если часто запрашивать ссылки на файлы, по средством передачи range диапазонов. Эта система имеет 2 недостатка, которые ставят крест на этой идее:
1) Нельзя одновременно качать, несколько файлов(вам как то удалось, возможно потому что у вас нет такой фичи как «Локальный Яндекс») с одного пака. Довольно давно было введено ограничение 1 поток. Т.е. при таком раскладе, если нам всё равно придётся скачивать инфу последовательно. Если я буду последовательно качать файлы по стандарту, у и каптча не появится, она появляется если несколько раз подряд запросить ссылки :)
2) Нельзя дописать/изменить файл.
Два недостатка сильно сокращают разнообразие информации которую можно хранить подобным образом. Честно говоря я так и не предумал, что можно хранить, с такими ограничениями. Логи? Архивы? да нафиг мне их на Народ.Диск лить :) Создать файловую помойку?, с какой бизнес моделью вы собираетсеь окупить свои старания? Народ.Диск варез не любит, о чём не двусмысленно намекает в соглашении :)
Ну да ладно, вы же сделали пометку, что это всего лишь идея. Есть ещё третий не явный недостаток, в один прекрасный день, у яндекса может изменится политика по отношению к данному сервису, есть ли смысл так рисковать своим временем? :)
>> Я ни в коем случае не хочу сказать, что в Яндексе работают непрофессионалы, наоборот, изучая код, я пришел к обратному выводу.
Как вам удалось получить код Яндекс.Диск? Или вы имеете введу КОД html, КОД css, и немного JS(на Диске его очень немного)
Имхо, людям которым хватит компетенции реализовать подобный функционал для себя, никогда не возьмутся его делать. Овчинка выделки не стоит. Не думаю что у вас дальше идеи уйдёт :)
я и не говорю, что нужно обязательно все блокировать, я просто указываю на то, что эти вещи присутствуют в системе
1. Если создать две временные ссылки на один и тот же файл, то они загружают один и тот же файл одновременно, по крайней мере у меня именно так.
2. Дописывать и изменять файлы не обязательно, я могу рассказать вам как сделать систему, в которой все будет работать и без этого. Вы просто пишете текущий файл пока он не станет равен 5 гигабайтам, после чего проводите миграцию на сторейдж. если нужно изменить файл, который уже на сторейдже, просто пишете его в новый пополняемый 5и гигабайтный файл, а о старом забываете.
Лично я, не собираюсь использовать эту идею для бизнеса, но думаю, эта идея интересна, как факт.
насчет кода, я конечно, имею ввиду javascript и реализацию доступа к сторейджу для аплоада и прогресса, лично мне понравилось как именно это сделано.
1. Если создать две временные ссылки на один и тот же файл, то они загружают один и тот же файл одновременно, по крайней мере у меня именно так.
2. Дописывать и изменять файлы не обязательно, я могу рассказать вам как сделать систему, в которой все будет работать и без этого. Вы просто пишете текущий файл пока он не станет равен 5 гигабайтам, после чего проводите миграцию на сторейдж. если нужно изменить файл, который уже на сторейдже, просто пишете его в новый пополняемый 5и гигабайтный файл, а о старом забываете.
Лично я, не собираюсь использовать эту идею для бизнеса, но думаю, эта идея интересна, как факт.
насчет кода, я конечно, имею ввиду javascript и реализацию доступа к сторейджу для аплоада и прогресса, лично мне понравилось как именно это сделано.
Еще раз повторюсь. Есть ряд недостатков использования чужих мощностей не по назначению (изошренными методами).
1. Если вы организуете бекап атоматичекими средствами, используя бесплатные сервисы не по их назначению — вы всегда можете остаться с заблокированным по пользовательскому соглашению аккаунтом.
2. Вы не контролируете ограничений, технологий и привязаны к протоколам + обязанны всегда следить за обновлениями.
3. Найти хостера с симметричным бесплатным траффиком — трудная задача.
4. Две временные ссылки на один и тот же файл — загружают в два потока, но их еще умудриться склеить надо — без самописного ПО не обойтись… А оно кому нить надо? =)
5. И главное. Вы позиционируете ваши статьи как полезности для «вашего стартапа». Так вот это не полезности, а вредности. Привязываясь к чужим технологиям и попадая в зависимость по мощностям вы теряете время/темп развития + становитесь некой сервисной надстройкой, а не «стартапом». Я наблюдал за последние полтора года много сайтов над Народ.Диском пытающиеся получить выгоду из этого. Все они так или иначе «протухли». Подумайте сколько вы времени потеряли пытаясь решать несуществующие «проблемы» и в поисках якобы «багов» и фич. Отпуск продолбали, а сколько действительно полезного можно было создать за это время.
А хранить много мелких файлов в одном большом — это позитивная идея. Я и сам так делаю =) tar+hash index table для быстрого доступа.
1. Если вы организуете бекап атоматичекими средствами, используя бесплатные сервисы не по их назначению — вы всегда можете остаться с заблокированным по пользовательскому соглашению аккаунтом.
2. Вы не контролируете ограничений, технологий и привязаны к протоколам + обязанны всегда следить за обновлениями.
3. Найти хостера с симметричным бесплатным траффиком — трудная задача.
4. Две временные ссылки на один и тот же файл — загружают в два потока, но их еще умудриться склеить надо — без самописного ПО не обойтись… А оно кому нить надо? =)
5. И главное. Вы позиционируете ваши статьи как полезности для «вашего стартапа». Так вот это не полезности, а вредности. Привязываясь к чужим технологиям и попадая в зависимость по мощностям вы теряете время/темп развития + становитесь некой сервисной надстройкой, а не «стартапом». Я наблюдал за последние полтора года много сайтов над Народ.Диском пытающиеся получить выгоду из этого. Все они так или иначе «протухли». Подумайте сколько вы времени потеряли пытаясь решать несуществующие «проблемы» и в поисках якобы «багов» и фич. Отпуск продолбали, а сколько действительно полезного можно было создать за это время.
А хранить много мелких файлов в одном большом — это позитивная идея. Я и сам так делаю =) tar+hash index table для быстрого доступа.
Полностью согласен с вашими доводами, идея со стартапом скорее всего не пройдет. Насчет отпуска, это были последние деньки и для того, чтобы разобраться с Яндекс.Диск я потратил не более двух часов, вот для того, чтобы написать все это мне потребовалось намного больше времени, это верно. Думаю, как вариант, просто больше ничего не писать :)
Насчет нескольких потоков, склеивать ничего не надо, ссылка на даунлоад менеджер передается одна и таже, просто скрипт выбирает свободную временную ссылку и дергает необходимый даунлоад менеджеру участок файла (просто немного переписать скрипт с range запросом, я это уже делал когда тестировал скрипт с FlashGet).
Но, честно говоря, я надеялся, что за моими бредовыми идеями Вы всетаки увидите, то, что вижу в них я, а именно возможность. Когда появляется возможность, есть два варианта, использовать ее или нет, когда возможности нет, вариантов тоже нет. Я думал вам понравится нестанартный подход к решению стандартной задачи, мысли, которые идут наперекор всему что уже изобретено, но, похоже, я ошибся.
В настоящий момент я привел не очень хороший пример использования такой идеи, но я уверен, что это можно использовать в других целях, просто, я пока не знаю в каких именно. Но, теперь я знаю, что такое возможно сделать, а значит, кто-нибудь, когда-нибудь обязательно это использует.
Насчет нескольких потоков, склеивать ничего не надо, ссылка на даунлоад менеджер передается одна и таже, просто скрипт выбирает свободную временную ссылку и дергает необходимый даунлоад менеджеру участок файла (просто немного переписать скрипт с range запросом, я это уже делал когда тестировал скрипт с FlashGet).
Но, честно говоря, я надеялся, что за моими бредовыми идеями Вы всетаки увидите, то, что вижу в них я, а именно возможность. Когда появляется возможность, есть два варианта, использовать ее или нет, когда возможности нет, вариантов тоже нет. Я думал вам понравится нестанартный подход к решению стандартной задачи, мысли, которые идут наперекор всему что уже изобретено, но, похоже, я ошибся.
В настоящий момент я привел не очень хороший пример использования такой идеи, но я уверен, что это можно использовать в других целях, просто, я пока не знаю в каких именно. Но, теперь я знаю, что такое возможно сделать, а значит, кто-нибудь, когда-нибудь обязательно это использует.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Как сделать из Яндекс.Диск'а безлимитную систему хранения файлов