Комментарии 71
Так, например, всеми любимый LiveJournal уже несколько раз блокировал IP моего сервера, за слишком частое обращение к их сервису. Эту проблему пока решить не удалось.
ничто не мешает иногда использовать возможности пользователей и получать данные через JavaScript или Flash, организуя скрытый запрос от пользователя к LiveJournal
ничто не мешает иногда использовать возможности пользователей и получать данные через JavaScript или Flash, организуя скрытый запрос от пользователя к LiveJournal
+3
А нельзя написал LJ письмо и договориться с ними?
+4
Договориться попробовать можно. Вопрос в том а согласятся ли они) у них и так последнее время проблемы.
Скорее надо смотреть на оптимизацию выборки.
Вопрос автору: ленты выбираются для каждого пользователя? или для всех? а потом раздаются только актуальные обновления :?
Скорее надо смотреть на оптимизацию выборки.
Вопрос автору: ленты выбираются для каждого пользователя? или для всех? а потом раздаются только актуальные обновления :?
0
Пока они меня отфутболивают, мол разблокировать нельзя. Такое чувство, что отвечает бот. Буду еще писать письма, так как подобная проблема наблюдается только с ЖЖ.
0
UPD. Удалил. Неверно понял суть. Извиняюсь.
0
Буквально вчера заметил, что у них есть лимит на количество запросов за определенный период. Что-то вроде не больше 10 запросов за 20 секунд.
0
А не собираете статистику по активно пользующимся?
А то, возможно, из 5 тысяч 3 тысячи зашли посмотреть, залили OPML и забыли. А теперь сервер тянет каждые х минут новые фиды мёртвым душам?
А то, возможно, из 5 тысяч 3 тысячи зашли посмотреть, залили OPML и забыли. А теперь сервер тянет каждые х минут новые фиды мёртвым душам?
+18
В районе 2-х тысяч человек пользуется активно. Через пару дней схлынет новая волна с хабра и буду чистить базу, а то очень много фидов в пустую грузят сервер и при этому подписчик этого фида в лучшем случае заходил один раз.
0
В таком случае, логичнее было бы переводить такой фид на ручное обновление, например, при визите пользователя, а не удалять фид совсем. Да и с чем связана чистка, неужели в многопользовательской структуре не заложена централизованная загрузка фидов с одинаковыми адресами?! А как же тогда социальная составляющая, рекомендации других фидов, которые грузят другие пользователи?!
0
Централизованная загрузка заложена конечно. Я к тому, что в базе уже больше 50 тысяч уникальных(!) фидов и представьте себе какая это нагрузка на сервер обновлять их каждые 15 минут.
Идея с ручным обновлением мне понравилась. Спасибо. Сделать так, что, например, если человек давно не заходил и его фиды в базе в единичном экземпляре, то переключить их только на ручное обновление. Я так подозреваю, что сейчас очень много фидов впустую нагружают сервер.
Идея с ручным обновлением мне понравилась. Спасибо. Сделать так, что, например, если человек давно не заходил и его фиды в базе в единичном экземпляре, то переключить их только на ручное обновление. Я так подозреваю, что сейчас очень много фидов впустую нагружают сервер.
0
Статистика использования, чем чаще заходят люди, читающие определенный фид, тем чаще его обновлять. Если какой-то фид читает один человек, да и тот заходит раз в неделю, то этот фид можно обновлять 1 раз в сутки, например
0
Основная задача агрегатора — получить все записи, а не подстраиваться под визиты пользователя! Т.к. люди могут заходить и читать одно и тоже, что обновляется всего раз в день!
Поэтому необходимо провести мониторинг частоты обновления фидов, я например использую следующую простую формулу: 15000/(количество добавленных записей за 2 недели) = период обновления в минутах.
Для снижения нагрузки в процессе мониторинга, можно анализировать последнее число добавленных записей — если оно остается неизменным, то сдвигать процесс обновления на несколько периодов вперед.
Ну, а формирование списка фидов для обновления основывается на времени последнего обновления + сдвиг, сформированный на основе мониторинга.
Конечно, для коррекции времени обновления, можно учитывать общее число записей в фиде (например домножить на него период_обновления_в_минутах) или зафиксировать время наибольшей активности фида, но это снизит оперативность обновления, хотя и обеспечит получение всех записей на протяжение определенного времени.
Поэтому необходимо провести мониторинг частоты обновления фидов, я например использую следующую простую формулу: 15000/(количество добавленных записей за 2 недели) = период обновления в минутах.
Для снижения нагрузки в процессе мониторинга, можно анализировать последнее число добавленных записей — если оно остается неизменным, то сдвигать процесс обновления на несколько периодов вперед.
Ну, а формирование списка фидов для обновления основывается на времени последнего обновления + сдвиг, сформированный на основе мониторинга.
Конечно, для коррекции времени обновления, можно учитывать общее число записей в фиде (например домножить на него период_обновления_в_минутах) или зафиксировать время наибольшей активности фида, но это снизит оперативность обновления, хотя и обеспечит получение всех записей на протяжение определенного времени.
+1
Социальная составляющая там есть, только реализована не совсем наглядно. Если в настройках нажать на «Подписаться на канал», то там есть кнопка «Другие каналы». И вот как раз там можно посмотреть самые популярные каналы на сервисе.
0
Уважаемые, не появился ли клиент для Android с поддержкой скачивания полных страниц с картинками для последующего чтения online?
Спрашиваю не только применительно к TT-RSS, но и любому бэкэнду.
Спрашиваю не только применительно к TT-RSS, но и любому бэкэнду.
0
что-то не даёт он подписаться на журнал в ЖЖ, 403 ошибка.
-1
Не поделитесь мануалом, как вы все настраивали и оптимизировали?
+2
Для настройки nginx использовал эту статью. C mysql не перестаю шаманить до сих пор, так как это самое узкое место. В частности под каждую таблицу создается отдельный файл (в конфиге стоит innodb_file_per_table=1), ну и рекомендации, которые выдает эта утилитка.
0
И много рекламы, там, тут, ниже, выше, им, монетизируйтесь. =))) Шутка конечно, Вашим сервисом не пользуюсь, пока, возможно прийду.
-2
У feedly тоже проблема с LJ. Перешел на Netvibes
Автору бы 1) завести список пожеланий в открытом виде 2) кнопку donate
Автору бы 1) завести список пожеланий в открытом виде 2) кнопку donate
+1
Вот чёрт. Спасибо, что сказали. А я уже успокоился. Придется уходить от них… У The Old Reader'а этой проблемы нет, насколько я вижу.
0
0
Теперь вижу, а с главной tinyrss.ru/ ссылок нет почему-то. Это и удивило
0
я проблему с блокированием ипов на сервере(для парсера) решил купив прокси за 3-5 долларов в месяц, и выбирая случайный из списка — скармливаю его курлу.
0
«Эту проблему пока решить не удалось. Как вариант, вижу решение этой проблемы в использовании прокси при обращении к их серверам.»
А может попробовать связаться с ними, аудитория у Вас велика, просто они там у себя блок на блокирование Вас сделают.
А может попробовать связаться с ними, аудитория у Вас велика, просто они там у себя блок на блокирование Вас сделают.
0
Я после той статьи поставил себе на сервер собственный TinyRSS. Вполне себе решение проблемы :)
+2
> Есть и проблемы, которые пока не удалось решить. Так, например, всеми любимый LiveJournal уже несколько раз блокировал IP моего сервера, за слишком частое обращение к их сервису. Эту проблему пока решить не удалось. Как вариант, вижу решение этой проблемы в использовании прокси при обращении к их серверам. Если у вас есть идеи, как решить эту проблему, прошу отписаться в комментариях.
Купите платные прокси, например, на buy.fineproxy.ru можно взять 3000 ip за $30/month. Прокси хорошие, стабильные. Вам стока не нужно, поэтому можете там подобрать тарифный план подешевле.
Купите платные прокси, например, на buy.fineproxy.ru можно взять 3000 ip за $30/month. Прокси хорошие, стабильные. Вам стока не нужно, поэтому можете там подобрать тарифный план подешевле.
0
Ужасно не понравился клиент, фиды не обновляются сами по себе. Установка автоматического обновления ничего не изменила.
-2
Как насчёт i2p в качестве прокси?
0
Мне, например, кажется, что это велосипед и проще пообщаться с техподдержкой самого ЖЖ.
0
Как идеал, да. Но со временем к ЖЖ могут добавиться другие. Будете со всеми договариваться? А кто-то из них может и рога показать.
0
Вопрос номер раз: как с этим справлялся гугл?
0
Гугл компания с мировым именем. Я думаю даже если их сервера блокировали, то им достаточно было одного письма или звонка в ЖЖ, чтобы их разблокировали.
Я в ЖЖ писал, что мол так и так, TinyRSS это RSS-агрегатор и само собой, что он часто долбится на их сервера. Но мне ответили, что разблокировка невозможна. Возможно я получал письма от бота. Буду пробовать писать им еще.
Я в ЖЖ писал, что мол так и так, TinyRSS это RSS-агрегатор и само собой, что он часто долбится на их сервера. Но мне ответили, что разблокировка невозможна. Возможно я получал письма от бота. Буду пробовать писать им еще.
0
Вы считаете, что у них один единственный сервер? :-)
+1
А как часто вы фиды обновляете?
+1
Фидов очень много и не спасает даже скрипт многопоточного обновления. Сейчас фиды, у которых мало подписчиков, могут обновляться раза два в сутки. Фиды у которых много подписчиков обновляются в среднем раз в 20 минут, но это благодаря ручному обновлению (то есть кто-то кликнул ручное обновление и автоматом это обновление видят все подписчики этого фида). Думаю купить еще пару впсок и на них тоже запустить скрипт обновления.
0
А сколько уже уникальных фидов накопилось?! Я вам еще раз рекомендую обратить внимание на получение контента средствами браузера, а потом его отправкой на сервер для парсинга — это существенно снизит нагрузку на сервер. Кстати, 20 минут — слишком много, можно и пропустить что-нибудь интересное.
0
Уникальных фидов там уже более 50-ти тысяч. Мне понравилась ваша идея на получение контента средствами браузера. Подумаю как ее можно реализовать. А так конечно надо и чистки проводить, так как почти наверняка большинство из этих фидов впустую грузят сервер.
0
Так, например, всеми любимый LiveJournal уже несколько раз блокировал IP моего сервера, за слишком частое обращение к их сервису.
Я решил эту проблему используя feedburner.google.com (если и его не закроют) как прокси.
0
Подскажите, пожалуйста, что нужно сделать в настройках, чтобы при просмотре папок с фидами на первом месте указывалось название фида, а на втором — название статьи, как это реализовано в GR, в TTRSS это сделано наоборот.
0
Что-то у вас js-ок грузится какое-то неприличное количество (порядка полусотни).
Это какой-то фронтэнд-фреймворк их плодит что ли? Нельзя их склеить и сжать?
Это какой-то фронтэнд-фреймворк их плодит что ли? Нельзя их склеить и сжать?
0
Да, это dojo. Вроде бы склеить нельзя, так как подгрузка библиотек реализована в самой Dojo. На мой взгляд вообще как-то странно реализован этот фреймворк и в отличии от автора tt-rss я бы его не стал использовать. Уже давно у меня зреет мысль написать свой собственный фронтенд, а tt-rss использовать как бекенд, через его апи. Надеюсь всё-таки выкроить на это время, так как задача очень интересная.
0
Dojo можно «склеивать», вот одна из ссылок на туториалы: dojotoolkit.org/documentation/tutorials/1.7/build/
По личному опыту могу сказать, что отказ от его использования будет только плюсом. Dojo очень мощный и предоставляет огромный функционал, но до сих пор имеет проблемы совместимости с браузерами, особенно с Оперой. В своих проектах перешёл на jQuery.
По личному опыту могу сказать, что отказ от его использования будет только плюсом. Dojo очень мощный и предоставляет огромный функционал, но до сих пор имеет проблемы совместимости с браузерами, особенно с Оперой. В своих проектах перешёл на jQuery.
+1
Мне нравиться фича у theoldreader, он показывает фиды которые давно не обновлялись. Иногда полезно делать зачистку.
0
А можно добавить кнопку Donate с возможностью подписки (для меня самое удобное это Paypal, но можно и что-то другое, если с Paypal не получится)? Собираюсь использовать сервис постоянно, а донатить буду забывать.
+1
Добавил возможность подписки. Спасибо!
0
Ох, прочёл и прямо за душу взяло. Проходил это всё с The Old Reader примерно около года назад, разве что apache на nginx не менял, но зато сменил PostgreSQL на MongoDB когда приблизился момент того, что данные на SSD не помещались. А вы готовы горизонтально масштабировать хранилище? :)
+1
Ну к горизонтальному масштабированию всё и идет. А как показала себя MongoDB по сравнению с PostgreSQL? И если не секрет, сколько сейчас людей пользуется вашим сервисом?
0
В MongoDB отлично реализован шардинг, при соответствующее придуманной схеме работает отлично. Есть проблемы с неконсистентностью данных из-за отсутствия транзакций и при денормализации, но с этим приходится мириться и нормализировать время от времени в фоне. Также есть проблема с отсутствием filtered индексов, что создает оверхед на их хранение.
Не секрет, буквально 30 минут назад стало 300 тысяч аккаунтов.
Не секрет, буквально 30 минут назад стало 300 тысяч аккаунтов.
+1
Количество аккаунтов впечатляет :)
0
Ага, главное, что большинство — активные и создают до 300 запросов в секунду на фронтед в прайм-тайм.
Удачи вам с распределением данных :)
Удачи вам с распределением данных :)
0
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Неожиданная популярность TinyRSS.ru