12 February 2014

Yacy — распределённый не цензурируемый поисковик: три года спустя

Information SecuritySearch engines


Yacy — это децентрализованная поисковая машина, которая позволяет осуществлять поиск информации в интернете без локальной или глобальной цензуры или любых других ограничений.

Первое и единственное упоминание о нем на хабре было 29 ноября 2011.

Но с того времени многое изменилось, давайте посмотрим на него еще раз.

Основные возможности и преимущества Yacy:


— Децентрализованный поиск и хранение индекса — в сети DHT
— Три режима работы: 1) Глобальный поисковой индекс, 2) Групповой индекс, 3) Локальный индекс
— Отсутствие рекламы
— Отсутствие какой-либо цензуры (государственной, копирайтной)
— Огромное количество настроек

Основные недостатки:


— Время поиска (из-за децентрализованной природы, поиск непопулярного контента может занимать значительное время)
— Релевантность (алгоритм релевантности был переработан за эти три года, но все равно он отстает от поисковых гигантов)

Что изменилось за три года ?


— Поддержка русскоязычных поисковых запросов
— Появились подсказки в во время ввода поискового запроса
— Опережающий поиск — пока вы печатаете yacy уже ищет пиров с данным контентом
— Улучшились алгоритмы поиска и выдачи — более релевантный результат
и миллионы других мелких изменений под капотом.

Как работает Yacy?


Индексирование

Индексирование может быть инициировано следующими путями:
1) Принудительное указание начала сканирования
2) Удаленный запрос от другого пира
3) Настройка проксирования всех запросов от браузера к Yacy с последующий индексацией того, что вы читаете

После составление базы индекса она сохраняется локально, рассылая в сеть информацию о том, что она у вас есть, и распределяется по DHT на соседних пиров.

Поиск

Во время процесса поиска Yacy сначала ищет результаты в локальном индексе, а затем в глобальном, связываясь по DHT c пирами, у которых есть сведения об индексе того или иного запроса/сайта.

Результаты поиска от Yacy:





Официальный сайт проекта yacy.net/en
Windows yacy.net/release/yacy_v1.68_20140209_9000.exe
Linux yacy.net/release/yacy_v1.68_20140209_9000.tar.gz
OS X yacy.net/release/yacy_v1.68_20140209_9000.dmg

Тестовая поисковая страницы search.yacy.net (которая может упасть от большого трафика)

PS Последняя статья была три года назад, если хабр пользователям будет интересна тема децентрализованных поисковых систем, я готов сделать обзор всего функционала Yacy и рассмотреть подробно как она работает
Only registered users can participate in poll. Log in, please.
Хотите ли вы пользоваться децентрализованными поисковыми системами?
84.01% Да 1849
15.99% Нет 352
2201 user voted. 634 users abstained.
Only registered users can participate in poll. Log in, please.
А почему вы хотите/не хотите ими пользоваться?
48.74% Хочу, Они не сохраняют никакой обо мне информации 1084
48.65% Хочу, Информация о том, что я искал не может быть передана никому 1082
72.44% Хочу, Отсутствие цензуры 1611
46.13% Хочу, Отсутствие рекламы 1026
8.14% Не хочу, Сложность использования 181
24.87% Не хочу, Малая база индекса сайтов 553
11.51% Не хочу, Меня не волнует слежка 256
22.93% Не хочу, Мне важна релевантность поиска в ущерб приватности 510
2224 users voted. 640 users abstained.
Only registered users can participate in poll. Log in, please.
Хотите еще почитать про Yacy?
88.24% Да определенно 2011
11.76% Нет меня это не интересует 268
2279 users voted. 470 users abstained.
Tags:yacy
Hubs: Information Security Search engines
+98
128.9k 243
Comments 143
Тренажер product-менеджера
December 3, 202028,900 ₽SkillFactory
SEO-специалист
December 7, 202064,900 ₽Нетология
iOS-разработчик с нуля
December 7, 202070,740 ₽Нетология
UX-дизайнер
December 7, 202047,940 ₽Нетология