Распределенный поиск Majestic-12 мечтает о лаврах Google

Идея хорошая. Жаль, что не моя ;)

В свое время к подобным seti проектам подключался, так сказать из человеколюбия и веры в светлое будущее. В отличие от них, Majestic-12 смахивает на коммерческий проект. Может пока он не такой, но когда вырастит точно станет. В этом и его слабость, как проект начнет зарабатывать люди осознавшие это начнут отключатся, жаба задавит.

О! Как шикарно можно скормить этому поисковику индексацию собственного сайта...

Что важнее - проиндексировать как можно больше страниц или находить то что надо. Я за второе. Если система в дальнейшем также распределенно позволит настраивать индекс, тогда другое дело. Ноя не представляю как это можно сделать "руками". Даже сравнивая с википедией - там ты написал материал, прицепил ссылки, а здесь надо много читать чтобы настроить ссылки. Может будет некая первоначальная система рейтингов, а финально будет подкручивать коммюнити?

В общем поиск хорошо, а чтение мыслей ищущего - лучше.

когда-то давно пришла такая же идея в голову

забил на нее, когда не смог ответить на вопрос со стороны юзера: зачем предоставлять свой канал, если тоже самое (по сути) можно найти в гугле?

Думаю, что не ошибусь, если предположу что в дата-центрах Google индексацией занимается значительно больше отдельных компьютеров, чем участников в этом проекте. Google уже давным давно это придумал.

А за такую картинку гугл по шапке не даст?

Команда по индексированию с именем "Ukraine" на 9-м месте на сегодня. ;)

Если этот проект хотя бы в теории в далёком будущем сможет отнять небольшую долю рынка у гугла, то гугл его купит задолго до этого момента ;) пока же этого не видно...

а в чем собственно польза чуловеку предоставившему часть своих ресурсов на благо компании у которая не хочет тратить деньги на покупку серверов.

а где исходники?

вбил я поисковый запрос, дождался таймаута, и закрыл. может, индексируют они и много, но искать неудобно.

а меня посетила мысль, что эта концепция (наверняка не в первоначальной реализации) имеет потенциал прийти на смену централизованному поиску, как p2p в свое время сменило варезники.
очень интересно.

Вообще идея интересная, ведь с помощью такой системы можно проиндексировать и то чего нет о_О (на просторах интернета) ^:-).

Ещё можно ботнеты для этого дела приспособить, чтоб не простаивали :).

А кто-нибудь попробовал произвести поиск?
Не работает! Да вобщем-то и неудивительно.

Брать за основу парсер html'а реализованный на .NET ... - :)
Хранение они реализовали видимо тоже на чем-то не из той оперы.

Убийственный выбор инструмента разработки похоронил проект, не успел тот родиться.
По моему мнению, волонтеры, участвующие в проекте, в данном случае в пустую тратят ресурсы своих машин.

Передать работу по загрузке/разбору страниц на сеть из хостов добровольцев с низкой доступностью вполне допустимо, и от этого качество не очень страдает, т.к. данные не задерживаются на хостах с низкой доступностью.

Но переложить на них отработку поисковых запросов не получится, т.к. имеются очень жесткие требования к времени генерации ответа (

У данного метода есть недостаток перед классическими при поиске.
В классическом случае идет ображение к центральному серверу который собирает информацию с большего количества серверов в датацентре по быстрым каналам, выбирает немного лучших и по медленному интернету отдает это пользователю.
Тут информацию при поиске придется собирать с большого количества хостов но по медленным каналам. Думаю так нельзя будет добиться быстрого ответа на запрос.

а исходники программы-клиента открыты? а протокол обмена с сервером?
а то кто знает, чего она там перекачивает..

Мне кажется, что если в ближайшее время и возникнет каккой-либо принципиально новый способ индексации, то реализован он будет именно Big G. А создание неработающей поисковой системы судя по всему не очень грамотной группой энтузиастов - это тупиковый путь.

Медленно работает.

Кстати, вот еще пачка разных распределенных поисковиков:

http://www.oreillynet.com/pub/t/74

Есть даже с открытыми исходниками ;)

Идея интересная, вот только не работает.. Нет, возможно индексация и соревновательный дух, присущий многим распределенным вычислениям, присутствуют, но поиск не функционирует. Для меня. реакция на нажатие кнопки/ссылки не должна превышать 10 секунд, иначе я скорее всего уйду. Конечно можно ждать, если оно того стоит..
Но оно не стоит, результатов я не увидел.
Так что оставлю свою мощность работать на OGR :)

Хахаха, название проекта говорящее. =) Потом они перенаправят весь трафик через ИИ Icarus в зоне-51.

Как уже было сказано, не важно кто собирает информацию, поисковый бот Гугла или группа энтузиастов. Важно как ее обработать и отсеять не нужное (выдать нужное)...
И если в вопросе сбора информации (индексации сайтов) M12 радует, то что с обработкой совершенно не понятно. А ведь это намного важнее, чем колличество проиндексированных страниц.

Вот же бот сеть будет!

Кто-нибудь задумывался, а возможно ли вообще сделать адекватный распределенный поиск по вебу?

Сама идея распределенного поиска мне нравиться, но не могу представить каким образом будут ранжироваться результаты, как обеспечить приемлемое время ответа клиенту, как избежать дублирования в распределенном индексе и выдаче, как быть с обновлением(удалением) контента?

Хорошо - будет в индексе больше документов чем у Гугла, но я сильно сомневаюсь, что поиск по этому массиву будет реализован лучше, если это впринципе возможно. Может разработчики решили: "давайте соберем базу, а после решим как со всем этим хламом полететь"?

Вам еще хочется пользоваться этой сетью после этого ? :)
А еще я полчаса назад сбегал с их базы в Deus Ex :-P

У меня поиск ни в какую не работает(
Подумает, подумает над запросом и выдает ошибку, что сервер не найден.

Замечательная идея! И всего-то нужно: а) предоставить свои ресурсы и трафик б) установить себе какаю-то левую софтину в) дождаться когда тоже самое сделают миллионы других гиков. Гугл действительно закатали в асфальт!:)

А может речь идет не о распределенном поиске, а о респределенной индексации? Храниться индексы будут все равно в датацентре этой конторы, как там ее. Задача же программы, работающей на стороне клиента: скушать HTML страницу, убрать из нее теги и прочий неинформативный мусор и отослать в "улей" кусочек индекса. Таким образом конторе нужно меньше тратиться на траффик.
Пропиарить свой сайт или внести изменения в индекс, думаю тоже не получится, потому что все грамотно написанные распределенные системы используют избыточность - дают один и тот же кусок работы нескольким машинам, и сравнивают результаты (так делают и Seti, и Boinc, и Folding@home). Если результаты обработки одного и того же куска работы оказываются разные - это настораживает их там в "центре".

Кроме того, сделать людей "причастными к рождению" - это реклама.

есть подобный проэкт под нозванием del.icio.us только основная идея там в тегах, и осмысленном добавлении тега на статью самим пользователем.
Сейчас этот ресурс принадлежит Yahoo.

"Проект амбициозный - но потенциал у него есть"

не понял фразы из текста)

Хороший поисковик — это не только и не столько громадный индекс. Это нехилая работа математиков, работающих над алгоритмами подсчета релевантности результатов поиска. В Яндексе этим занимаются математики — доктора наук. Думаю, что у Гугля в этом плане похожий подход.
Потому-то я и считаю, что смысла в этом проекте как в поисковике нет. Скорее всего, они сами это осознают и в итоге продадут свой индекс какому-нибудь Яху за бесценок.

вбил "viagra" и всё понял.
вообще, идея висит в воздухе давно (YaCa вроде самый старый из подобных проектов), но никто никак не осилит совмещение соцсети (типа digg) с p2p поисковой машиной: репутации пользователей, оценки выдачам (лопата для спама), децентрализированное хранение данных, распределение трафикоёмких процессов и т.п.