How to become an author
Search
Write a publication
Pull to refresh

Comments 39

Просто подарок любителям сеток ГС и автоматической генерации контента. Контента… бери не хочу.
Total votes 7: ↑5 and ↓2+3
И чего они будут делать с этим? Проще парсить RSS для этого. А вот создать сервис для SEO-шников, чтобы смотреть беки это можно. Вот только таких сервисов уже есть пара штук и как я знаю базу они собирают сами: индексируют web своим пауком.
Total votes 5: ↑5 and ↓0+5
Можно и RSS парсить. Там, где он есть, конечно. А тут громадные объемы наверняка не просто сырой а как-то структурированной информации. Причем с графом ссылок! Для генерации контента, имхо, очень вкусная должна быть основа.

И для мирного использования можно применять, конечно. Мне, правда, кроме скармливания этого потока какому-то подобию ИИ для обучения больше ничего сразу в голову не приходит.
Total votes 3: ↑2 and ↓1+1
UFO just landed and posted this here
Анатоле улыбается, когда кто-то заморачивается сохранением интернета на диск. Лишние телодвижения.
Total votes 6: ↑4 and ↓2+2
Анатоле сохраняет в мозг, что бы лишний раз не шевелится? :-)
Total votes 1: ↑0 and ↓1-1
Вообще то мозг Анатоле — это и есть интернет.
Total votes 3: ↑2 and ↓1+1
Так и представляю картину, В метро В ларьке «Весь интернет на 1 dvd, без потерь качества»
Total votes 7: ↑7 and ↓0+7
UFO just landed and posted this here
> Предполагается, что это приведёт к созданию целой плеяды инновационных веб-сервисов.
Интересно, каким образом? Не вижу закономерности.
This comment wasn’t rated yet0
Оффлайн-гугл. Качаешь себе 50 Тб данных и ищешь, что нужно, у себя на компьютере! %)
This comment wasn’t rated yet0
только скорость поиска будет так себе)
Total votes 2: ↑2 and ↓0+2
И качать больше года, при канале в 10мбит)
This comment wasn’t rated yet0
гугла не выйдет. 50Тб весят урлы, а не контент
Total votes 4: ↑2 and ↓20
Вы всегда такой зануда?:)
Total votes 2: ↑2 and ↓0+2
Просто люблю обламывать мысли о халяве :)
Total votes 1: ↑1 and ↓0+1
50 ТБ / 5 миллиардов страниц = 10 000 байт на урл. Не верю.
Total votes 1: ↑0 and ↓1-1
10000 байт записи / ~100 байт на связь ≅ 100 связей у страницы. Не верю.
Total votes 1: ↑0 and ↓1-1
Кстати отличнейший способ распространения такого объема информации.
Total votes 6: ↑6 and ↓0+6
Если оно выложено на S3, то оно уже доступно в виде торрента.
Total votes 9: ↑5 and ↓4+1
пошел затариваться домашним поисковым кластером…
This comment wasn’t rated yet0
информация в сети генерируется очень быстрыми темпами, как их паук справляется с задачей получения актуальной информации?
Total votes 2: ↑1 and ↓10
А что тут не понятно? Когда ему на пути встречается другой паук, он его пожирает, тем самым поглощая собранную информацию.
Total votes 38: ↑38 and ↓0+38
Главное, чтобы ему не встретился паук Гугла.
Хотя, автор сервиса — работник Гугла, наверное гугловский паук примет его за своего.
This comment wasn’t rated yet0
В конце останется только Один!
Борн ту би кинг оф зе Юнивёрс! (и музыка Queen из Горца)
Total votes 1: ↑1 and ↓0+1
Интересно что там в этой базе с русским интернетом.
This comment wasn’t rated yet0
не хочу показаться капитаном, но выше я уже ответил на этот вопрос, если им на своем пути, встречался например паук Яндекса, то там с русским должно быть все в порядке
Total votes 4: ↑2 and ↓20
Хороший датасет для тестирования вских GraphDB
This comment wasn’t rated yet0
Да кому нужна эта куча мусора?
Лучше бы хабр проиндексировали — этого достаточно =)
Total votes 3: ↑1 and ↓2-1
UFO just landed and posted this here
Как показывает история, такой объём данных лишним не бывает.
This comment wasn’t rated yet0
Лет 10 назад Гугл (тогда еще мало кому известный… да, были времена) присылал по почте 5 cd с данными пауков для участия в конкурсе по программированию каких-то алгоритмов… похоже опять конкурс только рассылать cd теперь накладнее
Total votes 1: ↑1 and ↓0+1
теперь шкафчик с жёсткими дисками будет
This comment wasn’t rated yet0
Sign up to leave a comment.

Articles

Show the best of all time
Unlock dark mode

Your account

Sections

Information

Services

Support
© 2006–2024, Habr