Комментарии 20
Интересно, много ли таких, кто ещё не понимает, какая польза от Big Data?
Как по мне сам термин размыт, не понятно где грани bigdata и просто data в какой момент оно становится big? вот если я из логов nginx образно собираю какуе-то аналитику по пользователям сразу с 2-х серверов то это уже как бы bigdata, а вот если я тоже самое но в реалтайме посчитаю и ужмусь до 1-го сервера потому что не нужно больше хранить огромные логи то это автоматом уже не bigdata. А на выходе одно и тоже.
Я понимаю что пример корявый но лучше в голову не чего не приходит.
Когда говорят про Big Data, часто упоминают 3V (volume, variety and velocity). То есть когда её много, данные сильно разные и быстро генерируются.
речь не о термине, а о технологиях которые определяют себя как big data

например apache hadoop
Как раз использование «бигдатных» технологий не означает, что у вас Big Data :) Можно держать в Hadoop файловую помойку, можно поднять свою базу в AWS или GCP — но если данные не обладают характеристиками 3V, вряд ли это можно назвать Big Data.
зачем рассматривать «сказочные» use cases из разряда забивания гвоздей микроскопом?
и например у facebook hdfs использовалась для хранения текстовых комментариев и фотографий, вполне себе «помойка», но размером на 21PB в 2010 году
всего 2V, variety тут отсуствует… и что? ну и сам Doug Laney (автор диаграмки 3V, 2001) через 10+ лет уже пишет, что «big data уже самодостаточный набор инструментов для решения прикладных задач»

Самое лучшее объяснение "когда начинается big data", которое встречал, выглядит так: когда вы на хорошем ноуте (современный проц, 32гб оперативки) в excel не можете построить нужные графики и отчёты.
Это, конечно, полушутка, но учитывая возможные выгрузки данных из dwh с нужными фильтрами, похоже на правду.

Многие из тех, кто занимаются БигДата, сами не знают, какая польза от БигДата. Вон — даже МТС ищет чем занять своих специалистов по БигДата не с помощью анализа больших данных, не через потребности своего бизнеса, не опросив своих специалистов по БигДата, а с помощью опроса сторонних экспертов.
Очень много! Дело в том, что в университетах очень слабые курсы по big data, в результате у студентов (будущих специалистов в IT) низкая заинтересованность в данном направлении отрасли
Очень и очень много. Некоторые даже слушать не хотят, хотя если разобраться им эта технология нужна позарез.
Как минимум, польза от внедрения должна перекрывать ЗП специалиста по биг-дата… А еще есть сервера и прочая…
Микробизнесу не до этого
Интересно, в каких случаях микробизнесу станет крайне необходимо внедрение big data
outsource компания, более 20+ лет стажа, подростковый секс и big data сравнивали лет 10-15 назад
есть два варианта клиентов — те кто не хочет платить за большой сервак с ораклом (и думают, что emr в амазоне будет работать не хуже) и те у кого действительно big data
например куча телеметрии с какого-то химического завода, видео с камер в городе, очень большая сеть онлайн продаж/сайтов
но более «магическая» технология это data sceince
Кстати, а по Вашему опыту, вдвое больший сервак с Постгресом заменит большой сервак с Ораклом?
«большой сервак с ораклом» — подразумевались комплексные решения уровня oracle exadata database machine i.imgur.com/EaE4FKy.png… в зависимости от конфигурации цена в год от 500к и выше i.imgur.com/SuTPplS.png
это distributed computing решение, очень тесная интеграция с распределенным storage… то есть scan задачи фактически упираются в скорости железа (infiniband шина и тд тп)
с аналогами на постгресе сложно, некоторые вещи нельзя сделать в принципе
Думаю что big data должна круто развиваться в науке (и космосе). Там как раз и спрос есть и возможности. Интересный опрос, спасибо!
ага, только там это последние лет 70 называется мат статистикой и теорией обработки результатов эксперимента.
Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.