Pull to refresh

Facebook хранит данные в одном дата-центре и обрабатывает 500 Тб данных в день

Reading time 2 min
Views 3.2K
Вице-президент по инфраструктуре крупнейшей социальной сети мира, которая переживает не лучшие дни на фондовой бирже, Джей Перикх (Jay Parikh) рассказал журналистам о некоторых статистических показателях работы своей компании, что позволяет оценить масштаб данных и число пользователей, активно работающих с Facebook.

Прежде всего оказалось, что в отличие от многих компаний, которые строят распределённую сеть дата-центров для облегчения доставки контента пользователям из различных регионов, Facebook хранит все данные в одном «кластере» объёмом более 100 Пб, что больше любого из кластеров дата-центров компаний, сравнимых по масштабам с Facebook. Это позволяет инженерам оперативно получать доступ к сети и контролировать её состояние.


Многие функции Facebook требуют оперативного сканирования данных пользователя — например, требуется крайне оперативно помещать обновления статусов друзей и другие новости в «хронику» или предлагать возможных «френдов» — для этого инфраструктура сети каждые полчаса обрабатывает 105 Тб имеющегося контента.

В целом, главная статистика пользовательской базы выглядит следующим образом:

  • Ежедневно фиксируются 2.5 млрд «лайков» как в самой сети, так в социальных плагинах на сторонних сайтах
  • Также пользователи за сутки загружают 300 Тб фотографий, удалить которые до недавнего времени было не так-то просто
  • Генерируется 70 000 запросов от людей и автоматизированных систем (70,000 queries executed by people and automated systems)
  • Объём даных в сети каждый день увеличивается на 500 Тб


Само собой, что Перикх утверждает, что инженеры Facebook прилагают максимум усилий для наиболее быстрой работы сети и улучшения пользовательского опыта — обработка данных происходит «почти в режиме реального времени». «Мы не можем позволить, чтобы фото загружалось целую неделю» — говорит он.

[Источник]
Tags:
Hubs:
+20
Comments 52
Comments Comments 52

Articles