Открыть список
Как стать автором
Обновить
  • по релевантности
  • по времени
  • по рейтингу

Яндекс.Облако запустила автоматически обновляемую систему управления базами данных вместе с Mongo DB

Хранение данныхХранилища данныхФинансы в ITIT-компании


Разработчик системы управления базами данных MongoDB и платформа Яндекс.Облако объявили о партнерстве. Яндекс.Облако стала первым официальным партнером MongoDB в России. Платформа предоставила компании сервис Managed Service for MongoDB, который помогает поддерживать кластеры баз данных на основе СУБД Mongo DB.

«MongoDB — популярное NoSQL-решение для хранения данных с открытым исходным кодом. С Managed Service for MongoDB вы можете создавать, эксплуатировать и масштабировать нереляционные базы данных MongoDB в инфраструктуре Яндекс.Облака», — поясняют в Яндекс.Облаке.
Читать дальше →
Всего голосов 16: ↑14 и ↓2 +12
Просмотры3.4K
Комментарии 0

Очередная утечка персональных данных более 44 тыс. человек

Информационная безопасностьMongoDBЗаконодательство в IT
Как написали в РБК, произошла очередная утечка персональных данных россиян, на этот раз желающих взять кредит.
В интернете в свободном доступе оказалась база клиентов кредитного брокера «Альфа-кредит», оказывающего помощь в получении займов. Данные десятков тысяч россиян можно использовать для рекламных обзвонов и социальной инженерии
Читать дальше →
Всего голосов 17: ↑15 и ↓2 +13
Просмотры10.1K
Комментарии 35

Хакер взламывает базы данных MongoDB и требует выкуп с угрозами слить персданные и сообщить в органы защиты GDPR

Информационная безопасностьАдминистрирование баз данныхЗаконодательство в IT


В начале июля 2020 года издания BleepingComputer и ZDNet сообщили, что злоумышленник смог получить удаленный доступ к более чем 22 тыс. баз данных MongoDB, часть из которых даже не были защищены паролями.

Хакер воспользовался этой ситуацией в целях обогащения — он требует выкуп от владельцев баз в размере 0,015 биткойна или их данные будут выложены в открытый доступ. Вдобавок взломщик угрожает, что информация об этом инциденте будет сообщена в соответствующие органы по защите GDPR (General Data Protection Regulation), которые могут выписать штраф владельцу плохо защищенной или даже открытой MongoDB.
Читать дальше →
Всего голосов 20: ↑19 и ↓1 +18
Просмотры9K
Комментарии 12

Шардинг, от которого невозможно отказаться

NoSQLMongoDBАдминистрирование баз данныхХранение данныхХранилища данных
image

А не пора ли нам шардить коллекции?
Не-е-е:


  • у нас нет времени, мы пилим фичи!
  • CPU занят всего на 80% на 64 ядерной виртуалке!
  • данных всего 2Tb!
  • наш ежедневный бекап идет как раз 24 часа!

В принципе, для большинства проектов вcё оправдано. Это может быть еще прототип или круг пользователей ограничен… Да и не факт, что проект вообще выстрелит.
Откладывать можно сколько угодно, но если проект не просто жив, а еще и растет, то до шардинга он доберется. Одна беда, обычно, бизнес логика не готова к таким "внезапным" вызовам.
А вы закладывали возможность шардинга при проектировании коллекций?


Эта статья для продвинутых разработчиков.
Для тех, кто планирует шардинг своего кластера.
Для тех, кто уже шардировал кластер ранее, но админы все еще плачут.
Для тех, кто руками перемещал jumbo-чанки.


Сначала, мы будем учится жить со слонами.
Потом, мы их победим, но не сможем вернуться назад.

Читать дальше →
Всего голосов 18: ↑18 и ↓0 +18
Просмотры8K
Комментарии 0

Ровняем шарды

NoSQLMongoDBАдминистрирование баз данныхХранение данныхХранилища данных
image

"Размышления без практики приводят к заблуждению, практика без размышления приводит к затруднению."


Мы ведём войну с индивидуальностью у шардов в кластере MongoDB.
Это продолжение статьи Шардинг от которого невозможно отказаться, а это значит, что наступила пора конкретики.


Как я и обещал, здесь мы рассмотрим подробнее:


  • настройку процесса выравнивания размера шардов
  • расчет поправок для коррекции границ
  • мониторинг распределения данных в коллекциях
Читать дальше →
Всего голосов 3: ↑3 и ↓0 +3
Просмотры185
Комментарии 0

Atlas как сервис

Блог компании OTUSNoSQLMongoDB
Перевод

Многие наши клиенты предоставляют своим командам разработчиков доступ к MongoDB как к сервису. Разработчики могут запросить экземпляр базы данных MongoDB и получить строку для подключения и учетные данные за считаные минуты. Переходя на использование MongoDB Atlas, наши клиенты заинтересованы и в том, чтобы дать своим разработчикам соответствующий уровень обслуживания.

В Atlas есть очень мощный уровень управления для предоставления кластеров. Однако в крупных организациях, где работают тысячи разработчиков, не всегда целесообразно предоставлять такому количеству людей прямой доступ к этому интерфейсу. Цель этой статьи — показать, как можно использовать API-интерфейсы Atlas для предоставления доступа к MongoDB как к сервису, когда MongoDB работает под управлением Atlas.

В частности, мы продемонстрируем способ создания интерфейса, предлагающего разработчикам набор вариантов для создания экземпляра базы данных MongoDB. Чтобы упростить себе задачу, рассмотрим, как предоставить разработчикам набор вариантов памяти и хранилища для настройки кластера. Прочие параметры, например выбор провайдера облачных услуг и региона, мы рассматривать не будем. Мы также расскажем о том, как добавлять метки к кластерам Atlas, так как эта функция не поддерживается в пользовательском интерфейсе Atlas. Для примера мы добавили метку для описания кластера.

Читать далее
Всего голосов 3: ↑3 и ↓0 +3
Просмотры421
Комментарии 0

Про использование MongoDB и CouchDB в продакшене

Чулан
Просмотрел списки инсталляций MongoDB и CouchDB.

MongoDB используют как минимум два крупных сервиса, это SourceForge и Disqus, а вот в списке CouchDB я вообще не нашел ничего достаточно крупного, по моему там все небольшие наколеночные сайтики. Поправьте меня, если я не прав.

Вот список для MongoDB, а вот для CouchDB.

Как по вашему, что из них больше готово для продакшена?
Всего голосов 7: ↑5 и ↓2 +3
Просмотры2.1K
Комментарии 11

Руби-встреча в Петербург: noSQL

Ruby
Когда: 15 октября (четверг) 2009 в 18:30.
Где: Учебный центр «Авалон».

Тема этой встречи — noSQL, не реляционные базы данных. Будет два доклада:
Алексей Газиев за еду расскажет про MongoDB.
Роман Снитко — про TokyoCabinet.

Очевидно что выступления займут меньше времени, чем в прошлый раз, поэтому есть предложение собраться после них где-нибудь поблизости от Авалона и просто пообщаться.

Также мы можем выделить немного времени для различного рода
объявлений. Например, если в Питере есть работодатели, которые ищут
Ruby-программистов, то мы с удовольствием предоставим им время
рассказать о своих вакансиях. Либо если есть какие-то проекты, которым
нужна помощь. Просто предупредите заранее и приходите на встречу.
Всего голосов 22: ↑17 и ↓5 +12
Просмотры750
Комментарии 7

MongoDB или как разлюбить SQL

NoSQL
Введение

Коллеги, при разработке приложений, мы каждый день сталкиваемся с потребностью в гибком хранении информации (обновлении, поиске по ней, и т.д.). Класс продуктов, которые решают этот круг задач, как все мы знаем — Базы данных. Но что это такое в нашем понимании? У многих «база данных» твердо ассоциируется с MySQL, таблицами и SQL-запросами. И это устраивает до определенного момента. Действительно, реляционные базы данных дают массу преимуществ в работе: поскольку данные имеют сильную связанность, не нужно контролировать целостность базы данных. Используя простой под-запрос можно выбрать количество комментариев к каждому посту в блоге. Используя JOIN нетрудно делать сложные связанные выборки и получать данные сразу о нескольких сущностях.
Читать дальше →
Всего голосов 129: ↑122 и ↓7 +115
Просмотры63.8K
Комментарии 99

MongoDB — варим хороший кофе

NoSQL
Введение

Друзья, в первую очередь хочу поблагодарить вас за высокую оценку моего труда, это приятно, и мотивирует меня продолжать. Итак, почему надо покупать наших слонов я думаю вы уже поняли из первой статьи, кто-то уже скачал и попробовал на вкус, а кто-то только собирается. Как бы там ни было, начнем.

Сегодня мы поставим MongoDB, ниже рассмотрим свежеиспеченный ХабраЛоггер и пошпионим за главной страницей Хабра в реальном времени.
Читать дальше →
Всего голосов 51: ↑48 и ↓3 +45
Просмотры17.5K
Комментарии 51

Делаем правильную платформу или Как повторить Google

Разработка веб-сайтов
Введение
Сегодня я расскажу о проектировании высоко-нагруженных отказоустойчивых систем. Акцент будет поставлен практическую разработку и жареные факты, а не на сухую теорию. После прочтения вы не испугаетесь разработки сервиса с миллиардом пользователей, если у вас будет достаточное количество серверов. Тема весьма обширна, но я постараюсь быть кратким и лаконичным.
Читать дальше →
Всего голосов 131: ↑76 и ↓55 +21
Просмотры2.4K
Комментарии 299

MongoDB и MySQL в Ruby и PHP

Разработка веб-сайтов
imageНекоторое время назад довольно заинтересовался разработкой для MongoDB и провел некоторые бенчмарки в сравнении с MySQL.
Изначально только в Ruby, но, когда результаты изумили (в худшую сторону), то и в PHP, для сравнения.
Может быть, это кому-то сэкономит некоторое время.

Читать дальше →
Всего голосов 37: ↑32 и ↓5 +27
Просмотры3.4K
Комментарии 60

Обзор NoSQL систем

NoSQL
Беспрецедентные объемы данных заставляют разработчиков и бизнес приглядываться к альтернативам реляционных баз данных, используемым вот уже более тридцати лет. В совокупности все эти технологии известны как «NoSQL базы данных».


Основной проблемой является то, что реляционные базы данных не могут справляться с нагрузками актуальными в наше время (мы говорим о high-load проектах). Есть три конкретные проблемных области:
  • горизонтальное масштабирование при больших объемах данных, например как в случае Digg (3 терабайта для зеленых значков, отображаемых, если ваш друг сделал dugg на статье) или Facebook (50 терабайт для поиска по входящим сообщениям) или eBay (2 петабайта в целом)
  • производительность каждого отдельного сервера
  • не гибкий дизайн логической структуры.
Читать дальше →
Всего голосов 101: ↑98 и ↓3 +95
Просмотры49.6K
Комментарии 67

Видео с OpenSQL Camp o MySQL и не только

MySQL
В ноябре этого года, в Портланде, США прошла конференция OpenSQL Camp посвященная опенсорс СУБД.
Совершенно случайно наткнулся на видео докладов и спешу ими поделиться. Общий уровень конференции, как мне показалось, достаточно высок, так что советую посмотреть. Часть видео, к сожалению, в плохом качестве. Все презентации, конечно же, на английском.
Читать дальше →
Всего голосов 5: ↑5 и ↓0 +5
Просмотры1.2K
Комментарии 4

phpDaemon — фреймворк асинхронных приложений

PHP
Сегодня речь пойдет о phpDaemon — асинхронном модульном демоне-фреймворке, который берёт на себя обработку I/O (libevent) и другие низкоуровневые задачи, присущие демонам. С его помощью легко писать правильные сетевые приложения с блэкджеком и шлюхами.
Из коробки идут сервера FastCGI, HTTP, CGI, FlashPolicy, Telnet, WebSocket (!) — да-да тот самый волшебный пендаль новый протокол от Google. И клиенты mysql, memcached, mongodb… И многое другое, полный список под катом. Работать с сетью действительно просто. Программист средней руки может написать, к примеру, IRC-бота за считанные часы.
В качестве наглядного примера я реализовал вот этот чат на phpDaemon + WebSocket + MongoDB + jQuery. Он наглядно демонстрирует преимущества этой технологии: доставка сообщений мгновенна, накладные расходы при обмене данными минимальны, высока производительность, приложение масштабируется горизонтально. Исходники этого чата (в данный момент 17 кб). Прошу заметить, чат тестировался и работает в Chrome, FF, IE6+, Iron, Safari.
Читать дальше →
Всего голосов 114: ↑99 и ↓15 +84
Просмотры42.9K
Комментарии 103

Производительность upsert'ов в MongoDB

Чулан
В nosql-базе MongoDB есть аналог mysql'ного INSERT… ON DUPLICATE KEY UPDATE — upsert'ы (UPdate or inSERT).

Насколько быстро это делает mongodb?

Вопрос не праздный, так как при upsert'ах выполняются две операции — чтение и запись. Наличие индексов ускоряет чтение, но замедляет запись. Кто из них сильнее ускоряет, а кто круче замедляет?

upd: добавлен еще один график

Читать дальше →
Всего голосов 19: ↑18 и ↓1 +17
Просмотры984
Комментарии 18

Перевод — BoxedIce делится опытом перехода с MySQL на MongoDB

NoSQL
Ссылка на эту статью уже мелькала на Хабре и я столкнулся с интересом к ней. Многие испытали проблемы с освоением оригинала на английском и я решил перевести ее.

Заметки об использовании MongoDB в продакшене


Год назад в июле я писал о том, что мы перешли с MySQL на MongoDB.
Мы запустили MongoDB в продакшене для сервиса мониторинга Server Density. С тех пор прошло 8 месяцев и мы столкнулись с некоторыми вещами.
Читать дальше →
Всего голосов 58: ↑51 и ↓7 +44
Просмотры7K
Комментарии 11

Первая встреча клуба DZ – MongoDB, Clojure, MapReduce и Azure

Разработка веб-сайтовMongoDBMicrosoft AzureClojure
Вчера побывал на интересном мероприятии и хотел поделиться впечатлениями. Мероприятие представляло из себя неформальную встречу с открытыми обсуждениями, общением и множеством практической информации.

С некоторой статистикой вы можете ознакомиться в ЖЖ главного организатора Дмитрия Завалишина из Digital Zone.

Вкратце по темам – MongoDB, Clojure, MapReduce и Azure. В ходе первоначального знакомства всех пришедших стало известно, что основная часть людей пришла послушать про мир без SQL в лице MongoDB.
Подробнее...
Всего голосов 26: ↑19 и ↓7 +12
Просмотры982
Комментарии 5

MongoDB vs MySQL (vs Cassandra): А теперь чуть более правильный ответ

MySQL
Собственно, сегодня был запощен топик "Сравниваем производительность MongoDB и MySQL на простом примере", в котором указывалось, что MongoDB превышает по производительности MySQL в разы. Хех, когда такое пишут — я сразу лезу проверять и сомневаться. Я полез в исходники оригинального теста (спасибо за публикацию). И как оказалось автор оригинального топика сделал ошибку в три символа и на самом деле не все так:
  1. В оригинале: MongoDB быстрее MySQL пишет в 1.5 раза (ДА, правда у меня в 3 раза)
  2. В оригинале: MongoDB быстрее MySQL читает в 10 раз (НЕТ, на самом деле — MongoDB примерно на равных плюс-минус 10-30%)
  3. InnoDB vs MyISAM — плюс-минус (в оригинале не тестировалось)
Сравнение здесь происходит только как key-value storage (запись-чтение по primary key).


На графике — число операций в секунду, (больше — лучше), шкала логарифмическая.
Последняя строка — то, что тестировал автор оригинального топика (неправильное, не в критику — все мы ошибаемся и учимся).


А теперь подробнее об ошибке…
Читать дальше →
Всего голосов 62: ↑56 и ↓6 +50
Просмотры26.3K
Комментарии 71

Chain Friends by MongoDB

NoSQL
imageПро MongoDb было рассказано не так много, но относительно полно, например здесь. Хочу поделиться еще с одним практическим использованием этой БД — это построение цепочек друзей. Построение цепочек и концепцию кругов было использовано в Мойм Круге. Вот пример: Я — Иван Петров — Петр-Иванов — Киририлл Лавров — Вася Пупкин.

MongoDb было выбрано как высокопроизводительное хранилище данных, позволяющее быстро извлекать массивы структур данных. Традиционные key/value DB для этого не подходят, почему — поймете по ходу изложения статьи.

В данной статье рассмотрен опыт использования noSQL DB при построение «цепочек друзей» в небольшой соц-сети 300 тыс пользователей.
Читать дальше →
Всего голосов 35: ↑27 и ↓8 +19
Просмотры3.1K
Комментарии 62