Pull to refresh
  • by relevance
  • by date
  • by rating

Еще пара слов о потоковой репликации в postgres…

PostgreSQL


Асинхронная потоковая репликация — полезная штука. Для нее нынче есть много различных утилит, можно выстроить большую, мощную и верную систему.

Но предположим, что у Вас небольшая задача, пара серверов и встроенная postgres-репликация. О ее настройке материалов достаточно, и о действиях в случае отказа мастера тоже можно найти.

А вот с вопросом восстановления мастера оказалась беда, поэтому делюсь с Вами собранным по кусочкам с просторов интернета руководством к действию, опробованным и протестеным мною на связках серверов Debian GNU/Linux и FreeBSD 8.2 с PostgreSQL 9.1

Инструкция
Total votes 18: ↑18 and ↓0 +18
Views23.7K
Comments 26

Простая настройка репликации в PostgreSQL

PostgreSQL
Sandbox
image
Возникла необходимость быстро и как можно проще организовать репликацию данных с сервера БД на резервный сервер. Простой и понятный способ на просторах Сети так и не нашелся, по этому пришлось по частям собрать информацию, которая и стала этой статьёй.

Решаемая задача. Исходные данные


Итак, имеем сервер БД, с которым работают клиенты, и резервный сервер, на который надо настроить репликацию с основной базы данных.
В моём случае используется PostgreSQL 9.2.1, который установлен на обоих серверах и поддерживает потоковую репликацию. Предположим что база данных на основном сервере развернута и работает, на резервном только установлен, но не настроен PostgreSQL. Для примера возьмем IP-адрес 192.168.1.1 за адрес основного сервера, IP-адрес 192.168.1.2 — за адрес резервного.
Как это сделать
Total votes 10: ↑7 and ↓3 +4
Views8.8K
Comments 3

Простой, но эффективный прием для работы с блоками комментариев SQL

«Embarcadero (Borland)» corporate blogSQL
Разработчикам систем, использующих базы данных, приходится много писать на языке SQL. Все знают, но не все это осознают, что SQL переживает уже четвертый десяток лет как одна из самых успешных и широко распространенных технологий в мире компьютеров. Технологии не стоят на месте, но даже сегодня, многие создатели пост-реляционных систем баз данных специально вкладывают средства и ресурсы для предоставления пользователям SQL-подобных средств поиска и манипуляции данных. Давайте рассмотрим, как современные требования к продуктам для разработки БД облегчают и ускоряют создание корректного кода на SQL и познакомимся с любопытным маленьким трюком.

Недавно наткнулся на простое и эффективное решение одной элементарной даже не проблемы, а неудобства и решил поделиться. Суть вот в чем:

Как и любой практикующий разработчик SQL или администратор БД, я сохраняю скрипты для решения повторяющихся задач, чтобы в будущем уже иметь подготовленный инструмент для быстрого выполнения. С помощью DBArtisan можно автоматически записывать все операторы SQL, которые я выполнял в течение сессии и потом использовать некоторые из них для создания и сохранения таких скриптов.  В среде DBArtisan я могу поместить в главное меню пункты для вызова наиболее часто используемых скриптов или одновременно выполнить скрипт на нескольких серверах.

Естественно, многие из таких повторяющихся задач требуют различных специализированных «кусков кода», в зависимости от решаемой задачи  или БД. Оказалось, что часто быстрее и проще в поддержке не создавать множество однотипных, «почти» совпадающих скриптов SQL или версий, а применять «блочные комментарии» для временного выключения/включения нужного фрагмента SQL и вручную управлять ими в ISQL редакторе.
Читать дальше →
Total votes 7: ↑6 and ↓1 +5
Views12.7K
Comments 6

Смотрите онлайн-трансляцию конференции Data Platform Day о платформе SQL Server 2014

Microsoft corporate blogMicrosoft SQL Server
Сегодня 24 апреля в 10:00 по московскому времени приглашаем вас подключиться к онлайн трансляции ключевого события года в мире серверных и облачный решений – конференции Data Platform Day.



В рамках глобальной стратегии развития Microsoft Cloud OS** Вам будет представлена универсальная платформа SQL Server 2014, устанавливающая новые стандарты в области хранения и управления данными любого типа и объема.

Ведущие эксперты Microsoft и компаний-партнеров продемонстрируют:

  • новейшие технологии, обеспечивающие работу критически важных приложений;
  • современные решения по сбору, анализу и виртуализации данных, в том числе по работе с Большими Данными (Big Data);
  • новые возможности по построению гибридных ИТ-систем.

Подключиться к онлайн-трансляции


смотреть в плеере на Хабре...
Total votes 24: ↑19 and ↓5 +14
Views2.7K
Comments 0

Hello MongoDB (открытый удаленный доступ)

Information SecurityMongoDB
Доброго времени суток.

Прошелся по поиску хабра, но не нашел поста о такой проблеме, хотя пару раз комментарии посвященных людей всплывали.

У нас несколько VPS'ок, где используем MongoDB, ОС обычно дебиан 6/убунту, практически все ставим из пакетов, благо всего хватает. На днях, проверяя старые сервера, обнаружил


Для меня конечно было шоком! Попытка получить удаленный доступ увенчалась успехом

Читать дальше →
Total votes 58: ↑46 and ↓12 +34
Views29.3K
Comments 28

InterSystems Enterprise Manager

InterSystems corporate blog
Tutorial
В стеке продуктов InterSystems появилось новое, бесплатное приложение для управления инстансами Caché и Ensemble — Enterprise Manager (EM). В этой статье я расскажу об основных возможностях нового продукта. Приложение активно развивается и поддерживает Caché, Ensemble и HealthShare версии 2014.1+.

InterSystems EM предоставляет инструменты для централизованного управления продуктами InterSystems. EM устраняет необходимость ручного изменения настроек, связанных с безопасностью, пользователями, лицензированием, пространством имен и базами данных и позволяет проводить единообразную политику изменения конфигураций серверов, исключая ошибки ручного ввода. EM позволит администраторам контролировать, кто может вносить изменения, а также сравнивать и отменять любые изменения, которые были сделаны.

EM является автономным, защищенным приложением. После начала управления продуктами InterSystems с помощью EM, все коммуникации между EM и управляемым инстансом шифруются (с помощью SSL / TLS или WSS).
Читать дальше →
Total votes 19: ↑16 and ↓3 +13
Views2.1K
Comments 2

PostgreSQL: Приемы на продакшене

PostgreSQLSQLBig Data
Можно прочитать много книг по базам данных, написать кучу приложений на аутсорс или для себя. Но при этом невозможно не наступить на грабли, при работе с действительно большими базами/таблицами особенно, когда downtime на большом проекте хочется свести к минимуму, а еще лучше совсем избежать. Вот здесь самые простые операции, как например изменение структуры таблицы может стать более сложной задачей. Наиболее интересные случаи, проблемы, грабли и их решения из личного опыта с которыми нам на проекте Pushwoosh пришлось столкнуться описаны под катом. В статье нет красивых картинок, зато есть много сухого текста.

image
Читать дальше →
Total votes 75: ↑70 and ↓5 +65
Views81.9K
Comments 19

MongoDB Replica Set и OpLog на одном сервере

Website developmentMongoDBMeteor.JS
Tutorial

Пример настройки MongoDB с закрытым доступом через сеть Интернет. В данной статье приведен пример разворачивания трех Replica Set и активацией OpLog на одном сервере. OpLog необходим "реактивным" приложениям, которые следят (слушают) за изменениями в MongoDB, например для приложений на основе Meteor (для отключения long-polling'а).

Читать дальше →
Rating 0
Views9.8K
Comments 0

Криптовымогатели продают инструмент для атаки на системы использующие MongoDB, Hadoop и ElasticSearch

Inoventica Services corporate blogInformation Security
image

В начале января этого года группа из 21 хакера провела масштабную серию кибератак, жертвами которой стали системы, использующие MongoDB. За пять дней было инфицировано порядка 21600 баз данных MongoDB, а только злоумышленники, называющие себя Kraken Group получили выкупов на сумму в 9,8 BTC (около 7700$).

Но даже после активного противодействия атаке и освещения проблемы в зарубежной профессиональной прессе и блогосфере, хакеры останавливаться не собираются. К концу января все кто хотел заплатить — заплатили, но группа останавливаться не собирается.
Читать дальше →
Total votes 16: ↑16 and ↓0 +16
Views5.4K
Comments 7

Как самостоятельно обслуживать 2500 бухгалтерских баз

Кнопка corporate blogSystem administrationIT InfrastructureServer AdministrationDatabase Administration
В этой статье Кнопка честно расскажет про подводные камни администрирования бухгалтерских инструментов и даст практические советы с полезными ссылками.


Читать дальше →
Total votes 22: ↑21 and ↓1 +20
Views18.2K
Comments 42

Анализ работы MS SQL Server, для тех кто видит его впервые

Database Administration
Sandbox
Опубликовано продолжение: часть 2

Недавно столкнулся с проблемой — занедужил SVN на ubuntu server. Сам я программирую под windows и с linux “на Вы”… Погуглил по ошибке — безрезультатно. Ошибка оказалась самая типовая (сервер неожиданно закрыл соединение) и ни о чем конкретном не говорящая. Следовательно, надо погружаться глубже и анализировать логи/настройки/права/и т.п., а с этим, как раз, я “на Вы”.

В результате, конечно, разобрался и нашел всё что нужно, но время потрачено много. В очередной раз думая, как глобально (да-да, во всём мире или хотя бы на ⅙ части суши) уменьшить бесполезно потраченные часы — решил написать статью, которая поможет людям быстро сориентироваться в незнакомом программном обеспечении.

Писать я буду не про линукс — проблему хоть и решил, но профессионалом вряд ли стал. Напишу про более знакомый мне MS SQL. Благо, уже приходилось много раз отвечать на вопросы и список типовых уже готов.

Для кого пишу

Если вы админ в Сбере (или в Яндексе или <другая топ-100 компания>), вы можете сохранить статью в избранное. Да, пригодится! Когда к вам, в очередной раз, с одними и теми же вопросами придут новички — Вы дадите им ссылку на нее. Это сэкономит Ваше время.

Если без шуток, эта СУБД часто используется в небольших компаниях. Часто совместно с 1С либо другим ПО. Отдельного БД-админа таким компаниям держать затратно — надо будет выкручиваться обычному ИТ-шнику. Для таких и пишу.
Читать дальше →
Total votes 33: ↑31 and ↓2 +29
Views86.5K
Comments 28

DBaaS: базы данных в облаке

Техносерв corporate blogVirtualizationCloud computingDatabase AdministrationData storage

Источник


Друзья, всех с прошедшим вчера Днем программиста! Жизни без багов и красивейшего кода!)


Мы продолжаем разбор облачных сервисов Техносерв Cloud и сегодня детально разложим, из чего состоит наша облачная база данных. Если заглянуть в результаты исследования, проведенного IDG Connect по заказу Oracle, увидим, что DBaaS скоро будет самым востребованным сервисом частного облака. Растет и число публичных сервисов DBaaS.


Снижение затрат за счет консолидации ресурсов, масштабирование по мере необходимости, контроль расходов, доступ к данным из любого места – всё это факторы, влияющие на выбор в пользу облачной базы данных. На рынке облачных услуг свои базы данных предлагают его ведущие игроки – Amazon Web Services, IBM, Microsoft и Oracle. Но есть одна проблема — все они разворачивают БД за пределами России, более того, далеко не все из них предлагают сервис – администрирование, управление производительностью, круглосуточную техническую поддержку (желательно на русском языке), – а только платформу.


Чтобы ответить на этот запрос рынка, мы запустили свой сервис и стали единственным российским облачный провайдером, работающим с четырьмя основными базами данных под ФЗ-152 и ФЗ-242.

Читать дальше →
Total votes 12: ↑11 and ↓1 +10
Views18.4K
Comments 0

Как запустить SQL Profiler Trace ночью, в определенное время?

SQLServer AdministrationMicrosoft SQL ServerDatabase Administration
Как запустить SQL profiler trace, когда проблему надо ловить с 3:00 до 3:30 утра? Делать это можно с помощью трейса на стороне сервера, но это крайне неудобно. Именно не сложно, а неудобно, и всегда лень. Наконец я решился автоматизировать это раз и навсегда. Вот так:


Читать дальше →
Total votes 19: ↑19 and ↓0 +19
Views2.5K
Comments 3

Исследование быстродействия СУБД MS SQL Server Developer 2016 и PostgreSQL 10.5 для 1С

PostgreSQL.NETSQLMicrosoft SQL ServerDatabase Administration
Tutorial

Цели и требования к тестированию «1С Бухгалтерии»


Основной целью проводимого тестирования является сравнение поведения системы 1С на двух разных СУБД при прочих одинаковых условиях. Т.е. конфигурация баз данных 1С и первоначальная заполненность данными должны быть одинаковыми при проведении каждого тестирования.

Основными параметрами, которые должны быть получены при тестировании:

  • Время выполнения каждого теста (снимается отделом Разработки 1С)
  • Нагрузка на СУБД и серверное окружение во время выполнения теста снимается- администраторами СУБД, а также по серверному окружению системными администраторами

Тестирование системы 1С должно выполняться с учетом клиент-серверной архитектуры, поэтому необходимо произвести полноценную эмуляцию работы пользователя или нескольких пользователей в системе с отработкой ввода информации в интерфейсе и сохранением этой информации в базе данных. При этом, необходимо, чтобы большой объем периодической информации был разнесен по большому отрезку времени для создания итогов в регистрах накопления.

Для выполнения тестирования разработан алгоритм в виде скрипта сценарного тестирования, для конфигурации 1С Бухгалтерия 3.0, в котором выполняется последовательный ввод тестовых данных в систему 1С. Скрипт позволяет указать различные настройки по выполняемым действиям и количеству тестовых данных. Детальное описание ниже по тексту.

Описание настроек и характеристик тестируемых сред


Мы в компании Fortis решили перепроверить результаты, в том числе с помощью известного теста Гилева.

Также нас подстегнуло к тестированию в том числе и некоторые публикации по результатам изменения производительности при переходе от MS SQL Server к PostgreSQL. Такие как: 1С Батл: PostgreSQL 9,10 vs MS SQL 2016.
Читать дальше →
Total votes 57: ↑53 and ↓4 +49
Views30.8K
Comments 113

Обзор бесплатного инструмента SQLIndexManager

.NETSQLMicrosoft SQL ServerDatabase AdministrationC#
Tutorial
Как известно индексы играют важную роль в СУБД, предоставляя быстрый поиск к нужным записям. Потому так важно их своевременно обслуживать. Об анализе и оптимизации написано достаточно много материала, в том числе и в Интернете. Например, недавно делался обзор данной темы в этой публикации.

Существует множество как платных, так и бесплатных решений для этого. Например, есть готовое решение, основанное на адаптивном методе оптимизации индексов.

Далее рассмотрим бесплатную утилиту SQLIndexManager, автором которой является AlanDenton.
Читать дальше →
Total votes 31: ↑31 and ↓0 +31
Views8.2K
Comments 26

К чему привела миграция с ClickHouse без авторизации на ClickHouse с авторизацией

Nixys corporate blogSystem administrationIT InfrastructureServer AdministrationDatabase Administration

Давайте начнем с небольшой предыстории. У нас в компании на обслуживании стоит проект, который до недавнего времени находился в стадии тестирования/разработки. На тот момент в нём использовался ClickHouse с 3 шардами по 2 реплики в каждом. Учитывая то, что инфраструктура этого проекта была тестовой и не требовала никакой дополнительной авторизации (ClickHouse был в закрытом сегменте), никто этим вопросом не задавался.


Со временем проект вырос, ClickHouse стал production базой и нами была произведена миграция данных со старой инфраструктуры в новую с 1 шардом, 3 репликами на 3-х разных серверах (ClickHouse размещён в Kubernetes на базе StatefulSets) и, конечно, с авторизацией.


Вот что было дальше.

Читать дальше →
Total votes 12: ↑12 and ↓0 +12
Views3.6K
Comments 2

Инкрементальные бэкапы postgresql с pgbackrest — курс молодого бойца от разработчика

PostgreSQLServer AdministrationDatabase Administration
Sandbox
Дисклеймер

Я — разработчик. Я пишу код, с базой данных взаимодействую лишь как пользователь. Я ни в коем случае не претендую на должность системного администратора и, тем более, dba. Но…

Так вышло, что мне нужно было организовать резервное копирование postgresql базы данных. Никаких облаков — держи SSH и сделай, чтобы все работало и не просило денег. Что мы делаем в таких случаях? Правильно, пихаем pgdump в cron, каждый день бэкапим все в архив и если совсем разошлись — отправляем этот архив куда-нибудь подальше.

В этот раз сложность состояла в том, что по планам база должна была расти примерно на +- 100 МБ в день. Разумеется, уже через пару недель желание бэкапить все pgdump'ом отпадет. Тут на помощь приходят инкрементальные бэкапы.

Интересно? Добро пожаловать под кат.
Читать дальше →
Total votes 17: ↑17 and ↓0 +17
Views11.2K
Comments 15

Проверяем на самих себе: как развернут и как администрируется 1С: Документооборот внутри компании 1С

1С corporate blogMicrosoft SQL ServerDatabase Administration
Мы в фирме 1С широко используем собственные разработки для организации работы компании. В частности, «1С:Документооборот 8». Помимо управления документами (как следует из названия) это ещё и современная ECM-система (Enterprise Content Management — управление корпоративным контентом) с широким набором функциональных возможностей – почта, рабочие календари сотрудников, организация совместного доступа к ресурсам (например, бронирование переговорных), учёт рабочего времени, корпоративный форум и многое другое.

В фирме 1С документооборотом пользуется более тысячи сотрудников. База данных стала уже внушительной (11 млрд. записей), а это значит, что она требует более тщательного ухода и более мощного оборудования.

Как устроена работа нашей системы, с какими сложностями при обслуживании базы мы сталкиваемся и как их решаем (в качестве СУБД мы используем MS SQL Server) – расскажем в статье.

Для тех, кто впервые читает про продукты 1С.
1С:Документооборот — это прикладное решение (конфигурация), реализованное на базе фреймворка для разработки бизнес-приложений — платформе 1С:Предприятие.


image

Читать дальше →
Total votes 15: ↑15 and ↓0 +15
Views15.3K
Comments 49