Открыть список
Как стать автором
Обновить
  • по релевантности
  • по времени
  • по рейтингу

Как в Microsoft SQL Server получать данные из Google Analytics при помощи R

SQLMicrosoft SQL ServerGoogle APIR
Из песочницы
Tutorial

В этом материале я хочу подробно показать, как можно при помощи R в Microsoft SQL Server реализовать получение данных из Google Analytics (и вообще из любого API).


Благодарности:


Поскольку я ни разу не маркетолог мне требовалась помощь специалиста. Тестовый кабинет и доступ Google Analytics (GA) организовал Алексей Селезнёв , а также давал дельные консультации.
Он профессионально занимается аналитикой в маркетинге. И в качестве благодарности за помощь упоминается здесь телеграмм канал Алексея, где он ведет свою активность.


Задача — у нас есть сервер MS SQL и мы хотим получать данные в DWH по API


Для подключения к Google Analytics (GA) будем использовать пакет googleAnalyticsR.


Данный пакет выбран, для примера в силу своей популярности. Вы можете использовать другой пакет, например: RGoogleAnalytic.
Подходы к решению задачи будут одинаковыми.

Читать дальше →
Всего голосов 15: ↑14 и ↓1 +13
Просмотры7.1K
Комментарии 17

How to receive data from Google Analytics using R in Microsoft SQL Server

SQLMicrosoft SQL ServerGoogle APIR
Tutorial

In this article I want to show in detail how you can use R in Microsoft SQL Server to get data from Google Analytics (and generally from any API).


The task — we have MS SQL server and we want to receive data in DWH by API


We will use googleAnalyticsR package to connect to Google Analytics (GA).


This package is chosen as an example due to its popularity. You can use another package, for example: RGoogleAnalytic.
Approaches to problem solving will be the same.

Read more →
Всего голосов 9: ↑8 и ↓1 +7
Просмотры2K
Комментарии 1

2 лайфхака: альтернативы классическому поиску в Microsoft SQL Server

Блог компании MicrosoftSQLMicrosoft SQL ServerХранение данных
Привет, Хабр! Наши друзья из Softpoint подготовили интересную статью про Microsoft SQL Server. В ней разбирается два практических примера использования полнотекстового поиска:

  • Поиск по «бесконечным» строкам (напр., Комментарии) в противовес обычному поиску через LIKE;
  • Поиск по номерам документов с префиксами. Там, где обычно полнотекстовый поиск применять нельзя: ему мешают постоянные префиксы. Разбирается 2 подхода: предварительная обработка номера документа и добавление собственной библиотеки-word breaker’а.

Присоединяйтесь!

Читать дальше →
Всего голосов 14: ↑13 и ↓1 +12
Просмотры10.3K
Комментарии 13

10 бесплатных утилит ApexSQL для управления базами данных Microsoft SQL Server

Блог компании Gals SoftwareSQLIT-инфраструктураMicrosoft SQL ServerDevOps


Привет, Хабр! Мы много работаем с Quest Software, и в этом году они приобрели ApexSQL — производителя решений для управления и мониторинга баз данных Microsoft SQL Server. В России об этих ребятах, как нам кажется, знают мало. На главной своего сайта они пишут «Killer tools for SQL Server». Звучит угрожающе. У нас появилась идея представить этого вендора и разобраться что же такого убийственного есть в их решениях. Начнём с хайповой части — бесплатных продуктов. После них будет краткая часть о коммерческих продуктах. Надеюсь, эти программы окажутся вам полезны. Прошу под кат.
Читать дальше →
Всего голосов 17: ↑17 и ↓0 +17
Просмотры13.9K
Комментарии 10

Поиск данных и объектов в базе данных MS SQL Server с помощью бесплатной утилиты dbForge Search

.NETSQLMicrosoft SQL ServerАдминистрирование баз данныхC#
Tutorial

Описание общей потребности в поиске данных и объектов в базе данных


Поиск данных, а также хранимых процедур, таблиц и других объектов в базе данных является достаточно актуальным вопросом в том числе и для C#-разработчиков, а также и для .NET-разработки в целом.

Достаточно часто может возникнуть ситуация, при которой нужно найти:

  1. объект базы данных (таблицу, представление, хранимую процедуру, функцию и т д)
  2. данные (значение и в какой таблице располагается)
  3. фрагмент кода в определениях объектов базы данных

Существует множество готовых решений как платных, так и бесплатных.

Сначала рассмотрим как можно осуществлять поиск данных и объектов в базе данных с помощью встроенных средств самой СУБД, а затем рассмотрим как это сделать с помощью бесплатной утилиты dbForge Search.
Читать дальше →
Всего голосов 42: ↑42 и ↓0 +42
Просмотры27.3K
Комментарии 10

Интерфейсы для мониторинга производительности популярных БД в Foglight for Databases

Блог компании Gals SoftwareOraclePostgreSQLSQLMicrosoft SQL Server


В прошлых статьях мы рассказывали о мониторинге различных БД в Quest Foglight for Databases и о подходе к быстрой локализации проблем производительности SQL Server. В этой мы покажем какие ещё дашборды можно использовать на основе собираемых метрик. А метрик этих достаточно. Под катом скриншоты интерфейса и описания к ним.
Читать дальше →
Всего голосов 14: ↑14 и ↓0 +14
Просмотры2.7K
Комментарии 0

Ограничение доступа к атрибутам измерения в табличной модели SSAS

Информационная безопасностьData MiningVisual StudioMicrosoft SQL ServerBig Data
Tutorial
Бывают случаи, когда нужно ограничить пользователям доступ к некоторым данным в кубе. Казалось бы, тут нет ничего сложного: устанавливай построчные фильтры в ролях и готово, но есть одна проблема — фильтр урезает данные в таблице и получается, что можно посмотреть обороты только по доступным строкам, а нам нужны все обороты, но детализация должна быть доступна только для части из них.

Например, пользователь должен видеть обороты по всем товарам, с возможностью полной детализации по ним, но клиенты при этом должны отображаться не все, а лишь некоторые, либо все клиенты, но с частично скрытыми данными в некоторых атрибутах (полях).

Чтобы не дать пользователю возможность просматривать обороты в разрезе клиентов, можно обыграть это через формулы в мерах и выводить пустое значение, если пользователь попытается посмотреть оборот конкретного клиента, один из подобных вариантов описан здесь. Однако это всё не то. Когда мер несколько десятков, то писать в каждой из них формулу… а если забудешь? Но ведь точно забудешь же когда-нибудь… А если пользователю нужны данные из конкретной карточки клиента, то ему ни что не помешает это увидеть без выбора фильтрующей меры. Что же делать?

Нам нужно было добиться вот такого отображения:


Читать дальше →
Всего голосов 8: ↑8 и ↓0 +8
Просмотры1.7K
Комментарии 2

Как я чинил поломанную базу и что из этого вышло

Microsoft SQL Server
Из песочницы
Однажды ко мне обратились с просьбой помочь «исправить» одну базу данных. CHECKDB при проверке выдавал список ошибок, некоторые из которых отмечались как «неисправимые». Приложение при этом работало, но все равно было как-то неспокойно.

Да, правильным решением в такой ситуации было бы взять бэкап от того момента, когда ошибки еще не появляются, локализовать испорченные данные и перезаписать их из чистой копии. Но… как это часто бывает, ошибку поймали слишком поздно, так что восстанавливаться, по сути, было не с чего. С другой стороны – был бы бэкап, не было бы этой истории.
Читать дальше →
Всего голосов 18: ↑18 и ↓0 +18
Просмотры5.8K
Комментарии 3

Как мы построили динамические отчеты на SSRS 2014

Блог компании True EngineeringMicrosoft SQL Server

Мы уже рассказывали, как помогли одной производственной компании трансформировать процессы корпоративного обучения и развития персонала. Сотрудники заказчика, которые тонули в бумажных документах и Excel-таблицах, получили удобное iPad-приложение и веб-портал. Одна из самых важных функций этого продукта – создание динамических отчетов, по которым руководители судят о работе сотрудников «в поле». Это огромные документы с десятками полей и средними размерами в 3000*1600 пикселей.

В этой статье мы поговорим о том, как развернуть эту красоту на базе Microsoft SQL Server Reporting Services, почему такой бэкенд может плохо дружить с веб-порталом и какие хитрости помогут наладить их отношения. Вся бизнес-часть решения уже описана в предыдущей статье, поэтому здесь мы сосредоточимся на технических вопросах. Начнем!

Читать дальше →
Всего голосов 6: ↑6 и ↓0 +6
Просмотры4.9K
Комментарии 2

Перенос всех баз данных MS SQL Server на другую машину

Microsoft SQL ServerАдминистрирование баз данных
Недавно возникла необходимость переноса всех БД (>50 на одном экземпляре SQL Server) из dev-окружения на другой экземпляр SQL Server, который располагался на другом железе. Хотелось минимизировать ручной труд и сделать всё как можно быстрее.

Disclaimer


Скрипты написаны для одной конкретной ситуации: это dev-окружение, все базы в простой модели восстановления, файлы данных и журналы транзакций лежат в одной куче.

Всё, что написано дальше относится только к этой ситуации, но вы можете без особых усилий допилить их под себя (свои условия).

В скриптах не используются новомодные STRING_AGG и прочие приятные штуки, поэтому работать всё должно начиная с SQL Server 2008 (или 2008 R2, не помню где появилось сжатие бэкапов). Для более старых версий нужно убрать WITH COMPRESSION из команды бэкапа, но тогда разницы по времени с копированием файлов может уже и не быть.

Это не инструкция — «как надо» делать такой перенос. Это демонстрация того, как можно использовать метаданные в dynamic SQL.
Читать дальше →
Всего голосов 9: ↑9 и ↓0 +9
Просмотры11.8K
Комментарии 27

SQL Launch — мероприятие Microsoft SQL Server 2019

Блог компании MicrosoftSQLMicrosoft SQL ServerАдминистрирование баз данныхКонференции


Лучшие эксперты Microsoft расскажут о главных новинках в SQL Server 2019: технологии SQL Server Big Data Clusters для работы с большими данными и машинным обучением, технологии Polybase для доступа к данным во внешних источниках без их копирования, поддержке контейнеров, работе на OS Linux и многих других новинках MS SQL Server 2019!

Отдельный доклад будет посвящен платформе для бизнес-аналитики Microsoft Power BI!

Приглашаем Вас посетить презентацию новой версии гибридной платформы управления данными SQL Server 2019! Регистрируйтесь, ну а подробности под катом.
Читать дальше →
Всего голосов 7: ↑5 и ↓2 +3
Просмотры2.6K
Комментарии 3

varchar(max)-varchar(max) и в продакшн

Microsoft SQL Server
Недавно поучаствовал в дискуссии на тему влияния на производительность указания длины в столбцах с типом nvarchar. Доводы были разумны у обеих сторон и поскольку у меня было свободное время, решил немного потестировать. Результатом стал этот пост.

Спойлер – не всё так однозначно.

Все тесты проводились на SQL Server 2014 Developer Edition, примерно такие же результаты были получены и на SQL Server 2016 (с небольшими отличиями). Описанное ниже должно быть актуально для SQL Server 2005-2016 (а в 2017/2019 требуется тестирование, поскольку там появились Adaptive Memory Grants, которые могут несколько исправить положение).

Нам понадобятся – хранимая процедура от Erik Darling sp_pressure_detector, которая позволяет получить множество информации о текущем состоянии системы и SQL Query Stress – очень крутая open-source утилита Adam Machanic/Erik Ejlskov Jensen для нагрузочного тестирования MS SQL Server.

О чём вообще речь


Вопрос, на который я стараюсь ответить – влияет ли на производительность выбор длины поля (n)varchar (далее везде просто varchar, хотя всё актуально и для nvarchar), или можно использовать varchar(max) и не париться, поскольку если длина строки < 8000 (4000 для nvarchar) символов, то varchar(max) и varchar(N) хранятся IN-ROW.
Читать дальше →
Всего голосов 19: ↑19 и ↓0 +19
Просмотры13.5K
Комментарии 7

Методы оптимизации LINQ-запросов в C#.NET

.NETSQLMicrosoft SQL ServerАдминистрирование баз данныхC#
Tutorial

Введение


В этой статье рассматривались некоторые методы оптимизации LINQ-запросов.
Здесь же приведем еще некоторые подходы по оптимизации кода, связанные с LINQ-запросами.
Читать дальше →
Всего голосов 18: ↑16 и ↓2 +14
Просмотры13.7K
Комментарии 24

Почему для SQL Server важна статистика

Блог компании OTUSMicrosoft SQL Server
Перевод

Считанные дни остаются до старта нового потока по курсу “MS SQL Server разработчик”. В преддверии старта курса продолжаем делиться с вами полезным материалом.


За годы работы с SQL Server я обнаружила, что есть несколько тем, которые часто игнорируются. Их что боятся, думают, что они сложные или что они не такие важные. Также есть мнение, что эти знания не нужны, так как SQL Server "все делает за меня". Я слышала это об индексах. Я слышала это о статистике.



Итак, давайте поговорим, почему статистика важна и почему знание о том, что она важна, поможет вам существенно повлиять на производительность ваших запросов.

Читать дальше →
Всего голосов 11: ↑10 и ↓1 +9
Просмотры9.4K
Комментарии 6

Рядовой SNAFU идет в DBA

SQLMicrosoft SQL ServerИнтервью

Для тех, кто не знает, SNAFU — персонаж военных патриотических мультфильмов, созданных американцами во время войны. Этот раздолбай, ввиду природного идиотизма, все время попадает в катастрофические ситуации и, как правило, гибнет в конце серии. Правда, в следующей серии он снова оказывается живым — в этом смысле, его можно считать далеким прародителем Кенни из Южного Парка.

При наборе людей на позицию SQL server developer, я часто был покорен тем, как они отвечали на вопросы. Я готов был сказать им ДА, если бы меня не спасала небольшая задача в одну строчку, которую предложил мой коллега. Удивительно, сколько всего может дать эта задача в одну строку SQL. И вот уже кандидат уже с упоением ходит по граблям. А грабель, как вы увидите, там много. Конечно, ни один человек не собрал ВСЕ возможные грабли. Но, чтобы их все показать, мне и понадобился SNAFU.
Читать дальше →
Всего голосов 20: ↑14 и ↓6 +8
Просмотры4.3K
Комментарии 52

7 бесплатных курсов для специалистов по работе с данными (DS и DE)

Блог компании MicrosoftBig DataMicrosoft AzureВизуализация данныхData Engineering
La finale! Именно этим французским выражением можно назвать эту статью. Ведь она последняя уже во второй серии подборок бесплатных курсов от Microsoft. И сегодня у нас курсы для специалистов по анализу данных и инженеров данных. Присоединяйтесь!

Кстати!

  • Все курсы бесплатные (вы даже сможете попробовать платные продукты бесплатно);
  • 6/7 на русском языке;
  • Начать обучение можно мгновенно;
  • По окончании вы получите бейдж об успешном прохождении обучения.

Присоединяйтесь, подробности под катом!

Следующая серия статей


Эта серия статей, начало 2020 года


Более ранняя серия статей, 2019 год


Читать дальше →
Всего голосов 11: ↑10 и ↓1 +9
Просмотры16.8K
Комментарии 0

Ведение разработки БД. Шаблоны создания/изменения объектов MSSQL

SQLMicrosoft SQL Server

image


При постоянной работе с MSSQL необходимо создавать различные объекты БД: таблицы, представления, триггеры и т.д.


В статье приведу шаблоны SQL запросов, которые помогут, и, возможно, стандартизируют подход создания кода на языке T-SQL.


Кроме этого, опишу о том, как я веду репозиторий БД в системе контроля версий.

Читать дальше →
Всего голосов 5: ↑5 и ↓0 +5
Просмотры3.6K
Комментарии 8

SQL Server & Concurrency Control

SQL
Tutorial

What is a Transaction?


The standard definition of Transaction state that “Every Query batch that runs in a SQL server is a Transaction.”, this means any query you run on a SQL server will be considered as a Transaction it could either be a simple SELECT query or any UPDATE or ALTER query.


If you run a query without mentioning the BEGIN TRAN keyword then it would be considered as an Implicit transition.


If you run a query which starts with BEGIN TRAN and ends with COMMIT or ROLLBACK then it would be considered as Explicit Transaction.

Read more →
Всего голосов 2: ↑1 и ↓1 0
Просмотры805
Комментарии 0

DataGrip 2020.1: Конфигурации запуска, экспорт в Excel, результаты в редакторе и другое

Блог компании JetBrainsMySQLPostgreSQLMicrosoft SQL ServerАдминистрирование баз данных

Привет! Это наш первый релиз из дома. DataGrip и другие наши IDE с поддержкой баз данных теперь умеют больше.



Читать дальше →
Всего голосов 18: ↑18 и ↓0 +18
Просмотры5.9K
Комментарии 19

Да мой старый laptop в несколько раз мощнее, чем ваш production server

ВиртуализацияСерверное администрированиеMicrosoft SQL Server
Именно такие претензии я услышал от наших девелоперов. Самое интересное, что это оказалось правдой, дав начало длительному расследованию. Речь пойдет про SQL servers, которые крутятся у нас на VMware.


Читать дальше →
Всего голосов 182: ↑180 и ↓2 +178
Просмотры94.8K
Комментарии 73