Pull to refresh
2
0

User

Send message

«Где угодно работать, только не в локальных конторах» — у меня есть что сказать

Reading time9 min
Views98K
image

23 года я работал в американских компаниях SAS и C3 AI. Это, если что, очень дорогой интеллектуальный анализ данных корпораций и производств. Причём SAS много лет занимал места с 1-го по 3-е в мире как лучший работодатель, поэтому некоторая избалованность присутствует. Последние полтора года до ухода C3 AI из России я работал в подразделении EMEA с непосредственным руководителем в Париже.

Все эти годы коллеги убеждали меня, что в отечественных компаниях работать нельзя: там хамство, бардак, сотрудников обманывают, не уважают и не ценят. За последние два года многие мои коллеги уехали за границу со словами: «Где угодно работать, только не в локальных конторах».

Я пошёл в отечественную компанию. И не просто в отечественную компанию, а в ОМК, то есть на группу заводов (а на заводах, «ну это же общеизвестно», всегда стоит большая очередь кандидатов за забором, и где типа айтишников не ценят, всё вокруг в солидоле и мазуте, и вообще).

Ладно, про лужи смазки — для некоторых цехов это отчасти правда: утечки бывают.

По остальному мне есть что сказать. Сразу поясню: меня никто не заставлял писать этот пост, никакие эйчары не приходили и не просили. Просто достали те, кто ноет. Хорош ныть!
Читать дальше →
Total votes 269: ↑245 and ↓24+221
Comments238

PostgreSQL Antipatterns: сражаемся с ордами «мертвецов»

Reading time3 min
Views17K
Особенности работы внутренних механизмов PostgreSQL позволяют ему быть очень быстрым в одних ситуация и «не очень» в других. Сегодня остановимся на классическом примере конфликта между тем, как работает СУБД и тем, что делает с ней разработчик — UPDATE vs принципы MVCC.

Кратко сюжет из отличной статьи:
Когда строка изменяется командой UPDATE, фактически выполняются две операции: DELETE и INSERT. В текущей версии строки устанавливается xmax, равный номеру транзакции, выполнившей UPDATE. Затем создается новая версия той же строки; значение xmin у нее совпадает с значением xmax предыдущей версии.
Через какое-то время после завершения этой транзакции старая или новая версии, в зависимости от COMMIT/ROOLBACK, будут признаны «мертвыми» (dead tuples) при проходе VACUUM по таблице и зачищены.



Но это произойдет далеко не сразу, а вот проблемы с «мертвецами» можно нажить очень быстро — при многократном или массовом обновлении записей в большой таблице, а чуть позже столкнуться с ситуацией, что и VACUUM не сможет помочь.
Читать дальше →
Total votes 32: ↑32 and ↓0+32
Comments15

Пишем в PostgreSQL на субсветовой: 1 host, 1 day, 1TB

Reading time5 min
Views13K
Недавно я рассказал, как с помощью типовых рецептов увеличить производительность SQL-запросов «на чтение» из PostgreSQL-базы. Сегодня же речь пойдет о том, как можно сделать более эффективной запись в БД без использования каких-либо «крутилок» в конфиге — просто правильно организовав потоки данных.


#1. Секционирование


Статья про то, как и зачем стоит организовывать прикладное секционирование «в теории» уже была, здесь же речь пойдет о практике применения некоторых подходов в рамках нашего сервиса мониторинга сотен PostgreSQL-серверов.
Читать дальше →
Total votes 19: ↑19 and ↓0+19
Comments7

Давайте отключим vacuum?! Алексей Лесовский

Reading time20 min
Views25K

Расшифровка доклада 2018 года Алексея Лесовского "Давайте отключим vacuum?!"


Примечание редактора: Любые рекомендации по изменению параметров всегда стоит сравнивать в других докладах


Такой призыв часто возникает, когда в PostgreSQL возникают проблемы, и главным подозреваемым оказывается vacuum (далее по тексту просто "вакуум"). По опыту, многие наступают на эти грабли, и мне с коллегам по Data Egret нередко приходится разгребать последствия, так как потом всё становится ещё хуже. Но если обратить внимание на сам вакуум, то, пожалуй, нет такого человека, который бы использовал Postgres, и при этом ничего не знал про него. Ведь история вакуума начинается относительно давно, и в интернете можно найти массу как старых, так и новых постов про вакуум, объемные дискуссии в списках рассылки. Несмотря на то, что тема вакуума подробно описана в официальной документации к PostgreSQL, новые посты и новые дискуссии будут появляться и дальше. Возможно, поэтому с вакуумом связано очень много мифов, баек, страшилок и заблуждений. Между тем, вакуум является одним из важнейших компонентов PostgreSQL, и его работа напрямую сказывается на производительности. В одном докладе невозможно рассказать про вакуум абсолютно всё, но я бы хотел раскрыть ключевые моменты, связанные с вакуумом, такие как его внутреннее устройство, основные подходы к его настройке, наблюдение за производительностью, мониторинг, и что делать в случае, когда вакуум — главный подозреваемый во всех бедах. Ну и, конечно же, хочется развеять распространенные мифы и заблуждения, связанные с вакуумом.


Total votes 31: ↑31 and ↓0+31
Comments14

Жарим TOAST в PostgreSQL

Reading time12 min
Views21K

У нас не подгорит!

Как PostgreSQL хранит большие значения столбцов? Какие явные и неявные ограничения есть у существующего механизма хранения? Что за проблемы вызваны этими ограничениями? И как можно решить эти проблемы, и расширить возможности PostgreSQL? Об этом, и чуть больше - данная статья.

Читать далее
Total votes 58: ↑58 and ↓0+58
Comments15

Подводный буксировщик своими руками

Level of difficultyEasy
Reading time8 min
Views6.4K

Предыстория

Пересматривал я один из любимых советских фильмов детства - "Акванавты". Ностальгия по молодости, потрясающие (на те времена) сцены подводных съемок (после этого фильма пошел в секцию подводного плавания)...

И вот на моменте, где ГлавныйГерой (советский акванавт Соболев) плывет на подводном буксировщике я вспомнил, что в ту детскую пору я много чего пытался придумать для подобного "подводного передвижения". Нечто принципиально подобное делали, конечно, для боевых пловцов, начиная со второй мировой, но это всё-таки не для простых людей. И вспомнил, что видел в продаже более простые "подводные скутеры", "подводные буксировщики" - игрушки, ставшие возможными и доступными для гражданских лиц только в нынешнее время.

А сколько стоит такой буксировщик? Я посмотрел - от 40 до 100 тыр. Для редкого развлечения ("лето в Челябинске короткое и малоснежное", да еще не каждый погожий день выпадает на выходные) - мне показалось дороговато. А можно сделать такой девайс самостоятельно? (как обычно ноют старички типа меня -"а вот мы! а вот в наше время! сами себе игрушки делали!". Детство в советские времена было знаменательно тем, что изрядная доля делалась своими руками (отливка солдатиков из свинца, тачки на подшипниках, пайка усилителей и цветомузык, даже в секции подводного плавания моноласты и удлинненки себе делали сами), по тем самым советским "дендрофекальными технологиям".

Конечно, сейчас возможностей больше, нам помогают трудолюбивые китайцы. Да и технологии шагнули вперед (тот большой цилиндр на КДПВ - это, вообще-то, просто фонарик , а не буксировщик - о том, что в таком объеме можно разместить аккумулятор значимой ёмкости даже мыслей не возникало). Поэтому было решено попробовать сделать себе такую игрушку своими руками.

Читать далее
Total votes 45: ↑50 and ↓-5+55
Comments59

Отношения классов — от UML к коду

Reading time7 min
Views757K
Введение

Диаграмма классов UML позволяет обозначать отношения между классами и их экземплярами. Для чего они нужны? Они нужны, например, для моделирования прикладной области. Но как отношения отражаются в программном коде? Данное небольшое исследование пытается ответить на этот вопрос — показать эти отношения в коде.
Читать дальше →
Total votes 25: ↑22 and ↓3+19
Comments21

Авторизация в PostgreSQL. Часть 2. Безопасность на уровне строк

Reading time10 min
Views7.9K
image
Приветствую вас в очередном разборе инструментов авторизации PostgreSQL. В первых двух разделах предыдущей статьи мы обсуждали, чем интересна авторизация в PostgreSQL. Вот содержание этой серии материалов:

  • Роли и привилегии;
  • Безопасность на уровне строк (мы сейчас здесь);
  • Производительность безопасности на уровне строк (coming soon!);

В первой статье мы рассмотрели, как роли и предоставленные привилегии влияют на действия (запросы SELECT, INSERT, UPDATE и DELETE) в отношении объектов БД (таблиц, представлений и функций). Та статья закончилась небольшим клиффхэнгером: если вы создадите многопользовательское приложение, используя только роли и привилегии для авторизации, то ваши пользователи смогут удалять данные друг друга, а может и вообще друг друга. Необходим другой механизм, позволяющий ограничить пользователей чтением и изменением только собственных данных — механизм безопасности на уровне строк (RLS).
Читать дальше →
Total votes 14: ↑13 and ↓1+12
Comments2

Что для меня значит быть программистом

Reading time13 min
Views48K

Как-то мне написали с Хабра и сказали: Саня, хочешь написать статью про программистов?

Разумеется, я отнёсся к этому скептически. Ладно там девопсины или вайтхэты какие - почитать про них было бы интересно, но вот жизнь программиста... Я сразу вспомнил эти мемы как на КДПВ, которые на самом деле не мемы, а правда.

Но потом я начал накидывать мысли и внезапно нашёл много тем, которые могут быть интересны и самим разрабам, и людям, далёким от программирования. Так что вот вам исповедь погромиста. Уж не знаю, типичный я программист или какой-то чудак. Пишу так, как вижу, а обобщать на всех прогеров или нет - решать вам.

Чтобы получать 300кк/c, нужно всего лишь..
Total votes 179: ↑164 and ↓15+149
Comments71

Information

Rating
Does not participate
Location
Сочи, Краснодарский край, Россия
Date of birth
Registered
Activity