Открыть список
Как стать автором
Обновить
  • по релевантности
  • по времени
  • по рейтингу

Сравнение производительности железного сервера и облака Amazon

Блог компании FirstVDS / FirstDEDICВысокая производительностьMySQLАнализ и проектирование системAmazon Web Services
Перевод
Сегодня разработчики не представляют себе высоконагруженную систему без базы данных. Этот способ хранения информации становится культовым. Мы привыкли работать с базой данных каждый день, но все же есть тёмные пятна. Одно из них – производительность. Написано множество статей о настройке, оптимизации базы данных и т.д. Они полезны, если у вас уже есть база данных (БД) и её производительности недостаточно. Но эти статьи не помогут, если вам нужно запустить базу данных в облачных сервисах, таких как AWS, Azure, Rackspace и т.д.
Читать дальше →
Всего голосов 18: ↑18 и ↓0 +18
Просмотры11.8K
Комментарии 10

Оптимизация расходов на AWS в SaaS-бизнесе

ХостингОблачные вычисленияСерверное администрирование
Перевод

Расходы Cronitor на AWS за последние 12 месяцев

В первые 30 дней после перевода Cronitor на AWS в январе 2015 года мы собрали платежей на $535 и заплатили $64,47 за хостинг, передачу данных и доменное имя. С тех пор мы наращивали потребление услуг, апгрейдили инстансы, добавляли сервисы. Несмотря на репутацию AWS как дорогого пистолета, чтобы выстрелить себе в ногу, наши счета сохранялись на уровне 12,5% от дохода. Смотрите сами.
Читать дальше →
Всего голосов 17: ↑15 и ↓2 +13
Просмотры6.8K
Комментарии 3

Выбираем бесплатный сервер в облаке для тестовых целей, домашних проектов и т.д

Настройка LinuxСерверное администрированиеDevOps
Всегда хотелось познакомиться с облачными сервисами, но на моих работах они либо не использовались, либо не в моём отделе. Платить свои деньги не очень хотелось за такое знакомство, да и всё это казалось довольно сложным. Куча разных тарифов, что-то бесплатно, что-то платно. Но на самом деле каждый может разобраться с этим и самое главное легко. Настолько легко, что вы просто обязаны получить свой собственный бесплатный облачный сервер прямо сейчас. Осталось только выбрать какой.

Статья будет полезна тем, кто ещё не пользовался облачными серверами.


Читать дальше →
Всего голосов 37: ↑36 и ↓1 +35
Просмотры217.7K
Комментарии 110

Как обнаружить миллион долларов на своём аккаунте AWS

Data MiningAmazon Web ServicesУправление проектамиУправление продуктомФинансы в IT
Перевод
Tutorial
Недавно мы рассказали о способах, с помощью которых сэкономили более миллиона долларов на годовом обслуживании AWS. Хотя мы подробно рассказывали о различных проблемах и решениях, всё равно самым популярным вопросом был: «Я знаю, что слишком много трачу на AWS, но как в реальности разбить эти траты на понятные части?»

На первый взгляд, проблема кажется довольно простой.

Вы можете легко разбить свои расходы AWS по месяцам и закончить на этом. Десять тысяч долларов на EC2, одна тысяча на S3, пятьсот долларов на сетевой трафик и т.д. Но здесь отсутствует кое-что важное — на сочетание каких именно продуктов и групп разработки приходится львиная доля расходов.

И учтите, что у вас могут меняться сотни инстансов и миллионы контейнеров. Вскоре то, что поначалу казалось простой аналитической проблемой, становится невообразимо сложным.

В этом продолжении статьи мы хотели бы поделиться информацией о наборе инструментов, который сами используем. Надеемся, что сумеем предложить несколько идей, как анализировать свои затраты AWS независимо от того, работает у вас парочка инстансов или десятки тысяч.
Читать дальше →
Всего голосов 8: ↑8 и ↓0 +8
Просмотры14.6K
Комментарии 7

Cluster of Puppets: опыт использования Amazon ECS в iFunny

Блог компании FunCorpСистемное администрированиеIT-инфраструктураОблачные вычисленияDevOps

image


Несмотря на название, эта статья не имеет ничего общего с системой управления конфигурацией Puppet.


Вместе с трендом «распила» больших монолитов на небольшие микросервисы в эксплуатацию веб-приложений пришёл тренд на оркестрацию контейнеров. Сразу после хайпа на Docker поднимается хайп на инструменты запуска сервисов поверх Docker. Чаще всего говорят о Kubernetes, однако его многочисленные альтернативы в настоящем также живут и развиваются.


Вот и в iFunny задумались о пользе и ценности оркестраторов и в итоге выбрали Amazon Elastic Container Service. Вкратце: ECS является платформой управления контейнерами на EC2 instances. О подробностях и опыте в бою читайте ниже.

Читать дальше →
Всего голосов 19: ↑19 и ↓0 +19
Просмотры4.7K
Комментарии 4

Боты сканируют GitHub в поисках ключей Amazon AWS

Программирование

Невнимательность может обойтись в несколько тысяч долларов


Рождество (которое в США и ряде других стран отмечается 25 декабря) — это выходной, то есть отличный повод изучить новую технологию, на которую в рабочие дни времени не хватает.

Именно так считал Эндрю Хоффман, который решил ознакомиться с основами Ruby on Rails. Но результат небольшой ошибки во время работы над тестовым проектом чуть не стоил ему 2375 доллларов.

Вообще, ничего особенно нового не произошло: Amazon Web Services ещё в марте прошлого года предупреждал пользователей о необходимости тщательней относиться к приватности секретных ключей облачных сервисов при выгрузке исходных кодов своих проектов на GitHub.
Читать дальше →
Всего голосов 22: ↑21 и ↓1 +20
Просмотры19.3K
Комментарии 18

1M HTTP rps на 1 cpu core. DPDK вместо nginx+linux kernel TCP/IP

ПрограммированиеСистемное программированиеСетевые технологииAmazon Web ServicesC
Я хочу рассказать о такой штуке как DPDK — это фреймворк для работы с сетью в обход ядра. Т.е. можно прямо из userland писать\читать в очереди сетевой карты, без необходимости в каких либо системных вызовах. Это позволяет экономить много накладных расходов на копирования и прочее. В качестве примера я напишу приложение, отдающее по http тестовую страницу и сравню по скорости с nginx.
Читать дальше →
Всего голосов 20: ↑20 и ↓0 +20
Просмотры11.6K
Комментарии 17

Сравнение производительности виртуальных машин 6 облачных платформ: Selectel, MCS, Я.Облако, Google Cloud, AWS и Azure

Тестирование IT-системСистемное администрированиеВиртуализацияОблачные вычисленияОблачные сервисы
Давеча на глаза мне тут попалось аж две статьи из одного корпоративного блога, касающиеся облаков — одна про Kubernetes, а во второй была попытка замера производительности по методике, которая мне показалась сомнительной (спойлер — и не зря).

Про K8s мне тоже есть что сказать, но поговорим про производительность.

Недоверие к результатам было вызвано многими факторами, но основными из них для меня стали следующие: параметров запуска тестов не было, количество итераций не озвучено, как выбирались машины не озвучено, подробной конфигурации тоже не было. Сомнительно, в общем.
В целом, я пользуюсь в основном Google Cloud и AWS (в сумме уже с десяток лет опыта по ним набежало) и с отечественными облачными провайдерам особо не работаю, но, по стечению обстоятельств, у меня есть активные аккаунты в Selectel, MCS, Я.Облаке и, после этого теста, еще и в Azure.

К счастью, все эти платформы публичные и что бы я не намерил, каждый при желании может пойти, повторить и проверить.

Итогом всего этого стала мысль — почему бы не потратить пару сотен рублей, все выходные и действительно вдумчиво не померить все шесть платформ и выяснить, какая из них дает лучшую производительность относительно стоимости и в абсолютных цифрах при одинаковых конфигурациях, а заодно и сравнить глобальных поставщиков с российскими.
А так же, как выяснилось, прояснить некоторые «особенности» в выделении ресурсов и напомнить себе и окружающим, что далеко не всегда и не на всех платформах за одни и те же деньги можно получить предсказуемую производительность.

Результаты получились не сказать чтобы феноменальными, но на мой взгляд крайне любопытными.

Интересующихся прошу под кат.
Читать дальше →
Всего голосов 37: ↑35 и ↓2 +33
Просмотры21.7K
Комментарии 70

Поиск на скорости 1 ТБ/с

Высокая производительностьПоисковые технологииАлгоритмыОблачные вычисления
Перевод
TL;DR: Четыре года назад я покинул Google с идеей нового инструмента для мониторинга серверов. Идея состояла в том, чтобы объединить в одну службу обычно изолированные функции сбора и анализа логов, сбора метрик, оповещений и панели мониторинга. Один из принципов — сервис должен быть действительно быстрым, обеспечивая девопсам лёгкую, интерактивную, приятную работу. Это требует обработки наборов данных по несколько гигабайт за доли секунды, не выходя за рамки бюджета. Существующие инструменты для работы с логами часто медленные и неуклюжие, поэтому мы столкнулись с хорошей задачей: грамотно разработать инструмент, чтобы дать пользователям новые ощущения от работы.

В этой статье описывается, как мы в Scalyr решили эту проблему, применив методы старой школы, подход грубой силы, устранив лишние слои и избегая сложных структур данных. Эти уроки вы можете применить к собственным инженерным задачам.
Читать дальше →
Всего голосов 40: ↑37 и ↓3 +34
Просмотры9.5K
Комментарии 0

Будущее за облаками

Облачные вычисленияОблачные сервисы
Из песочницы

1.1. Введение


Говоря о развитии ИТ в последние несколько лет, нельзя не отметить долю Облачных решений среди прочих. Давайте разберемся, что же такое облачные решения, технологии и т.д.
Облачные вычисления (или же облачные сервисы) — это особый набор инструментов и методов логистики, хранения и обработки данных на удаленных вычислительных ресурсах, в которые входят сервера, системы хранения данных (СХД), системы передачи данных (СПД).

При производстве ИТ продукта, будь то сайт-визитка, интернет магазин, высоконагруженный портал или система баз данных (БД) существует по крайней мере два варианта размещения вашего продукта.

На территории заказчика (англ. — on-premise) или в облаке (англ. — cloud). При этом нельзя точно сказать, что выгоднее по деньгам в общем случае.

Если вы используете сервер, где у Вас крутиться небольшая БД, не требующая отказоустойчивости и простой сайт без особой нагрузки — да, наземное размещение это ваш вариант. Но как только у Вас возрастают нагрузки и потребности — следует задуматься о том, чтобы переехать в облако.
Читать дальше →
Всего голосов 12: ↑8 и ↓4 +4
Просмотры3.1K
Комментарии 12

О топорах и капусте

Amazon Web ServicesОблачные сервисы

Размышления о том, откуда берется желание сдать сертификацию AWS Solutions Architect Associate.


Мотив первый: «Топоры»

Один из самых полезных для любого профессионала принципов «Знай свои инструменты» (или в одной из вариаций «точи пилу»).

Мы в облаках уже давно, но до поры до времени это были просто монолитные приложения с базами, развернутые на инстансах EC2 — дёшево и сердито.

Но постепенно нам стало тесно в рамках монолита. Взяли курс на распил в хорошем смысле – на модуляризацию, а затем и модные нынче микросервисы. И очень быстро на этой почве «расцветают сто цветов».

Да что там далеко ходить – проект логирования активности, который я сейчас веду, включает в себя:

  • Клиентов в виде разнообразных приложений нашего продукта – от глухих уголков дремучего легаси до ультрамодных микросервисов на .Net Core.
  • Очереди Amazon SQS, в которые складываются логи о том, что происходит с клиентами.
  • Микросервис на .Net Core, который достает сообщения из очереди и отправляет их в Amazon Kinesis Data Streams (KDS). Имеет также Web API интерфейс и swagger UI как дублирующий канал и для ручного тестирования. Оборачивается в докеровский linux-контейнер и хостится под управлением Amazon ECS. Предусмотрен autoscaling на случай большого потока логов.
  • Из KDS данные пожарными шлангами направляются в Amazon Redshift с промежуточными складами в Amazon S3.
  • Операционные логи для девелоперов (дебаг-информация, сообщения об ошибках и т.п.) форматируются в приятный глазу JSON и отправляются в Amazon CloudWatch Logs



Работая с таким зоопарком сервисов AWS, хочется знать, что есть в арсенале и как это что-то лучше использовать.
Читать дальше →
Всего голосов 12: ↑12 и ↓0 +12
Просмотры4.3K
Комментарии 17

Затраты на AWS, которые должен знать каждый программист

Облачные вычисленияОблачные сервисы
Перевод
Заголовок этого поста — прямая отсылка к диаграмме «Времена задержек, которые должен знать каждый программист». В настоящее время есть несколько версий этой диаграммы, и трудно установить оригинального автора. Некоторые говорят, что это Джефф Дин.

Если вы работаете над проектом, который должен достичь большого масштаба, необходимо сбалансировать несколько проблем. Какие предположения мы делаем и как их подтвердить? Как быстро выйти на рынок? Будет ли наш дизайн поддерживать ожидаемый масштаб?

Один из вопросов масштабирования — стоимость инфраструктуры. Облачные провайдеры позволяют создавать тысячи процессоров и размещать терабайты данных одним щелчком мыши. Но это стоит дорого, и то, что незначительно для нескольких тысяч пользователей, может стать огромной дырой в бюджете, когда вы выйдете на миллионы пользователей.
Читать дальше →
Всего голосов 17: ↑13 и ↓4 +9
Просмотры8K
Комментарии 1

Технические детали взлома банка Capital One на AWS

Информационная безопасностьСерверное администрированиеAmazon Web ServicesDevOpsОблачные сервисы
Перевод


19 июля 2019 года банк Capital One получил сообщение, которого боится каждая современная компания — произошла утечка данных. Она затронула более 106 миллионов человек. 140 000 номеров социального страхования США, один миллион номеров социального страхования Канады. 80 000 банковских счетов. Неприятно, согласитесь?

К сожалению, взлом произошёл совсем не 19 июля. Как выяснилось, Пейдж Томпсон, она же Erratic, совершила его между 22 марта и 23 марта 2019 года. То есть почти четыре месяца назад. На самом деле, только с помощью внешних консультантов Capital One сумела узнать, что нечто произошло.
Читать дальше →
Всего голосов 26: ↑25 и ↓1 +24
Просмотры13.9K
Комментарии 24

Шардинг Pinterest: Как мы масштабировали наш парк MySQL

Блог компании OTUSSQLАдминистрирование баз данных
Перевод
Салют, хабровчане! Поздравляем всех с днем программиста и делимся переводом статьи, который был подготовлен специально для студентов курса «Архитектор высоких нагрузок».



«Шардировать. Или не шардировать. Без попыток.»
— Йода


Сегодня мы погрузимся в разделение данных между несколькими MySQL серверами. Мы закончили шардинг в начале 2012 года, и эта система используется и по сей день для хранения наших основных данных.
Читать дальше →
Всего голосов 27: ↑23 и ↓4 +19
Просмотры5.6K
Комментарии 7

Как сэкономить в AWS до полумиллиона долларов?

Amazon Web Services
Из песочницы
Привет, Хабр! Представляю вашему вниманию перевод статьи «How to reduce your AWS costs? Save up to $500k with these guidelines!» автора George Batschinski.

image

В этой статье мы в подробностях расскажем, как Back4App уменьшила свои расходы в AWS с $55,492 в месяц до $20,074 в месяц и сэкономила $500.000 за год. Мы опишем практические шаги, основанные на собственном опыте снижения затрат в AWS и поделимся советами, которые были полезны и нам.
Читать дальше →
Всего голосов 36: ↑33 и ↓3 +30
Просмотры12K
Комментарии 11

AWS EC2-сервис и работа с ним

Блог компании OTUSОблачные сервисы


Всем привет. Уже на следующей неделе стартуют занятия по курсу «Облачные сервисы». Предлагаем вашему вниманию краткий пересказ открытого урока «AWS EC2-сервис». Его провёл Егор Зуев, преподаватель и специалист по облачным сервисам с более чем 10-летним опытом работы. В рамках данного семинара мы рассмотрели EC2-сервис от платформы AWS, закодировали и развернули простое приложение, подняли базу данных, а также рассмотрели репликацию образов и балансировщики нагрузок.


Читать дальше →
Всего голосов 19: ↑15 и ↓4 +11
Просмотры5.7K
Комментарии 4

Serverless: на 15% медленнее и в восемь раз дороже

Серверная оптимизацияСерверное администрированиеAmazon Web ServicesDevOpsОблачные сервисы
Перевод
Недавно я решил поэкспериментировать с API на нашем сайте CardGames.io и попробовать фреймворк Serverless. Последние несколько лет он стал горячей темой в мире технологий, а я прокрастинировал хотел поддерживать технические навыки в актуальном состоянии и попробовать что-то новое. Поэтому решил потратить несколько часов на изучение Serverless и посмотреть, есть ли смысл в таком размещении API.

Текущая конфигурация


CardGames.io работает на AWS. Все html-страницы, CSS, JavaScript и изображения хранятся на S3. У нас есть API на C#, размещённый на Elastic Beanstalk, он работает на серверах Linux под управлением .NET Core с Docker. Наконец, мы используем CloudFront CDN перед статикой на S3 и API. Ниже приведён счёт EC2 за август 2019 года. У нас есть несколько других инстансов, но API работают на m1.small (да, вероятно, t2.small лучше подходит) с классической балансировкой нагрузки. Если суммировать выделенное красным, то выходит $164,21 в месяц, неплохо. Я даже включил туда EBS, поскольку не уверен, как разбить эти расходы, у нас ведь несколько проектов на EC2.
Читать дальше →
Всего голосов 47: ↑45 и ↓2 +43
Просмотры14.5K
Комментарии 11

Я оглянулся посмотреть не оглянулась ли она — 2 или сам себе датацентр через AWS

IT-инфраструктураAmazon Web ServicesТестирование веб-сервисовОблачные сервисы
Tutorial
image

Публикуем любые сервисы, расположенные в домашнем гипервизоре через сервис EC2 Amazon Web Services через бесплатный инстанс под Amazon Linux AMI 2018 с помощью libreswan, xl2tpd и с небольшой толикой извращения…
Читать дальше →
Всего голосов 6: ↑6 и ↓0 +6
Просмотры4.6K
Комментарии 9

Как сократить расходы в AWS

Блог компании 1С-БитриксРазработка веб-сайтовСистемное администрированиеAmazon Web Services
Мир кардинально меняется. Многие компании ищут любые способы для сокращения расходов, просто для того, чтобы выжить. При этом усиливается нагрузка на онлайн-сервисы — особенно те, которые связаны с организацией удалённой работы, проведением видео-конференций, онлайн-обучением.

В этих условиях крайне важно с одной стороны — обеспечить надежность и масштабирование вашей инфраструктуры. С другой — не вылететь в трубу с закупкой серверов, дисков, оплатой траффика.

Мы в «Битрикс24» очень активно используем Amazon Web Services, и в этой статье я расскажу о нескольких возможностях AWS, которые помогут вам сократить ваши расходы.
Читать дальше →
Всего голосов 22: ↑22 и ↓0 +22
Просмотры7.5K
Комментарии 28

Настройка multitenant кластера Amazon EKS

Блог компании OpsGuruAmazon Web ServicesKubernetes

Мы постоянно используем Cloud-native технологии, и запускаем системы в контейнерах на платформе Kubernetes. Эта технология отлично подходит для оркестрации контейнерных нагрузок благодаря гибкости и установке виртуальных машин прямо на железо (bare metal). Когда-то Kubernetes подходил только для простых рабочих нагрузок без сохранения состояния, теперь там стало возможным хранить базы данных, обучать машины и развертывать сложные приложения.
Читать дальше →
Всего голосов 7: ↑7 и ↓0 +7
Просмотры1.5K
Комментарии 9