Предупреждение врача. Остерегайтесь этих головоломок. Побочные эффекты могут включать потерянное послеобеденное время, скомканные волосы и восклицания «А-а-а-х, вот как это делается» настолько громкие, что могут треснуть оконные стёкла.

Несколько месяцев назад я наткнулся в твиттере на математические головоломки Катрионы Ширер. Они сразу меня увлекли: каждая головоломка такая осязаемая, ручной работы, словно просит её решить. И на каждую вы можете легко потратить час времени, а то и больше.

Катриона разрешила мне подвесить вас на эти задачки — и поделилась 20 своими любимыми головоломками. Она даже удовлетворила моё любопытство и восхищение, дав интервью (см. в конце статьи).

Наслаждайтесь. И не говорите, что врач не предупреждал.

Когда я впервые узнал об этом принципе, у меня возникло ощущение какой-то мистики. Такое впечатление, что природа таинственным образом перебирает все возможные пути движения системы и выбирает из них самый лучший.

Сегодня я хочу немного рассказать об одном из самых замечательных физических принципов – принципе наименьшего действия.

Предыстория

Причина данной публикации — неоднозначная статья на тему принципа наименьшего действия (ПНД), опубликованная на ресурсе несколько дней назад. Неоднозначна она потому, что её автор в популярной форме пытается донести до читателя один из основополагающих принципов математического описания природы, и это частично ему удается. Если бы не одно но, притаившееся в конце публикации. Под спойлером приведена полная цитата данного отрывка


Так в чем же, с моей точки зрения, проблема?

Продолжаю знакомить читателей Хабра с главами из своей книжки «Теория счастья» с подзаголовком «Математические основы законов подлости». Это ещё не изданная научно-популярная книжка, очень неформально рассказывающая о том, как математика позволяет с новой степенью осознанности взглянуть на мир и жизнь людей. Она для тех кому интересна наука и для тех, кому интересна жизнь. А поскольку жизнь наша сложна и, по большому счёту, непредсказуема, упор в книжке делается, в основном, на теорию вероятностей и математическую статистику. Здесь не доказываются теоремы и не даются основы науки, это ни в коем случае не учебник, а то, что называется recreational science. Но именно такой почти игровой подход позволяет развить интуицию, скрасить яркими примерами лекции для студентов и, наконец, объяснить нематематикам и нашим детям, что же такого интересного мы нашли в своей сухой науке.



В этой главе мы порассуждаем о деньгах, рынках и энтропии, а также посмотрим на анимированные гифки, которых, увы, в книжке напечатать не получится.

У большинства наверняка возникнет резонный вопрос: зачем?

С прагматической точки зрения незачем) Всегда можно воспользоваться условным Вольфрамом, а если нужно это сделать в питоне, то использовать специальные модули, которыми не так уж и сложно овладеть.

Но если вдруг вам дали такое задание или вы просто очень любите программирование, как я, то вам предстоят увлекательные — а временами и не очень — часы написания программы и ее отладки)

При написании сия шедевра нам очень как понадобится пошаговая отладка, поэтому, пожалуйста, скачайте себе PyCharm, VS или что-то еще с такой возможностью. Для построения таблиц отсутствие этой функции еще не так критично, а вот для построения графика…

Итак, в чем будет заключаться моя программа. На вход она будет принимать три значения: начало и конец отрезка, на котором мы хотим увидеть нашу функцию и шаг, с которым мы будем двигаться. Дальше мы нарисуем таблицу значений функции в каждой точке из заданного входными данными диапазона значений. Ну а затем будем рисовать сам график функции с подвижной осью y.

Начало начал



В прошлый раз я остановился на построении таблицы значения функций. Пришла пора перейти к построению самого графика, ради чего все это, собственно, и начиналось.

Итак, основная идея состоит в следующем. Повернем координатную ось на 90 градусов по часовой стрелке. Это нужно для того, чтобы упростить построения, не храня данные о каждой точке в каком-нибудь листе.

Дальше ограничиваем координатную ось игрек 82 символами для лучшей читабельности графика. Понятно, что при этом мы теряем точность и график будет больше схематическим (слишком сжатым), особенно для «крутых» функций, но все же.

После этого мы высчитываем положение оси x относительно оси игрек, то есть ищем, в каком месте у нас будет точка (x, 0). Ну а потом построчно будем ставить в соответствие x значение функции y1 в этой точке.

Поехали

*фарм — (от англ. farming) — долгое и занудное повторение определенных игровых действий с определенной целью (получение опыта, добыча ресурсов и др.).

Введение

Недавно (1 октября) стартовала новая сессия прекрасного курса по DS/ML (очень рекомендую в качестве начального курса всем, кто хочет, как это теперь называется, "войти" в DS). И, как обычно, после окончания любого курса у выпускников возникает вопрос — а где теперь получить практический опыт, чтобы закрепить пока еще сырые теоретические знания. Если вы зададите этот вопрос на любом профильном форуме, то ответ, скорее всего, будет один — иди решай Kaggle. Kaggle — это да, но с чего начать и как наиболее эффективно использовать эту платформу для прокачки практических навыков? В данной статье автор постарается на своем опыте дать ответы на эти вопросы, а также описать расположение основных грабель на поле соревновательного DS, чтобы ускорить процесс прокачки и получать от этого фан.

В прошлый раз мы кратко рассмотрели один из самых замечательных физических принципов — принцип наименьшего действия, и остановились на примере, который, казалось бы, ему противоречит. В данной статье мы разберемся с этим принципом немного подробнее и посмотрим, что происходит в данном примере.

В марте 2016 года Роберт Дж. Лемке-Оливер и Каннан Соундарараджан из Стэнфордского университета открыли новый шаблон в распределении простых чисел. Оказалось, что простые числа специфически распределяются по числовому пространству. Подробнее см. перевод статьи «Структура и случайность простых чисел» на Хабре.

К изучению темы подключились специалисты из других областей, в том числе химии. И успешно. Профессор теоретической химии Сальваторе Торкуато вместе с теоретиком чисел Мэтью де Курси-Айрлэнд нашли новые шаблоны в распределении простых чисел, о которых раньше не было известно. Оказалось, что распределение простых чисел образует фракталоподобную дифракционную картину, чем-то похожую на картину дифракции у экзотических квазикристаллов.

Свершилось! Можно открывать шампанское и закатывать вечеринку — спустя более, чем 7 лет с момента выпуска предыдущего релиза, для скачивания наконец доступна свежайшая Oracle Database 18c XE. Пока только для Linux x64, но версии для других платформ, также как и Docker и Vagrant образы обещают появиться совсем скоро.

• Официальный анонс
• Ссылка на скачивание
• Инструкция по установке и развертыванию
• Информация о лицензировании

Для тех, кто не в курсе, Oracle Database XE или Express Edition — это бесплатная редакция одной из самых мощных реляционных СУБД. Традиционно этот тип редакции обладал минимальным доступным функционалом, определенными ограничениями на используемые ресурсы, и малым размером дистрибутива. Тем не менее, даже эта версия СУБД всегда пользовалась большой популярностью среди тех, кто только познаёт возможности этой СУБД, небольших компаний, которых на данный момент устраивают все ограничения и они хотят оценить технологию и среди простых энтузиастов как мы с вами.

Новая же, 18-ая версия XE открывает просто небывалый простор для использования данной СУБД, так как в этот раз компания Oracle сменила тактику, и вместо предоставления минимального функционала, включила в эту редакцию практически все самые популярные опции самой дорогой и функциональной редакции Enterprise Edition. Но по-прежнему с ограничениями по используемым ресурсам.

Согласно исследованию MarketsandMarket, в течение следующих 5 лет рынок виртуализации будет расти. В качестве основных «драйверов» рынка эксперты отмечают спрос на специализированное ПО и инфраструктуру для работы с большими объемами данных.

В 2016 году этот рынок оценивали в 1,28 миллиарда долларов. Ожидается, что к 2022 году его стоимость достигнет 4,12 млрд. При этом среднегодовой темп роста (CAGR) в течение прогнозируемого периода составит 21,1%. В этом материале мы расскажем подробнее о том, какие направления станут основными для развития рынка виртуализации в 2018 году.

В поиске надёжных и быстрых СХД? Используй решения компании StoreQuant

Системы хранения данных (СХД) являются ключевым элементом любой современной ИТ-системы, включая системы, ориентированные на поддержку бизнеса. Иностранные компании даже ввели термин, который описывает такие системы – Business Critical Systems или Mission Critical Systems.
Действительно, обработка и хранение данных является важной задачей, так как их потеря или кратковременные сбои в работе СХД могут привести к серьёзным последствиям для бизнеса в целом.

Привет, Хабр! Сегодня речь пойдет о сервисах синхронизации и обмена файлами и объектные облачных хранилищах. Облачные хранилища, представленные такими сервисами как SkyDrive или Dropbox, хорошо знакомы пользователям мобильных устройств и компьютеров. В последние годы они появляются во все большем количестве. Эти сервисы пользователям позволяют легко, быстро и в любое время получить авторизованный доступ к файлам через интернет.

По данным отчета Statista, в 2017 году личное облачное хранилище в мире использовали более 1,8 миллиарда человек. Очевидное преимущество хранения данных в облаке — независимость от устройств, доступ из любого места и с любой системы. Облачное хранилище — отличный способ защитить себя от чрезвычайных ситуаций. Оно позволяет получать доступ к своим данным с другого устройства, если основное было потеряно или украдено.

Будущее принадлежит флэш-накопителям (SSD): они способны обеспечить гораздо более высокие скорости передачи данных, чем традиционные жесткие диски (HDD), и при этом становятся сравнительно недорогими. Широкое внедрение SSD может привести к существенным изменениям в архитектуре ЦОД и вычислительных систем.

Серверы и системы хранения с флэш-накопителями SSD позволяют решать самые ресурсоемкие задачи, такие как поиск в крупных базах данных, оперативная обработка транзакций, бизнес-аналитика, обработка больших данных и крупномасштабная виртуализация. SSD имеют все шансы заметно потеснить HDD в серверах и системах хранения данных, становятся ключевым компонентом гиперконвергентных систем. К 2020 году может появиться флэш-накопитель емкостью 40 Тбайт, практически решена проблема долговечности SSD.

Решения для работы с RAID-массивами из жестких дисков используются уже очень давно. В целом они продолжают оставаться популярными во многих областях, когда требуется относительно недорогой отказоустойчивый массив большого объема. Учитывая размеры современных винчестеров, их скорость, а также и другие причины, наибольший практический интерес вызывают массивы RAID6 (или RAID60, если дисков много). Но этот тип массивов имеет невысокую производительность на операциях случайной записи и сделать что-либо с этим непросто.

Конечно, в данном случае речь идет о скорости «сырого тома». В реальной жизни к нему добавляется файловая система, операционная система, приложения и все такое. Так что на самом деле не все так плохо. Однако есть и программно-аппаратные способы увеличения производительности, независимые от указанных подсистем. Речь идет о технологиях кэширования, когда к массиву из жестких дисков добавляется существенно более быстрый накопитель на базе флэшпамяти.

Привет Хабр! Предлагаем вашему вниманию отличный обзор системы хранения данных (СХД) Lenovo DS6200, выполненный изданием THG.

Эти два протокола долго жили в разных нишах применения, но наступило время, когда они стали конкурировать друг с другом. Мы однозначно видим, что Ethernet набирает скорость в прямом смысле слова и начинает лезть туда, где FC всегда считался единственным игроком на поле. Появились альтернативы FC, работающие на Ethernet, как в блочном доступе: IP-SAN, FCoE так и других типах, это файловый (SMB, NFS), RDMA и объектный.
Эта статья не призвана к сравнению протоколов, а скорее как краткое хронологическое описание эволюции сетей ЦОД.


* по некоторым событиям нет точных дат. Корректировки и дополнения по датам прошу присылать с удостоверяющими их ссылками. Таймлайн.

Предыстория

Когда два года назад мы выпускали Veeam Backup & Replication 6.0, одним из самых важных нововведений была масштабируемость: благодаря распределенной архитектуре на базе специально выделенных «прокси-серверов» (серверов, которые непосредственно выполняют задания резервного копирования по перемещению данных) и распределению нагрузки между ними, продукт получил возможность обслуживать инфраструктуры практически любых размеров.

Причин для создания новой архитектуры было несколько, и, соответственно, ею решалось сразу несколько задач:

1. Обеспечить масштабируемость до инфраструктур любых размеров — для этого можно создать нужное количество “прокси-серверов” (серверов, которые выполняют задания резервного копирования), между которыми можно оптимально распределять рабочую нагрузку.
2. Повысить надёжность процесса резервного копирования и исключить проблему «единой точки отказа». Даже если один прокси-сервер упадет, задачу за него завершит другой.
3. Уменьшить нагрузку, которую операции резервного копирования оказывают на производственную инфраструктуру – благодаря использованию описанного в настоящей статье механизма.
4. Снять головную боль «Как же оптимально составить расписание для нескольких заданий?» – теперь можно настроить их параллельное выполнение.
5. Автоматически следить за свободным местом на хранилище и заблаговременно предупреждать о приближении порогового значения

При каждом выполнении задачи резервного копирования виртуальной машины Veeam Backup & Replication выбирает оптимальный прокси-сервер, ориентируясь на его территориальное положение в сети и его текущую нагрузку.

В этом посте я хотелбы рассмотреть подход к резервному копирования данных на СХД NetApp серии FAS.


Архитектура резервного копирования

WAFL

И начну я издали — со снепшотов. Технология снепшотов впервые была изобретена (и запатентирована) в 1993 году компанией NetApp, а само слово Snapshot™ является её торговой маркой. Технология снепшотирования логически проистекала из механизмов работы файловой структуры WAFL. Почему WAFL не файловая система смотрите здесь. Дело в том, что WAFL всегда пишет новые данные «в новое место» и просто переставляет указатель на содержимое новых данных в новое место, а старые данные не удаляются, эти блоки данных, на которые нет указателей, считаются высвобожденными для новых записей. Благодаря этой особенности записи, «всегда в новое место», механизм снепшотирования был легко интегрирован в WAFL, из-за чего такие снепшоты называют Redirect on Write (RoW). Подробнее про WAFL.

Не так давно компания Pure Storage анонсировала новую функциональность ActiveCluster – active/active метрокластер между хранилищами данных. Это технология синхронной репликации, при которой логический том растянут между двумя хранилищами и доступен на чтение/запись на обоих. Эта функциональность доступна с новой версией прошивки Purity//FA 5 и является абсолютно бесплатной. Также Pure Storage пообещали, что настройка растянутого кластера никогда не была еще такой простой и понятной.

В данной статье мы расскажем про ActiveCluster: из чего состоит, как работает и настраивается. Отчасти статья является переводом официальной документации. Помимо этого, мы поделимся опытом тестирования его на отказоустойчивость в VMware-окружении.