Как стать автором
Обновить
  • по релевантности
  • по времени
  • по рейтингу

Вебинар «Как упростить хранение данных и организовать бесконечно масштабируемый источник» 25 сентября от Mail.ru Group

Блог компании Mail.ru GroupАдминистрирование баз данныхХранение данныхХранилища данных


Количество данных растет ежесекундно, традиционные решения для хранения давно не справляются с такими объемами информации. Если вам нужно хранить петабайты фото- и видеоконтента, бэкапов приложений, статического контента лендингов и сайтов, то возникает вопрос: где разместить и как обрабатывать полученные данные? При этом важно, чтобы процесс хранения и обработки был надежным, быстрым и удобным, то есть автоматизированным.

25 сентября на вебинаре «Как упростить хранение данных и организовать бесконечно масштабируемый источник c помощью S3» мы расскажем, как сделать работу с данными проще и удобнее, снизить нагрузку на текущие мощности и обеспечить бесконечные возможности для масштабирования. Присоединяйтесь!
Подробнее о вебинаре
Всего голосов 3: ↑3 и ↓0 +3
Просмотры663
Комментарии 0

Вебинар «Как построить современную сетевую инфраструктуру» 17 декабря от Mail.ru Group

Блог компании Mail.ru GroupСистемное администрированиеВиртуализацияОблачные вычисленияОблачные сервисы


С чего начать, если вы хотите построить высокоэффективную, гибкую и безопасную инфраструктуру в облаке? Первый шаг — это правильная настройка работы сети.

17 декабря приглашаем вас принять участие в вебинаре «Первые шаги при подключении к облаку, или Все, что нужно знать о настройке сети», где мы расскажем, как построить современную сетевую инфраструктуру.

Мы разберем все этапы настройки виртуальной сети, обеспечение удаленного доступа, безопасности и отказоустойчивости на уровне инфраструктуры, а также что необходимо сделать для правильного распределения сетевой нагрузки.

Присоединяйтесь!
Подробнее о вебинаре
Всего голосов 7: ↑7 и ↓0 +7
Просмотры554
Комментарии 0

Решение для пакетной обработки файлов (PHP)

Чулан
Я думаю, достаточно часто в корпоративной админке, или просто административной части какого-либо сайта возникает потребность в обработке большого количества файлов, и показа состояния операции пользователю.

Это может быть пакетная обработка залитых картинок, произведение бэкапа документов, заливка большого дампа БД и так далее. При написании моего файлового менеджера (ждите взрыва популярности в 2010 году ;)) я написал простенькую библиотеку для организации операций с файлами, с показом состояния операции пользователю.
Читать дальше →
Всего голосов 9: ↑8 и ↓1 +7
Просмотры595
Комментарии 16

Анализ погоды своими руками

Чулан
Не так давно осознал, что в нашем климате самое важное не градус, а облачность. Самый противный месяц для меня – январь, во время которого по несколько недель отсутствует солнце. Появилась идея сравнить облачность количественно в пространстве и во времени. Оказалось, что есть очень полезный публичный сервис с архивными погодными данными за 11 лет для разных городов планеты.

Просчитав среднюю облачность и отклонение от среднего для различных городов, привожу график облачности, измеряемой по десятибалльной шкале:

график облачности

Различия облачности для Москвы и Питера в пределах изменений от года к году. Разброс облачности зимой от года к году меньше чем летом. Так что много солнечных дней в январе можно не ждать. Видно, что Лондон не такой мрачный зимой. Солнечному Магадану позавидовать можно только зимнюю пору, летом же как в Питере осенью.

график температуры

На графике температур Лондон, очевидно, выигрывает зимой, а в Магадане зябко круглый год. Отличия Питера от Москвы в приделах ежегодных отклонений.

Исходный код обработки и парсинга можно посмотреть тут.
Всего голосов 12: ↑12 и ↓0 +12
Просмотры444
Комментарии 12

Экономия бензина с помощью Google Prediction API

Data Mining


Исследователи из Ford начали тестировать новую функцию компьютерной системы управления, которая делает обоснованные предположения по будущему маршруту автомобиля и оптимизирует настройки. Выбор режима работы двигателя в некоторых случаях позволяет заметно уменьшить расход топлива.

Предсказание маршрута осуществляется на основе облачного сервиса Google Prediction API. На скриншоте видно слева, как просчитывается вероятность каждого маршрута.
Читать дальше →
Всего голосов 20: ↑16 и ↓4 +12
Просмотры3.1K
Комментарии 13

Как работает web-spider

Разработка веб-сайтов
Из песочницы
Предположим, перед нами стоит такая задача: собирать информацию о рекламных объявлениях с различных сайтов в разных категориях. В дальнейшем эта информация будет использоваться для мониторинга и анализа рынка, оповещения о каких-то событиях на этом рынке. Похоже на создание мини- поисковой системы.

По сути дела, имеем 4 подсистемы:
1. Сервис запуска плагинов, собирающих и извлекающих информацию
2. Временное хранилище данных
3. Индекс данных
4. Приложения для работы с извлеченными данными, например, генератор отчетов

Рассмотрим последовательно каждую систему.

Читать дальше →
Всего голосов 8: ↑7 и ↓1 +6
Просмотры8.7K
Комментарии 3

Работа для Ватсона

Блог компании IBM


Суперкомпьютер Watson уже доказал всему миру свою состоятельность и серьезность обыграв двух абсолютных чемпионов игры Jeopardy! — прообраза «Своей игры». Впечатляющий дебют, состоявшийся в 2010 году, не мог быть незамеченным — в то же время многие критики обращали внимание публики на то, что практического применения такому интеллекту не найдется ближайшие несколько лет.

Вопреки мнениям скептиков, уже в начале следующего года Watson начнет приносить практическую пользу всем людям — компания WellCare, предоставляющая различные услуги в сфере здравоохранения США, подписала контракт с IBM на использование мощностей суперкомпьютера при обработке различных медицинских данных больных раком, хроническими заболеваниями и другими тяжелыми формами болезней.
Читать дальше →
Всего голосов 24: ↑23 и ↓1 +22
Просмотры6.3K
Комментарии 26

ЦОД в Ярославле: воплощение мечты последних пяти лет

Блог компании Билайн Бизнес
«Билайну» нужно очень много вычислительной мощности для работы. Идея построить большой ЦОД и решить проблемы роста на 10 лет вперед витала с 2005 года. Я вкратце расскажу о том, с какими сложностями мы столкнулись, когда раздумывали о новом крупном объекте.


Новый дата-центр

Сильнее, выше, быстрее, дешевле


Первая проблема была в соотношении результатов и цен. Понятно, что строить ЦОД в Москве около уже имеющегося хочется, но не настолько сильно, чтобы тратить реально крупные суммы на строительство, и энергообеспечение. Поначалу мы отсмотрели около 30 объектов в Москве и области, но потом пришли к выводу, что экономически более обосновано строить где-то поблизости от столичного региона, но не непосредственно в нём. Тут есть ещё сложность: между ЦОД в Москве и новым ЦОД не должно быть больше 200 километров оптоволокна, иначе скорость света уже существенно скажется на лагах при синхронной репликации. Параллельно мы купили новые модели дисковых массивов и получили возможность протестировать асинхронную репликацию. Так стало понятно, что географически разносить центры можно.

Читать дальше →
Всего голосов 60: ↑57 и ↓3 +54
Просмотры47.5K
Комментарии 81

Wolfram Alpha Pro

Поисковые технологии


Сегодня официально представлена продвинутая версия научного поисковика Wolfram Alpha Pro. Это самый значительный апдейт за всё время существования поисковой системы. Хотя её и раньше трудно было назвать «поисковой системой», а сейчас это вообще нечто фундаментально иное.

Итак, на что способен Wolfram Alpha Pro за пять долларов в месяц?


Читать дальше →
Всего голосов 139: ↑134 и ↓5 +129
Просмотры51.6K
Комментарии 80

Почему мы создали Джулию, новый ЯП для технических вычислений

ПрограммированиеJuliaMatlab
Перевод
Если вкратце, потому что мы жадные.

Мы продвинутые пользователи Matlab. Некоторые из нас хакеры Lisp. Некоторые питонисты, другие рубисты, есть ещё Perl-хакеры. Среди нас есть такие, кто использовал Mathematica раньше, чем у него начали расти волосы на лице. Есть и такие, у кого до сих пор не выросли. Мы построили больше графиков на R, чем способен любой здравомыслящий человек. C — это язык, который мы бы взяли на необитаемый остров.

Мы любим все эти языки; они прекрасны и могучи. Для той работы, которую мы делаем — научные вычисления, машинное обучение, дата-майнинг, крупномасштабная линейная алгебра, распределённые и параллельные вычисления — каждый идеально подходит в определённом аспекте, но ужасен в других. Каждый из них — это компромисс.

Мы жадные: мы хотим больше.
Читать дальше →
Всего голосов 63: ↑54 и ↓9 +45
Просмотры8.6K
Комментарии 19

Электронная библиотека для PocketBook: автоматическая обработка

Гаджеты
Из песочницы
Наверное каждому электрочитателю хотелось бы всю свою коллекцию книг содержать прямо на электронной книге-читалке, и при этом, не смотря на общую тормознутость устройства, иметь удобную навигацию.
Зачастую в электронной книге проблематично содержать сотни и тысячи книжек: либо аппарат долго тупит, считывая информацию о каждой книге из ее внутренностей, либо вручную поддерживать коллекцию с разбивкой по каталогам — тот еще геморрой.
Читать дальше →
Всего голосов 25: ↑25 и ↓0 +25
Просмотры18.3K
Комментарии 25

Облачные дата центры сегодня и завтра

Блог компании Microsoft


Друзья, рады сообщить, что в партнерстве с Фондом «Сколково» мы продолжаем привозить в Москву выдающихся сотрудников Microsoft – на этот раз одного из гуру «Облачных» технологий. Дилип Бхандаркар (Dileep Bhandarkar) — ведущий эксперт Microsoft (Distinguished Engineer) в области разработки архитектуры серверного оборудования и стандартов подразделения Global Foundation Services.

Дилип руководит разработкой технологической стратегии инфраструктур облачных и онлайн сервисов Microsoft, отвечает за аппаратную архитектуру серверов и стандарты Global Foundation Services (GFS). GFS поддерживает более 200 онлайн сервисов Microsoft для потребителей и предприятий во всем мире.

Где и когда


Открытая лекция пройдет 24 сентября с 18:30 до 20:00 в малой аудитории Политехнического музея, расположенного по адресу: Москва, Новая площадь ¾, подъезд 9, малая аудитория.

Регистрация: openu.timepad.ru/event/35989
Трансляция: www.sk.ru/live
Язык: английский
О лекции и докладчике
Всего голосов 18: ↑10 и ↓8 +2
Просмотры3.2K
Комментарии 1

Статистические тесты в R. Часть 2: Тесты качественных данных

МатематикаR
Tutorial
Эта статья — продолжение первой части. В этой серии статей я рассматриваю применение набирающего популярность языка программирования R для решения распространенных статистических задач.

В данной и следующей статье я показываю как выбрать для обработки качественных и количественных данных правильные тесты и реализовать их в R. Данные методы позволяют получить реальное представление об объекте, процессе или явлении по какому-либо параметру, т.е. позволяют сказать «хорошо» или «плохо». Они не потребуют глубоких знаний программирования и статистики, и пригодятся людям различного рода деятельности.

Заинтересовались? Добро пожаловать под кат!
Читать дальше →
Всего голосов 7: ↑6 и ↓1 +5
Просмотры17.2K
Комментарии 0

Введение в Байесовские методы

АлгоритмыМатематика
Из песочницы
Tutorial

В качестве введения


В настоящее время Байесовские методы получили достаточно широкое распространение и активно используются в самых различных областях знаний. Однако, к сожалению, не так много людей имеют представление о том, что же это такое и зачем это нужно. Одной из причин является отсутствие большого количества литературы на русском языке. Поэтому здесь попытаюсь изложить их принципы настолько просто, насколько смогу, начав с самых азов (прошу прощения, если кому-то это покажется слишком простым).
Подробности
Всего голосов 78: ↑70 и ↓8 +62
Просмотры151.3K
Комментарии 37

Отказ от jParser (в пользу работы напрямую с буферами Node.js) ускоряет скрипт на порядок

JavaScriptNode.JS
Перелистнём несколько страниц недавнего прошлого.

16 мая 2012 года RReverser во блогозаписи «Javascript BMP Parser» рассказал об употреблении модуля jParser для анализа двоичных данных, во браузере совершаемого.

На следующий же день (17 мая 2012 года) во блогозаписи «jParser: анализ двоичных файлов работает просто» я перевёл документацию по jParser, а чуть позже (22 мая 2012 года во блогозаписи «Node.js на узле Фидонета: читаем джаваскриптом заголовки эхопочты, хранимой в формате JAM») поделился собственным опытом употребления этого модуля (на сей раз — на Node.js, а не во браузере).

Прошло ≈1⅓ года…

12 сентября нынешнего (2013) года во блогозаписи «Недоволен скоростью джаваскриптов? — Подожди год-полтора, и это пройдёт!» я выразил неудовольствие от скорости работы модуля, прежде мною сочинённого, и указал на один только повод для оптимизма: поступательное развитие Node.js от версии 0.6 до версии 0.10 привело к росту скорости моего кода в три раза.

А сегодня события совершили полный круг — я напрочь отказался от употребления jParser. И достигнутый результат (как неприятная, так и радостная сторона его) оказался заслуживающим внимания.

Позвольте же поделиться с вами как впечатлениями, так и исходниками.

Читать дальше →
Всего голосов 30: ↑20 и ↓10 +10
Просмотры8.4K
Комментарии 14

Использование Lua и C++ для обработки и хранения данных

C++Разработка игрLua
Из песочницы
Код статьи можно посмотреть здесь.
Чем так хорош Lua?

Когда-то я разрабатывал свою игру и задался вопросом: а какой формат данных лучше использовать для конфигурационных файлов?
Ведь удобно, когда создаёшь какой-либо объект, задавать различные начальные параметры не в самом коде, а в отдельных файлах. Это позволяет изменять некоторые параметры объектов без рекомпиляции, да и вообще даёт возможность менять их людям далёким от программирования.
Разработчики используют разные форматы: одни используют JSON, другие — XML, либо другие форматы данных. Ну а некоторые вообще хранят данные в .txt файлах или пишут свои парсеры. После рассмотрения различных форматов я остановился на Lua.

Lua можно использовать не только для игр, но и вообще для любых программ, которые используют данные, хранящиеся в других файлах.

Вот, что выделяет Lua на фоне других форматов:
  • Lua легко использовать без дополнительных зависимостей (кроме одной библиотеки Lua и трёх .h файлов).
  • В Lua файлах данные можно инициализировать с помощью математических выражений или функций, написанных на Lua. Например:
    some_variable = math.sqrt(2) * 2
    some_variable2 = 64 * 16 - 32
    

  • Lua — очень быстрый язык, который к тому же не занимает много памяти.
  • У Lua лицензия MIT, которая позволяет использовать этот язык как в бесплатных, так и в коммерческих проектах, причём без всякой возни с бумагами. Как написано на сайте: «просто скачайте и пользуйтесь».
  • Lua комплируется практически везде, т.к. он написан на чистом C без использования дополнительных библиотек.
  • Данные можно хранить и сортировать в приятном глазу виде. Их легко читать и модифицировать в любом текстовом редакторе.

Начнём с простого примера, а затем я перейду к реализации класса.
Читать дальше →
Всего голосов 45: ↑44 и ↓1 +43
Просмотры38.2K
Комментарии 28

Раздача научного софта. Бесплатно

Визуализация данных

Так уж получилось, что до того, как стать физиком, я хотел быть программистом. Не сложилось, но тяга писать программки не прошла. Как результат — за 15 лет работы в науке, было написано приличное количество разнообразного прикладного софта. Конечно, большая часть была совершенно одноразовой, и мотивацией для ее написания была фраза из мультика — «лучше день потерять, потом за пять минут долететь». Но некоторые вещи оказались долгоиграющими, пошли «в народ», кое-что даже продается. Для продажи этого «кое-чего» даже был создан сайт, ориентированный на «заграницу», но это было сделано больше ради эксперимента, а не с целью заработать какие-то реальные деньги, тем более что софт по большей части очень специфический, и спрос на него не велик. Но хватит о коммерции.

Я бы хотел совершенно безвозмездно поделиться частью своих наработок (тем, что не очень стыдно показать) с хабрасообществом, в надежде, что они могут оказаться полезными для молодых (и не очень) ученых, аспирантов и студентов, и кто-то сможет использовать их в своей работе. Вашему вниманию предлагается следующее (в порядке возрастания специфичности):
  • SciRef — менеджер цитирований.
  • AFM Vision — удобная визуализация данных атомно-силовой микроскопии.
  • Raman 2D — построение карты распределения интенсивности Рамановского излучения.
  • X-Ray Calc — симуляция рентгеновской дифракции тонких пленок.

Подробное описание возможностей, скриншоты (много) и ссылки — под катом.
Читать дальше
Всего голосов 147: ↑146 и ↓1 +145
Просмотры65.7K
Комментарии 36

27 лет арктических льдов за одну минуту

Визуализация данных


Потрясающее видео на днях опубликовало NOAA Climate — или по-русски Национальное управление океанических и атмосферных исследований климата, на котором были совмещены данные об арктических льда, собранные на протяжении последних 27 лет — между 1987 и 2014 годом. Красочная визуализация позволяет оценить, как сезонно и из года в год меняется снежный и ледовый покров нашей северной «шапки», а также проследить влияние глобального потепления на возраст ледовых покровов.
Гляциологические подробности
Всего голосов 26: ↑22 и ↓4 +18
Просмотры25.5K
Комментарии 19

RapidMiner – Data Mining и BigData у вас дома, быстро и без подготовки (почти)

Блог компании КРОКOpen sourceАнализ и проектирование системData MiningBig Data


Пока маркетологи обмазываются BigData и бегают в таком виде на пресс-конференциях, я предлагаю просто скачать бесплатный инструмент с тестовыми наборами данных, шаблонами процессов и начать работать.

Закачка, установка и получение первых результатов — минут 20 максимум.

Я говорю про RapidMiner — опенсорсную среду, которая при всей своей бесплатности некисло «уделывает» коммерческих конкурентов. Правда, сразу скажу, что разработчики всё равно её продают, а в опенсорс отдают только предпоследние версии. Дома можно попробовать потому, что есть вообще бесплатные сборки со всей-всей логикой с всего лишь двумя ограничениями — максимальный объем используемой памяти 1 Гб и работа только с обычными файлами (csv, xls и т.п.) в качестве источника данных. Естественно, в малом бизнесе это тоже не проблема.
Читать дальше →
Всего голосов 30: ↑26 и ↓4 +22
Просмотры43.6K
Комментарии 22

Детальный анализ Хабрахабра с помощью языка Wolfram Language (Mathematica)

Блог компании Wolfram ResearchПрограммированиеАлгоритмыВизуализация данных

Скачать пост в виде документа Mathematica, который содержит весь код использованный в статье, вместе с дополнительными файлами, можно здесь.

Анализ социальных сетей и всевозможных медиа-ресурсов является сейчас довольно популярным направлением и тем удивительнее для меня было обнаружить, что на Хабрахабре, по сути, нет статей, которые содержали бы анализ большого количества информации (постов, ключевых слов, комментариев и пр.), накопленного на нем за довольно большой период работы.

Надеюсь, что этот пост сможет заинтересовать многих участников Хабрахабра. Я буду рад предложениям и идеям возможных дальнейших направлений развития этого поста, а также любым замечаниям и рекомендациям.

В посте будут рассматриваться статьи, относящиеся к хабам, всего в анализе участвовало 62000 статей из 264 хабов. Статьи, написанные только для корпоративных блогов компаний в посте не рассматривались, а также не рассматривались посты, не попавшие в группу «интересные».

Ввиду того, что база данных, построенная в посте, формировалась за некоторое время до публикации, а именно 26 апреля 2015 г., посты, опубликованные на Хабрахабре после этой даты (а также, возможно, новые хабы) в данном посте не рассматривались.
Читать дальше →
Всего голосов 158: ↑150 и ↓8 +142
Просмотры52.4K
Комментарии 61