Как стать автором
Обновить
17
Карма
0
Рейтинг
Андрей Щеглов @unix_junkie

Пользователь

Яндекс и ЦЕРН: новый этап сотрудничества

ЯндексАлгоритмы
Сегодня Яндекс присоединился к ЦЕРНу. Наше партнёрство с Европейским центром ядерных исследований переходит на новую стадию развития: у ученых из ЦЕРНа появится доступ к технологии машинного обучения Матрикснет от Яндекса, а также новым вычислительным мощностям. А Яндекс становится ассоциированным членом европейского Центра ядерных исследований в рамках проекта CERN openlab. Кроме него членами openlab являются Intel, HP, Oracle, Siemens и Huawei.

Сотрудничество Яндекса с Центром началось в 2011 году, когда мы впервые предоставили ЦЕРНу свои серверные мощности. А в апреле прошлого года наши разработчики создали поиск по событиям эксперимента LHCb. LHCb — один из четырёх основных экспериментов ЦЕРНа и один из примеров того, насколько важными в современной науке стали не только данные опытов, но и их обработка. В ходе опытов LHCb исследуются соударения b-кварка (b от английского beauty, по-русски его называют прелестным). Объём информации об этих событиях только за год достигает тысяч терабайт. Благодаря созданнному нами поисковому индексу у учёных ЦЕРНа появилась возможность мгновенно получать нужную информацию.

В современной фундаментальной науке важную роль стали играть не только технические ресурсы для проведения опытов, но и вычислительные возможности для обработки и понимания их результатов. В наши дни, особенно в ЦЕРНе, данных становится так много, что без применения сложных алгоритмов даже учёному будет сложно делать точные выводы о результатах опытов. Технологии, которые можно применять для таких целей, имеет совсем небольшое количество компаний.



Мы расспросили Андрея Устюжанина, руководителя проекта партнёрства с ЦЕРНом в Яндексе, о подробностях того, для чего именно ЦЕРНу нужна помощь Яндекса и как устроена работа с данными экспериментов. Смотрите видео и читайте более подробную текстовую версию после ката.
Читать дальше →
Всего голосов 110: ↑100 и ↓10 +90
Просмотры32.3K
Комментарии 21

IBM SOM: внешняя объектная система с поддержкой наследования

ООП
Из песочницы
image Хотел бы поделиться своей находкой: IBM SOM. Согласно Википедии, жил да был некогда Microsoft с COM, и был IBM с SOM. В Windows и OS/2, соответственно. И были для них средства межсетевого взаимодействия: DCOM и — как вы думаете? — правильно, DSOM. Такая вот идиллия, что может сложиться впечатление, что это близнецы. Только вот в SOM было наследование, а в COM — нет, и в журналистских статейках, на которые ведут ссылки из Википедии, только об этом и речь.

Но это лишь начало путешествия в кроличью нору
Всего голосов 16: ↑13 и ↓3 +10
Просмотры6.8K
Комментарии 11

Ford выпустил SDK для своих автомобилей

Open source


Компания Ford приглашает разработчиков мобильных приложений и всех автовладельцев хакнуть свои машины. Специально для этой цели создана открытая платформа OpenXC, предоставляющая доступ к внутренним сенсорам автомобиля Ford через стандартный интерфейс OBD-II.

Компания Ford выпустила Arduino-совместимый микроконтроллер, который подключается к порту OBD-II (так называемый CAN-транслятор), и Java-библиотеку, которая работает практически на любом устройстве под Android.

Благодаря открытому SDK автомобили Ford превращаются в часть радиоконструктора Arduino. Можете добавлять к автомобилям кнопки, ручки, индикаторы, дополнительные дисплеи и панели управления — на что только хватит фантазии.
Читать дальше →
Всего голосов 118: ↑112 и ↓6 +106
Просмотры58.9K
Комментарии 68

Linux :: два, три, пять… указателей мыши

Настройка Linux
Не знаю зачем мне это пригодится, но очень вдруг захотелось иметь два указателя мыши в Linux, ведь две «мыши» у меня есть — собственно беспроводная мышь и тач-пад. Идея пришла в тот момент, когда я подключил вторую мышь, т.е. третье устройство управления указателем.
Я тоже подключу десять мышей и запутаюсь в указателях
Всего голосов 140: ↑134 и ↓6 +128
Просмотры63.1K
Комментарии 93

Разработка в Caché Studio с использованием Subversion

InterSystemsРазработка веб-сайтовСистемы управления версиями

Было разработано расширение Caché Studio, которое называется Caché-SVN. Это расширение позволяет работать с репозиторием (хранилищем) SVN, не покидая Caché Studio. С его помощью можно выполнять checkout, commit и update.

Caché-SVN работает не с отдельными файлами (классами, программами, csp-страницами и т.д.), а с проектом целиком.

Caché-SVN создаёт временную папку на сервере, где установлено Caché, выгружает туда файлы проекта и выполняет svn commit. Аналогично при svn update полученные xml-описания файлов импортируются в Caché.
Читать дальше →
Всего голосов 7: ↑5 и ↓2 +3
Просмотры5.8K
Комментарии 8

Уроки написания утилитки на $1 000 000

Интерфейсы


Осенью 2008 года мы с приятелем потратили две-три недели свободного от основной работы времени, чтобы написать маленькую утилитку для бэкапа баз данных (MS SQL Server и потом MySQL). Сегодня она приносит нам около $230 000 в год и можно с уверенностью говорить, что суммарно мы заработаем на ней больше $1 000 000.

Под катом я расскажу, как это получилось и какие уроки мы из этого извлекли. Вполне возможно, что нам просто глупо повезло и опыт этот целиком неверен и теории не соответствует и только навредит вашему начинанию — читайте на свой страх и риск.
Читать дальше →
Всего голосов 471: ↑457 и ↓14 +443
Просмотры195.1K
Комментарии 247

Как, зная только имя и email человека, злоумышленники получили доступ ко всем его аккаунтам и удаленно уничтожили информацию на всех его устройствах

Информационная безопасность
Очень интересная статья появилась сегодня на wired.com. Буквально за один час у автора статьи Мэта Хонана были взломаны Amazon, GMail, Apple и Twitter аккаунты и была удаленно уничтожена информация на его iPad, iPhone и MacBook. Среди прочего он потерял все фотографии своей дочки с ее рождения, многие документы и большую часть переписки. Очень интересно в этой истории то, как злоумышленник получил доступ к Amazon аккаунту и AppleID — для этого не понадобилась ничего, кроме доступной в сети информации и телефона.
Читать дальше →
Всего голосов 341: ↑338 и ↓3 +335
Просмотры172.3K
Комментарии 329

20 вещей, которые я должен был знать в 20 лет

Управление проектами
Перевод
1. Мир пытается оставить тебя тупым. Начиная от банковских платежей и процентов и заканчивая чудо-диетами — из необразованных людей легче вытрясти деньги и ими проще управлять. Занимайтесь самообразованием столько, сколько можете — для того, чтобы быть богатым, независимым и счастливым.
Читать дальше →
Всего голосов 544: ↑445 и ↓99 +346
Просмотры385.5K
Комментарии 544

Восстановление расфокусированных и смазанных изображений. Практика

АлгоритмыОбработка изображений
Не так давно я опубликовал на хабре первую часть статьи по восстановлению расфокусированных и смазанных изображений, где описывалась теоретическая часть. Эта тема, судя по комментариям, вызвала немало интереса и я решил продолжить это направление и показать вам какие же проблемы появляются при практической реализации казалось бы простых формул.

В дополнение к этому я написал демонстрационную программу, в которой реализованы основные алгоритмы по устранению расфокусировки и смаза. Программа выложена на GitHub вместе с исходниками и дистрибутивами.

Ниже показан результат обработки реального размытого изображения (не с синтетическим размытием). Исходное изображение было получено камерой Canon 500D с объективом EF 85mm/1.8. Фокусировка была выставлена вручную, чтобы получить размытие. Как видно, текст совершенно не читается, лишь угадывается диалоговое окно Windows 7.



И вот результат обработки:



Практически весь текст читается достаточно хорошо, хотя и появились некоторые характерные искажения.

Под катом подробное описание проблем деконволюции, способов их решения, а также множество примеров и сравнений. Осторожно, много картинок!
Читать дальше →
Всего голосов 459: ↑456 и ↓3 +453
Просмотры295.2K
Комментарии 141

Маленькие секреты больших графов

ПрограммированиеData MiningАлгоритмы

Если вам интересно, какие знания можно извлечь из большого массива данных, насколько большими бывают графы и какие задачи по анализу социальных графов предлагают Facebook, Twitter и др., то эта статья именно для вас.
Читать дальше →
Всего голосов 60: ↑53 и ↓7 +46
Просмотры8.1K
Комментарии 11

Генетический алгоритм для генерации лиц

АлгоритмыОбработка изображений
Что будет, если генератор случайных фигур соединить с детектором лиц? Способен ли эволюционный алгоритм путём случайных мутаций сгенерировать человеческое лицо? Разработчик программы Pareidoloop отвечает на этот вопрос утвердительно (генератор протестирован только в Chrome 21).


(с) spiritedflow
Читать дальше →
Всего голосов 54: ↑44 и ↓10 +34
Просмотры7.7K
Комментарии 57

Leap second привёл к зависанию некоторых серверов на Linux

Настройка Linux
Пользователь Bron Gondwana на ServerFault отмечает, что начиная с утра 30-го июня некоторые его сервера на Debian Squeeze стали зависать, не подавая никаких признаков жизни.

С одного из серверов удалось вытащить вот такой дамп:

[3161000.864001] BUG: spinlock lockup on CPU#1, ntpd/3358
[3161000.864001] lock: ffff88083fc0d740, .magic: dead4ead, .owner: imapd/24737, .owner_cpu: 0

Читать дальше →
Всего голосов 73: ↑67 и ↓6 +61
Просмотры15K
Комментарии 74

Бесплатного супа больше не будет

Программирование
Фундаментальный поворот к параллелизму в программировании

Автор: Герб Саттер
Перевод: Александр Качанов

The Free Lunch Is Over: A Fundamental Turn Toward Concurrency in Software
(By Herb Sutter)

Ссылка на оригинал статьи: www.gotw.ca/publications/concurrency-ddj.htm

Примечание переводчика: В данной статье дается обзор современных тенденций развития процессоров, а также, что именно эти тенденции значат для нас — программистов. Автор считает, что тенденции эти имеют фундаментальное значение, и что каждому современному программисту придется кое в чем переучиваться, чтобы не отстать от жизни.

Данная статья достаточно старая. Ей уже 7 лет, если считать с момента ее первой публикации в начале 2005 года. Помните об этом, когда будете читать перевод, так как многие вещи, которые для вас уже стали привычными, для автора статьи в 2005 году были в новинку и только-только появлялись.

Читать дальше →
Всего голосов 122: ↑113 и ↓9 +104
Просмотры15.7K
Комментарии 81

Строковые коллекции только для чтения: экономим на спичках

Java
Нередко случается, что какие-то данные программа загружает в память и оставляет их там надолго (а то и до конца работы) в неизменном виде. При этом используются структуры данных, оптимизированные как для чтения, так и для записи. Например, вы вычитываете из базы Ensembl список идентификаторов всех генов человека (включая всякие микроРНК и т. д. — всего чуть больше 50000). Если их прочитать в стандартный ArrayList, то на 32-битной HotSpot вы потратите чуть больше 4 мегабайт. Можно ли сэкономить память, зная, что коллекция больше не будет меняться?
Читать дальше →
Всего голосов 24: ↑24 и ↓0 +24
Просмотры2.9K
Комментарии 19

Безработный геймдизайнер сделал модель Солнечной системы на движке Unreal

Разработка мобильных приложенийUnreal Engine


Канадский разработчик игр с семилетнем стажем Кристофер Альделун (Christopher Albeluhn) потерял работу, но не оптимизм. В свободное время он начал делать проект, который должен был усилить его портфолио — модель Земли на игровом движке Unreal.

Но затем его понесло: сначала появилась Луна, потом Солнце, другие планеты Солнечной системы, их спутники, пояс астероидов, гравитационное поле с геометрией пространства-времени, и напоследок Кристофер не удержался и добавил все существующие 88 созвездий. В итоге через пару месяцев работы это вылилось в потрясающе красивую модель Солнечной системы. Хотя работа ещё не закончена, сосед Кристофера по комнате втайне выложил видеоролик на Youtube, и тот оказался неожиданно популярным, собрав за сутки 50 тыс. просмотров.
Читать дальше →
Всего голосов 122: ↑113 и ↓9 +104
Просмотры24K
Комментарии 78

Google Maps получили 3D и возможность автономной работы

Работа с 3D-графикой


Недавно на Хабре публиковалась новость о том, что корпорация Google собирается показать обновленный картографический сервис Google Maps. Сообщалось, что на картах появятся трехмерные объекты и даже целые регионы. Сегодня состоялась пресс-конференция в Сан-Франциско, посвященная обновлению сервиса. Все прежние слухи подтвердились, плюс было добавлено еще несколько приятных возможностей. В частности, вскоре можно будет работать с сервисом Google Maps без доступа к Сети. Наверное, многие представители хабрасообщества будут рады именно этой возможности, правда?

Читать дальше →
Всего голосов 50: ↑46 и ↓4 +42
Просмотры21.1K
Комментарии 67

Bitcoin, генерируем монеты в общем пуле

Криптография
Криптовалюта Bitcoin продолжает развиваться, сложность генерации блока повышается с каждым разом. Торги на биржах идут уже на весьма существенные суммы. А вот генерировать в одиночку становится почти нереально.
Сегодня речь пойдёт о генерации монет коллективно — в общем пуле. В этом случае приз за генерацию блока разделяется между всеми участниками пула примерно пропорционально вкладу в генерацию блока.
За счёт большой суммарной вычислительной мощности пула генерация блоков происходит намного чаще, чем если работать в одиночку, но и приз каждому участнику меньше. В долговременном среднем получается примерно столько же (минус процент владельца пула), но зато равномернее.

Что такое Bitcoin, и как оно работает на хабре уже есть статьи. А вот о генерации в общем пуле информация весьма разрозненна даже в его родной вики. В этой статье рассказывается о механизме работы пулов, имеющихся пулах, клиент-программах и некоторых результатах.

Термины, пулы, программы, результаты, рассчёты, выводы...
Всего голосов 59: ↑54 и ↓5 +49
Просмотры255.3K
Комментарии 242

Google Knowledge Graph

Поисковые технологии
Внезапно Google объявил о запуске проекта, который готовился в недрах Evil Empire уже два года.
Придумав броский слоган things not strings (вещи — не строчки), нам хотят представить нечто вроде автоматической энциклопедии.
Читать дальше →
Всего голосов 49: ↑43 и ↓6 +37
Просмотры7.9K
Комментарии 63

Разница между bin, sbin, usr/bin, usr/sbin

Настройка Linux
Перевод
30 ноября 2010 года Дэвид Коллиер (David Collier) писал:
Я заметил, что в busybox ссылки разложены по этим четырём директориям.
Есть ли какое-то простое правило, чтобы определить, в какой директории какая из ссылок должна лежать…
К примеру, kill лежит в /bin, а killall — в /usr/bin… Я не вижу никакой логики в таком разделении.

Вы, наверное, знаете, что Кен Томпсон и Дэннис Ритчи создали Unix на PDP-7 в 1969-ом. Так вот, примерно в 1971 они проапгрейдились до PDP-11 с парой дисков RK05 (по 1,5 мегабайта каждый).

Когда операционная система разрослась и перестала помещаться на первом диске (на котором была расположена корневая ФС), они перенесли часть на второй, где располагались домашние директории (поэтому точка монтирования называлась /usr — от слова user). Они продублировали там все необходимые директории ОС (/bin, /sbin, /lib, /tmp ...) и складывали файлы на новый диск, потому что на старом кончилось место. Потом у них появился третий диск, они примонтировали его в директории /home и перенесли туда домашние директории пользователей, чтобы ОС могла занять всё оставшееся место на двух дисках, а это были целых три мегабайта (огого!).
Читать дальше →
Всего голосов 243: ↑233 и ↓10 +223
Просмотры45K
Комментарии 149

Unbiased rendering (рендеринг без допущений)

Алгоритмы
В компьютерной графике, рендеринг без допущений относится к технике рендеринга, которая не вносит в расчет систематических ошибок, предположений или погрешностей. Изображение получается таким, каким должно быть в природе, а рендер не имеет настроек качества поверхностей либо источников света.


Изображение отрендерено с помощью Maxwell Render.

Читать дальше →
Всего голосов 165: ↑161 и ↓4 +157
Просмотры50.2K
Комментарии 70

Информация

В рейтинге
5,812-й
Откуда
Москва, Москва и Московская обл., Россия
Работает в
Дата рождения
Зарегистрирован
Активность