Вот тут давно сокрушались, что нет героя в отечестве, который бы купил какой-нибудь нейрокомпьютерный интерфейс, помучил бы его на благо сообщества и поделился с окружающими результатами мучений. Собственно есть. Я его купил и попытался использовать. Подробности с картинками под катом.

На Хабре половина участников постоянно пугает другую порабощающим всех и вся СОРМом, который круглосуточно мониторит трафик, сохраняет все торренты, которые вы качаете, а потом когда-нибудь — «к вам выедут» (с)

Казалось бы, на Хабре должны присутствовать профессиональные телеком-админы, которым это все знакомо на практике, но топиков по этой теме я что-то не встречал (хотя, возможно, плохо искал). Поэтому исходя из личного опыта хотелось бы немного рассказать, как это все работает на практике и чем страшный СОРМ, которым всех пугают, является реально. Подчеркиваю, что я не делаю никаких откровений: это знает каждый более-менее серьезный системный администратор или технический директор в любом телекоме, никто никаких подписок не дает и никакой секретной информации в этом нет.

Наблюдали в последнюю неделю флуд по http на один из сайтов камрада, который живет со мной на VPS. Где-то на пару дней неизвестные прекратили свои поползновения. Но буквально вчера начали долбить другой сайт с новой силой. Пришлось покрутить nginx в стороне кэширования всего (ранее кэшировали прозрачно) + apache2 (поубавить аппетиты). Собственно, через несколько часов мы уже и думать забыли, что кто-то на нас нападает. Из кэшей все отдается быстро и непринужденно, apache отдыхает.

И вот буквально с утра камрад, сайт которого и подвергся «атаке», пересылает письмо школьника… (интрига под хабракатом)

Года 3 назад я заинтересовался торговлей на фондовом рынке. В процессе изучения этой темы я познакомился с отличными ребятами, которые тогда сказали: «А не написать ли собственную программу для торговли и — что еще более интересно — для отладки торговых роботов».

Сказано — сделано! После 3 лет разработки и неизвестно скольких тысяч кружек кофе на свет появилась программа TSLab.

f.lux™ — программа, изменяющая цветовой профиль вашего монитора в зависимости от времени суток.



Собственно, этим все сказано. Ночью глаза меньше устают от теплых цветовых тонов, днем — от ярких и холодных. Ссылка для скачивания: stereopsis.com/flux/flux-setup.exe

Вдоволь наговорившись о «Саморосте» и других играх от студии «Аманита дизайн», я подумал, почему бы не развить тему вообще хороших Flash-игр? Яркая графика, забавный сюжет, запоминающая атмосфера, динамичный геймплей (такое тоже встречается)… Мне хотелось бы собрать в одном месте ссылки не на просто игрульки, а на образцы своего жанра — на те игры, которыми любуешься и играешь даже тогда, когда все вроде уже знаешь наизусть… а все равно тянет :)

Я умышленно не составлял нумерованный список, чтобы не было даже подобия рейтинга — как говорится, на вкус и цвет… :) Чтобы не тянуть резину в долгий ящик,

Сомневался в успешности метода, а также в том, что мой вечно салатовый пиксель, застывший полгода назад и постоянно мозоливший мне глаз, «станет на место». Но…
О чудо, помогло!

Учёным впервые в мире удалось экспериментально доказать возможность развития подвижного интеллекта у человека. Они создали компьютерную программу, которая стимулирует рабочую память таким образом, что действительно улучшаются способности мозга к обучению и решению неизвестных задач. Хотя рынок подобных программ оценивается в четверть миллиарда долларов (а легальный химический допинг для мозга появится ны рынке только через несколько лет), но учёные всё равно не собираются коммерциализировать свою сенсационную разработку.

Подвижный интеллект (fluid intelligence) — это способность воспринимать и запоминать новое, решать новые проблемы, с которыми человек раньше не сталкивался. В отличие от так называемого «накопленного» интеллекта, который основан на приобретённых знаниях (математика, словарный запас и т.д.), подвижный интеллект определён от рождения человека и остаётся неизменным на протяжении жизни. Некоторые специалисты иногда сравнивают связку подвижного и накопленного интеллекта со связкой компьютерного железа и софта. Первый закладывается природой, а второй поддаётся апгрейду. С возрастом первый изнашивается, а второй практически не ухудшается и может даже развиваться, превращаясь в мудрость.

Теперь же оказывается, что и «железо» в человеческом мозге можно немного «разогнать». Для этого достаточно 25-минутных ежедневных тренировок, после которых мышление становится более подвижным.

Коллекция ссылок больших порталов и поисковиков, для выбора всевозможных Иконок(Icons) разного типа. Практически на всех есть широкий выбор размеров.

В этой коллекции я уверен что вы найдете что вам нужно ;)

Ну интересное так точно!!!

1. http://www.iconspedia.com

Представте: люди вымрут. А что будет с землей? Интересно? Канал The History Chanel сделал попытку предсказать постапокалиптическое будущее в своем двух часовом документальном фильме Life After People.
Вот кадры оттуда.

Продолжение изысканий на тему «На что надеяться в интернете «маленькому работодателю», без денег и связей». Читать с начала



2. Социальные сети

Десяток виртуальных друзей и сотни друзей ваших друзей — более благодатная почва для вербовки будущих коллег. Работные сайты пытаются социализироваться, но пока безуспешно. «Хедхантер» открыл паутину профзнакомств Webby.ru и коллективный блог Live.hh.ru, но эйчары и менеджеры о них молчат. Все-таки не «хедхантеры», рассуждающие в категориях кадрового брендинга и репутационных рисков, делают сейчас знаковые соцсети, а физики-математики, создавшие «Мойкруг» или энтузиасты гражданской журналистики, которые придумали сами знаете что.

Все мы привыкли считать, что в Интернете найти можно все. «Где бы почитать новости? — Зайди на lenta.ru», «Где достать программу для распознавания текста? — А-а, тебе нужен Finereader, слей из инета», «Где бы достать свежий фильм? — Зарегистрируйся в торрентах и качай». Пребывая в гуще сети никто из нас уже не задумывается над тем, откуда все это берется. В самом деле, почему свежевышедшая игра уже доступна в интернете и работает без установочного диска, хотя разработчики защитили свой продукт последней версией StarForce? Каким образом на горбушке продают DVD, если фильм только сегодня выходит в США? Все это покрыто тайной для обычного обывателя, а в СМИ общеупотребимым стало абстрактное слово «пиратство».

Я думаю, мало кто сидя в темном кинозале, не замышлял собственные киноистории.

Каждый день мы просматриваем множество сайтов.
Структура этих сайтов отражена в HTML коде.

Sala, автор этого блога, написал очень интересный аплет, который анализирует тэги страниц, и визуализирует их в соответствии со следующей спецификацией:


Вот, например, визуализация msn.com. Довольно разветвленная структура, с большим количеством картинок:

msn.com

В последнее время в специализированной прессе все чаще появляется «загадочная» аббревиатура ILM – Information Lifecycle Management. Ведущие разработчики один за другим предлагают решения для той или иной части ILM, красиво расписывая общую схему хранения данных в реорганизованном соответствующим образом датацентре. Однако ясного понимания, что же такое ILM, у российских заказчиков, на наш взгляд, пока не сложилось.

Первое, что стоит отметить: ILM – не панацея, не технология, не решение и не руководство к действию. Это концепция, отражающая современный взгляд на корпоративные данные; набор практик управления, нацеленных на достижение оптимального соотношения ценности информации для бизнеса и стоимости инфраструктуры её хранения.

ILM, согласно SNIA (Storage Networking Industry Association, www.snia.org), это политики, процессы, практики, сервисы и инструменты, используемые для того, чтобы соотнести ценность информации с точки зрения бизнеса с наиболее подходящей и эффективной по стоимости инфраструктурой, начиная с момента создания информации и заканчивая ее размещением. Информация сопоставляется с бизнес-требованиями через политики управления и уровни предоставления сервиса, связанные с приложениями, данными и метаданными.

Говоря проще, это концепция автоматического размещения данных в инфраструктуре датацентра на основании требований бизнеса к параметрам защищенности, доступности информации и с учетом ее ценности для бизнеса, актуальности и минимизации расходов на хранение. Какие же проблемы хранения помогает решить ILM?

Не захлебнуться в океане данных

Ни для кого не секрет, что объем корпоративной информации с каждым годом увеличивается, и очень серьезно. В соответствии с отчетами IDC рост объемов хранимых и обрабатываемых данных составляет более 70% в год. В среднестатистической современной компании три тысячи сотрудников ежедневно передают по электронной почте терабайт данных. Всего в мире, по подсчётам Gartner, в 2005 году отправлялось 36 миллиардов электронных сообщений в день — в три раза больше, чем в 2001-м. В некоторых специфичных отраслях, например в медицине, наблюдается экспоненциальный рост информационных объёмов.

Ситуация осложняется требованиями нормативных актов и внутрикорпоративныхстандартов, предписывающих длительное хранение некоторых видов информации — иногда в течение 5--10 лет. А это значит, что компания, имеющая корпоративные данные скромного объема в 1 Тбайт и показывающая рост этих объёмов 60% в год (не самый большой по современным меркам), через 10 лет будет хранить уже 110 Тбайт информации. Увеличение более чем в 100 раз!

Проблема взрывного роста объемов данных тесно связана с другой проблемой: постоянно усложняются процессы управления распределенной инфраструктурой датацентров. Современный центр обработки данных состоит из тысяч взаимодействующих компонентов – серверов, элементов систем хранения (логических единиц, дисков, контроллеров, управляющих серверов, ленточных накопителей и т. д.), элементов сетей хранения и локальных сетей (маршрутизаторов, хост-контроллеров, адаптеров и пр.). Для управления сложной инфраструктурой применяются специальные инструменты, причём для каждого вида инфраструктурных элементов — свои. И чем больше в датацентре разнородных компонентов, тем больше инструментов управления вы вынуждены использовать. Что ещё больше увеличивает сложность системы.

Кроме того, использование специализированных инструментов управления инфраструктурой не решает основной задачи – управлять лавинообразно растущим потоком данных. Компании продолжают хранить информацию в дорогих высокопроизводительных системах и, несмотря на снижение стоимости оборудования, с каждым годом расходуют всё больше средств на её хранение. Процесс резервного копирования становится всё сложнее и требует больше и больше времени. При этом существующие инструменты управления не автоматизируют в достаточной степени процессы размещения информации – администраторы фактически вручную выделяют место для ее хранения, задают привязку к необходимым серверам, создают расписание резервного копирования, определяют источники и места назначения.

Сложившуюся ситуацию в области хранения данных можно охарактеризовать следующим образом: объем данных катастрофически растет, а имеющиеся инструменты управления не в силах с этим справиться.

Нужны ли бизнесу все сохраняемые в системах данные?

Возвращаясь к примеру компании, за 10 лет увеличившей объём корпоративной информации в 100 раз, зададимся вопросом: так ли необходимы её бизнесу эти 110 Тбайт данных, размещенных в оперативных хранилищах?

Очевидно, что нет. С течением времени меняется как ценность данных, так и требования к их доступности и защищенности. Так, ценность финансовой транзакции максимальна в течение первого месяца и впоследствии неуклонно снижается. Кроме того, финансовая запись в ERP-системе компании и, скажем, личное письмо сотрудника имеют разную ценность для бизнеса уже в момент создания.

Между тем в оперативных высокопроизводительных хранилищах датацентра располагаются все данные, включая устаревшие и ненужные, в то время как храниться там должны только те, к которым предъявляются высокие требования доступности.

Анализ, проведенный Enterprise Storage Group, показывает, каким образом ценность информации для бизнеса изменяется с течением времени в зависимости от ее типа.



Мы можем сделать важный вывод: разные классы информации имеют разную ценность для бизнеса, и эта ценность меняется с течением времени.

Следующее важное свойство корпоративных данных – их состояние. Создаваемые данные сохраняются в датацентре для последующей обработки и затем в зависимости от решаемых бизнесом задач изменяются. Пока данные изменяются, они находятся в активном состоянии и называются оперативными. Но с течением времени наступает момент, когда данные «закрепляются» и более изменениям не подвергаются. Они могут использоваться для генерации новых документов, сводных отчетов и т. п. Такие данные называют ссылочными. Естественный способ хранения ссылочных данных – архив.

В современных датацентрах обычно оперативные и ссылочные данные размещаются вместе, в одних и тех же хранилищах, что не только увеличивает стоимость хранения, но и создает трудности с соблюдением нормативных актов, регламентирующих хранение определенных видов информации.

Наконец, есть еще одно состояние – устаревшие данные, которые нигде более не используются, а срок их хранения, регламентируемый нормативными актами, истек. Такие данные больше не нужны бизнесу, их ценность нулевая, и они могут быть удалены. В настоящее время устаревшие данные отслеживаются практически вручную, их удаление из системы представляет собой кошмар для администратора, а хранение – пустую трату денег.

Вперед и вверх!

Описывая текущую ситуацию с хранением данных, мы намеренно не акцентировали внимания на различии между данными и информацией. Точно так же эти различия не учитываются в сложившейся сегодня практике организации процессов и инфраструктуры хранения. Однако именно этот аспект – один из важнейших в концепции ILM: данные ≠ информация

Данные – это просто набор байтов, способ отражения бизнес-информации в инфраструктуре хранения. С такой точки зрения все они представляют одинаковую ценность, поскольку их семантика не определена, а значение здесь имеют такие параметры, как надежность хранения, защищенность и доступность. Именно этими характеристиками оперируют современные системы хранения данных и инструменты управления инфраструктурой.

Информация – это данные, представляющие определенный смысл для бизнеса. Аналогичные по структуре данные, одинаково размещенные в системе хранения, могут иметь совершенно разный смысл и, следовательно, разную ценность для компании. Например, личное письмо сотрудника, посланное по электронной почте, и письмо того же сотрудника, содержащее конфиденциальные сведения о клиенте.

ILM предлагает уйти от управления данными и сфокусироваться на управлении информацией. Для этого необходимо в первую очередь изменить подход к ее хранению. В рамках ILM предлагается классифицировать бизнес-информацию компании, прежде чем она попадет в инфраструктуру хранения. Классификация – это необходимый для эффективного управления жизненным циклом информации процесс, обеспечивающий хранимые данные адекватной семантикой.

Для этого процесса вводятся понятия целевых показателей уровня сервиса (Service Level Objectives — SLO) и «политик» (Policies), на основе которых будет осуществляться управление хранением информации. SLO определяет, какие показатели ключевых характеристик (надежности, доступности и др.) должны обеспечиваться инфраструктурой хранения для данного класса информации. «Политики» определяют необходимые действия с конкретными классами информации при возникновении определенных условий (например, при окончании срока жизни информации). Основой для формирования SLO и политик являются бизнес-требования и бизнес-процессы компании, а также различные нормативные акты.

Таким образом, подход к хранению данных в датацентре становится информационно-центричным.



Создаваемая информация классифицируется, с ней связываются определенные SLO, на основании которых интегрированный в инфраструктуру механизм управления размещает эту информацию согласно заданным политикам. Это значит, что информация, требующая высокой доступности, попадет в высокопроизводительные системы хранения, а та, что не является критически важной для бизнеса, разместится в недорогих хранилищах.

При этом механизмы работы приложений с данными не меняются, но инструменты управления постоянно отслеживают ценность информации, ее состояние и перемещают ее в адекватные системы хранения согласно политикам и SLO. На определенном этапе жизненного цикла информация может стать ссылочной, устареть или повторно использоваться. Тогда механизм управления в первом случае передаст ее в архив, во втором – просто удалит, а в третьем – заново классифицирует и свяжет с другим SLO.

Таким образом, датацентр, построенный согласно ILM, обеспечивает следующие основные преимущества:

• снижение стоимости хранения информации (за счет своевременного переноса данных в недорогие системы хранения и уничтожения устаревшей информации);
  строгое соблюдение нормативных актов, регламентирующих хранение данных, путем автоматического применения политик;
  достижение соответствия характеристик хранения (надежности, защищенности, доступности и др.) различным классам информации;
  исключение дублирования информации (за счет управления ссылочными данными).
  
  И при этом информация всегда предоставляется в нужном месте, в нужное время и по оптимальной цене.

В голове крупных бизнес-потребителей ИТ произошло наконец-то смещение акцента с бизнес-приложений на данные, обрабатываемые этими приложениями. А в словосочетании «центр обработки данных» теперь заслуженно выделяют третье слово, а не второе. Вместе с пониманием главной роли данных в бизнесе пришёл и панический страх их утери. Ведь по статистике IDC, в случае продолжительного отсутствия доступа к оперативным данным большинство компаний ожидает банкротство.

Существует два принципиально разных подхода к обеспечению надёжности хранения данных. Первый – это резервное копирование. С резервированием связаны два главных понятия – RPO (recovery point objective) и RTO (recovery time objective). RPO – это момент времени, в который система содержала данные, соответствующие резервной копии. RTO – это время, занимаемое процессом резервирования/восстановления. Естественно, что с ростом объёма корпоративных данных, RTO растёт пропорционально объёму данных, а RPO возникают всё реже и реже. А значит, самые свежие, самые ценные данные становятся наиболее уязвимыми, и их объём при этом возрастает.

Второй подход – это «data is always there», то есть защита данных непосредственно в системе хранения, в момент их попадания туда. А это означает real time RPO и стремящееся к нулю RTO. Этот подход усиленно продвигается грандами систем хранения данных (в частности, компанией EMC). Самый популярный способ обеспечения защиты по предложенной концепции – RAID (redundant array of independent disk; кстати, ранее вместо слова «independent» фигурировало «inexpensive», что для современных fibre channel дисков вряд ли применимо). Принцип действия заключается в объединении нескольких дисков в группу и хранении в ней данных и избыточной информации. Думаю, нет особого смысла рассказывать про уровни RAID, поскольку нас сейчас интересует самый популярный уровень – 5.
((cut))
В RAID5 группе данные сохраняются «размазанными» по всем дискам, также «размазанными» сохраняются и коды коррекции – информация, требующаяся для восстановления данных. Её избыточность для RAID5 составляет оптимальные 25% от объёма полезных данных. RAID5 построен таким образом, что группа выдерживает отказ одного диска единовременно.

Казалось бы, при такой технологии хранения, данные действительно always there. Давайте посмотрим насколько «always». Тонкий момент здесь заключается в том, что группа выдерживает отказ только одного диска в один момент времени. Даже если вы моментально заменяете этот диск, группе требуется определённое время для того, чтобы восстановить на этот диск данные и коды коррекции (rebuild). Данные, естественно, при этом доступны, но если во время проведения процедуры rebuild произойдёт отказ ещё одного диска, то группа будет разрушена. Чем больше дисков в группе и чем больше объём каждого диска, тем более частым будет отказ одного из них, и тем больше времени требуется на rebuild. Вплоть до того, что RAID5 группа из большого количества недорогих объёмных дисков может полностью разрушаться несколько (3-4 раза) раз за год!

Решение этой проблемы во введении двойной коррекции, RAID6 или RAID5 DP. Такая группа выдерживает отказ уже двух дисков в один момент времени (как мы выяснили выше, «момент» для больших групп довольно продолжительное время процедуры rebuild). Отказ двух дисков подряд событие не частое. Теоретически, для групп менее 20 ТБ уровень RAID6 обеспечивает на 2 порядка лучшую защиту данных (время до потери данных) для дисков со средними параметрами, чем RAID5.

Практика заставляет усомниться в теории вероятности: выход из строя второго диска в момент rebuild весьма вероятен. Особенно это касается систем, находящихся под серьёзной рабочей нагрузкой. Влияют на это два фактора. Во-первых, процедура rebuild на продуктивной системе серьёзно нагружает диски, количество операций чтения/записи значительно увеличивается на уже сильно нагруженной системе. Во-вторых, при современном уровне микроэлектроники, диски выходят с конвейера похожими друг на друга как клоны; соответственно, и такой важный параметр, как время наработки на отказ (MTBF), у них практически одинаков. Таким образом, один из дисков, достигший предельного времени работы, приводит к повышенной нагрузке на всю группу, более быстрому, чем в обычных условиях, исчерпанию ресурса остальных дисков и, как следствие, повышенной вероятности отказа ещё одного диска. Этакое веерное отключение.

Производители систем хранения борются с этим как могут. Например, IBM при заказе системы хранения поставляет диски различных производителей и различных партий, для того чтобы внести неоднородность в MTBF дисков и уменьшить вероятность одновременного отказа двух дисков в группе. Однако, концепцию data is always there это не спасает. И наряду с защитой данных in-place продолжает использоваться и резервное копирование. Что, кстати, также не обеспечивает 100% защиты данных от аппаратного сбоя…

Держите это в уме: ваш бизнес уязвим, как и ваши данные. Абсолютная защита данных невозможна, но используя комбинированный подход к защите данных, надёжные устройств и полным резервированием систем хранения вероятность потери корпоративных данных можно минимизировать.

Ни для кого не секрет, что сейчас мы находимся на самой вершине бума онлайнового видео. Множество сервисов нового поколения, и в первую очередь YouTube, сделали просмотр видеороликов в интернете нормальным повседневным занятием обычного интернетчика, как чтение электронной почты и свежих новостей. Более того, каждый владелец современного мобильного телефона может и сам записать видео и опубликовать его в интернете, не говоря уже о тех пользователях, которые давно и с увлечением занимаются видеосъемкой — они с радостью согласятся получать деньги за своё хобби. Для видеолюбителей и независимых киноиздателей интернет становится новым источником дохода.

(Краткая рецензия на книгу «Peopleware»)

Есть идеи которые рождаются в результате эволюции. Такую идею нельзя просто сесть и родить, не набив предварительно шишек об углы других, казалось бы решающих ту же самую задачу, но менее объемлющих и менее основательных идей. Среди таких идей — летательные аппараты тяжелее воздуха, автомобили с двигателем внутреннего сгорания.

Ещё одна подобная идея состоит в концепции построения успешных команд, описанная Томом Демарко и Тимоти Листером в книге «Человеческий фактор» («Peopleware» by Tom DeMarco and Timothy Lister). К идее, что человек является главным звеном в процессе интеллектуальной деятельности, и, в частности, в процессе разработки ПО, необходимо придти именно эволюционным путём. Углубляясь по пути в тонкости методики разработки, совершенствование метрик и процессов тестирования, участвуя в священных войнах языков программирования, постоянно забредая в технологические дебри и блуждая по заросшим тропинкам ведения проектов. Идеи, изложенные в «Человеческом факторе», должны придти изнутри, и только тогда можно быть готовым к прочтению этой книги. Иначе, она будет выглядеть не более чем забавной на фоне «глобальных» проблем вывода организации на более высокий статус CMM или оттачивания Методологии.

С этими мыслями я начинал чтение книги, обнаружив насколько сильно слова её авторов пересекаются с моими внутренними ощущениями. И каково было моё удивление узнать, что первая редакция книги вышла в 1987 году. А все базовые исследования проводились в конце 70-х. Превосходно. Оказывается ответ был до того, как толпа исследователей ринулась его искать в совершенно противоположном направлении.

«Peopleware» совершенно неоходима к прочтению как руководителям, так и продвинутым разработчикам, тем кто воспринимает себя мыслящими существами, участвующими в процессе творчества. И совсем необязательно, чтобы этот процесс был связан с построением программных систем.

Вся наша социальная жизнь так или иначе строится на общении, предоставлении услуг и товаров. В этом процессе мы даем и получаем скидки, делаем что-то с заделом на будушее либо берем кредиты. В процессе мы накапливаем скидки на улуги и сами даем их людям.
Передо мной стоит задача создания дисконтной системы интернет-магазина, целью которой является:
1. Повысить лояльность клиентов к совершению покупок в магазине.
2. Увеличить количество повторных заказов.
3. Вести базу клиентов, совершающих покупки в магазине более одного раза.
4. Рассчитать все так, чтобы дисконтная система магазина увеличила доход компании и не была убыточной.
5. Внедрение в работу.

Я предлагаю рассмотреть каждый из пунктов в ключе решения поставленной цели и выбора наиболее оптимального варианта. У меня немного опыта в этих вопросах, но есть огромное желание заполнить эти пробелы.

В последнее время много общаюсь с инвесторами и командами стартапов, заметил тенденции, которые появились в связи с экономическим кризисом.

Инвесторы

Что заметно у инвесторов:
1. Нежелание вкладывать деньги в проект, который еще не начал свои продажи
2. Желание вернуть деньги за счет доходов проекта, а не его перепродажи или IPO

Некоторые даже жалуются на то, что вместо инновационных (а следовательно и очень рискованных) проектов, они вкладывают деньги в традиционные бизнесы с большой историей и длинными контрактами. Нередки пожелания «выходите на самоокупаемость и вот тогда уже приходите к нам».