Pull to refresh
1
0

Пользователь

Send message

Тематические карты

Reading time3 min
Views29K

Развитие картографических сервисов в Интернет подстигнуло интерес разработчиков к созданию своих гео-информационных служб, в том числе основанных на краудсорсинге. Используя готовую подложку (основу), т.е. данные в виде спутниковых снимков и карт, относительно легко повысить наглядность данных в собственной системе и расширить функциональность.

Важным моментом является способ отображения данных для того, что бы картина явления, за которым происходит слежение, была доступной для понимания. Организаторы не всегда адекватно используют средства отображения из-за технических ограничений или других проблем.

По сути, интеграция с картографическими сервисами приводит к созданию тематической карты. О том, что это такое и о наиболее популярных способах построения тематических карт будет рассказано ниже. Так же в тексте приведены англоязычные термины, с помощью которых можно будет найти дополнительную информацию.
Читать дальше →
Total votes 26: ↑26 and ↓0+26
Comments25

5 чуваков в вашей компании, без которых CRM не взлетит

Reading time8 min
Views15K
Вообще мы не очень-то любим переводы статей про CRM, потому что их бизнес ментальность и наша бизнес ментальность — это сущности из разных вселенных. У них фокус на человека и роль человека в развитии компании, у нас в России, увы, фокус на заработать больше, а заплатить меньше (опционально — отсидеть быстрее). Поэтому и взгляды на бизнес ПО, и само бизнес ПО заметно отличаются. Но в этот раз нам попалась классная статья, которая при определённой натяжке вполне применима к российским реалиям. Сперва мы хотели сделать перевод в стиле Гоблина, но поняли, что бан на Хабре тоже, знаете, сомнительная история, поэтому перевели со своими комментариями. Ребята, это реально тема. Ищите таких чуваков в команде и внедряйте CRM — скучно не будет.



Пятый тем временем убеждает босса, что срочно нужно внедрить CRM, потому что:

— в декабре у всех реальные скидки
— в декабре можно закрыть бюджет и потратить остатки средств
— в январе и феврале работаем на расслабоне, можно обучиться CRM-системе
— к старту горячего делового сезона будем автоматизированы до зубов
— да у нас корпоратив дороже лицензий CRM, босс, имей совесть!

Читать дальше →
Total votes 18: ↑16 and ↓2+26
Comments6

52 датасета для тренировочных проектов

Reading time5 min
Views108K
  1. Mall Customers Dataset — данные посетителей магазина: id, пол, возраст, доход, рейтинг трат. (Вариант применения: Customer Segmentation Project with Machine Learning)
  2. Iris Dataset — датасет для новичков, содержащий размеры чашелистиков и лепестков для различных цветков.
  3. MNIST Dataset — датасет рукописных цифр. 60 000 тренировочных изображений и 10 000 тестовых изображений.
  4. The Boston Housing Dataset — популярный датасет для распознавания паттернов. Содержит информацию о домах в Бостоне: количество квартир, стоимость аренды, индекс преступлений.
  5. Fake News Detection Dataset — содержит 7796 записей с разметкой новостей: правда или ложь. (Вариант применения с исходником на Python: Fake News Detection Python Project )
  6. Wine quality dataset — содержит информацию о вине: 4898 записей с 14 параметрами.

Читать дальше →
Total votes 30: ↑30 and ↓0+30
Comments8

Функциональное программирование — это не то, что нам рассказывают

Reading time17 min
Views125K

Функциональное программирование — это очень забавная парадигма. С одной стороны, про неё все знают, и все любят пользоваться всякими паттерн матчингами и лямбдами, с другой на чистом ФП языке обычно мало кто пишет. Поэтому понимание о том, что же это такое восходит больше к мифам и городским легендам, которые весьма далеко ушли от истины, а у людей складывается мнение, что "ФП подходит для всяких оторванных от жизни программок расчетов фракталов, а для настоящих задач есть зарекомендовавший себя в бою проверенный временем ООП".



Хотя люди обычно признают удобства ФП фич, ведь намного приятнее писать:


int Factorial(int n)
{
    Log.Info($"Computing factorial of {n}");
    return Enumerable.Range(1, n).Aggregate((x, y) => x * y);
}

чем ужасные императивные программы вроде


int Factorial(int n)
{
    int result = 1;
    for (int i = 2; i <= n; i++)
    {
        result *= i;
    }
    return result;
}

Так ведь? С одной стороны да. А с другой именно вторая программа в отличие от первой является функциональной.


Как же так, разве не наоборот? Красивый флюент интерфейс, трансформация данных и лямбды это функционально, а грязные циклы которые мутируют локальные переменные — наследие прошлого? Так вот, оказывается, что нет.

Читать дальше →
Total votes 208: ↑200 and ↓8+251
Comments795

Рынок труда аналитиков и Data Scientists

Reading time9 min
Views29K
Data Science — сфера не новая. Обработкой данных занимаются уже более 50 лет, что не мешает сфере оставаться на пике популярности: аналитики данных и Data Scientist сегодня очень востребованы среди работодателей. Редакция Нетологии решила расспросить у экспертов рынка — агентства New.HR, которое специализируется на направлении Data Science, и ведущих IT-компаний — о реальном положении дел в области работы с данными.

Сколько получают специалисты разного уровня? Как повысить свою ценность в глазах работодателя? Где компании ищут себе сотрудников? На что HR смотрят в первую очередь при выборе кандидата?

Читать дальше →
Total votes 20: ↑16 and ↓4+12
Comments2

Как стать более востребованным специалистом в сфере Data Science в 2019

Reading time4 min
Views13K
Заголовок этой статьи может показаться немного странным. И вправду: если вы работаете в сфере Data Science в 2019, вы уже востребованы. Спрос на специалистов в этой области неуклонно растет: на момент написания этой статьи, на LinkedIn размещено 144,527 вакансий с ключевым словом «Data Science».

Тем не менее, следить за последними новостями и трендами в индустрии однозначно стоит. Чтобы помочь вам в этом, мы с командой CV Compiler проанализировали несколько сотен вакансий в сфере Data Science за июнь 2019 и определили, какие навыки ожидают от кандидатов работодатели чаще всего.
Читать дальше →
Total votes 18: ↑12 and ↓6+6
Comments6

Работоспособный NDA с сотрудниками компании

Reading time6 min
Views116K
В жизни, как правило, преуспевает больше других тот, кто располагает большей информацией (с) Бенджамин Дизраэли

Приветствую, уважаемые читатели!

Сегодня я расскажу Вам об NDA с сотрудниками IT компаний, проблемах связанных с его работоспособностью, и об их решениях.
Эта статья написана в большинстве своем для руководителей и owner-ов IT компаний, а также для юристов, которые там работают.

Считаю, что и сотрудникам компаний будет не вредно ознакомиться с контентом статьи. Так как им, возможно, в будущем придется подписать такой контракт.
Читать дальше →
Total votes 13: ↑7 and ↓6+1
Comments24

График Гартнера 2019: о чём все эти модные слова?

Reading time20 min
Views37K
График Гартнера для тех, кто работает в сфере технологий, – всё равно что выставка высокой моды. Взглянув на него, вы можете заранее узнать, какие слова самые хайповые в этом сезоне и что вы услышите на всех ближайших конференциях.

Мы расшифровали, что скрывается за красивыми словами на этом графике, чтобы вы могли тоже говорить на этом языке.



Total votes 32: ↑32 and ↓0+32
Comments6

Как использовать Parquet и не поскользнуться

Reading time7 min
Views62K


О хранении данных в Parquet-файлах не так много информации на Хабре, поэтому надеемся, рассказ об опыте Wrike по его внедрению в связке со Spark вам пригодится.
В частности, в этой статье вы узнаете:

— зачем нужен “паркет”;
— как он устроен;
— когда стоит его использовать;
— в каких случаях он не очень удобен.

Читать дальше
Total votes 10: ↑10 and ↓0+10
Comments14

Курс Стэнфорда по цифровой фотографии

Reading time1 min
Views5.6K
Стэнфордский университет выложил в онлайн лекции и сопроводительные материалы к курсу по цифровой фотографии (CS 178). Курс знакомит студентов с научным, художественным и компьютерным аспектами цифровой фотографии — как работает камера, как делать хорошие снимки, как обрабатывать фотографии.

Кроме лекций, есть подробный план занятий, список необходимых учебников и программного обеспечения и интерактивные материалы (флэш-апплеты), которые иллюстрируют каждую лекцию. Есть также список еженедельных практических заданий, а в заключение — список вопросов на экзамене и анализ решений. В качестве бонуса — анимация сборки камеры Canon 10D. В принципе, всех этих материалов достаточно, чтобы пройти курс самостоятельно, а потом сдать экзамен и проверить свои ответы.
Total votes 61: ↑55 and ↓6+49
Comments31

Как ужиться с поколением Z

Reading time12 min
Views73K


Знаете, когда читаешь публикации в СМИ насчёт очередных особенностей очередного поколения молодых людей, начинает казаться, что мир катится в пропасть. Все эти фразы про молодёжь, которая не умеет работать, не признаёт авторитетов и скоро погубит мир, свежестью своей мысли заставляют вспомнить глиняные таблички времён Хаммурапи.

Чушь. Познакомьтесь с поколением Z. Они скоро станут вашими коллегами, подчинёнными и даже начальниками. Они обычные люди, просто получившие смартфон раньше, чем научились читать. Умные, целеустремлённые, образованные. Да, они не жгли тряпки на заброшенной стройке и не ели муравьёв в песочнице, но зато многие из них уже успели собрать свой первый школьный проект на Arduino и вовсю осваивают 3D-печать.

Эта тема всё больше нервирует рекрутеров, которые ещё не совсем понимают, как правильно их нанимать, и руководителей, которые не уверены, что получится ужиться с этим поколением. Всё не так страшно. Я хочу рассказать немного больше о социологических аспектах поколений. А ещё попробуем понять, почему бывает так сложно работать с центениалами, и как направить их творческую натуру на благо компании.
Total votes 112: ↑93 and ↓19+96
Comments604

Big Data от А до Я. Часть 4: Hbase

Reading time11 min
Views97K
Привет, Хабр! Наконец-то долгожданная четвёртая статья нашего цикла о больших данных. В этой статье мы поговорим про такой замечательный инструмент как Hbase, который в последнее время завоевал большую популярность: например Facebook использует его в качестве основы своей системы обмена сообщений, а мы в data-centric alliance используем hbase в качестве основного хранилища сырых данных для нашей платформы управления данными Facetz.DCA

В статье будет рассказано про концепцию Big Table и её свободную реализацию, особенности работы и отличие как от классических реляционных баз данных (таких как MySQL и Oracle), так и key-value хранилищ, таких как Redis, Aerospike и memcached.
Заинтересовало? Добро пожаловать под кат.


Читать дальше →
Total votes 24: ↑23 and ↓1+22
Comments21

Big Data от A до Я. Часть 5.1: Hive — SQL-движок над MapReduce

Reading time9 min
Views92K
Привет, Хабр! Мы продолжаем наш цикл статьей, посвященный инструментам и методам анализа данных. Следующие 2 статьи нашего цикла будут посвящены Hive — инструменту для любителей SQL. В предыдущих статьях мы рассматривали парадигму MapReduce, и приемы и стратегии работы с ней. Возможно многим читателям некоторые решения задач при помощи MapReduce показались несколько громоздкими. Действительно, спустя почти 50 лет после изобретения SQL,  кажется довольно странным писать больше одной строчки кода для решения задач вроде «посчитай мне сумму транзакций в разбивке по регионам».

С другой стороны, классические СУБД, такие как Postgres, MySQL или Oracle не имеют такой гибкости в масштабировании при обработке больших массивов данных и при достижении объема большего дальнейшая поддержка становится большой головоной болью.



Собственно, Apache Hive был придуман для того чтобы объединить два этих достоинства:

  • Масштабируемость MapReduce
  • Удобство использования SQL для выборок из данных.

Под катом мы расскажем каким образом это достигается, каким образом начать работать с Hive, и какие есть ограничения на его применения.
Читать дальше →
Total votes 17: ↑15 and ↓2+13
Comments1

Как правильно «фармить» Kaggle

Reading time27 min
Views155K

image
*фарм — (от англ. farming) — долгое и занудное повторение определенных игровых действий с определенной целью (получение опыта, добыча ресурсов и др.).


Введение


Недавно (1 октября) стартовала новая сессия прекрасного курса по DS/ML (очень рекомендую в качестве начального курса всем, кто хочет, как это теперь называется, "войти" в DS). И, как обычно, после окончания любого курса у выпускников возникает вопрос — а где теперь получить практический опыт, чтобы закрепить пока еще сырые теоретические знания. Если вы зададите этот вопрос на любом профильном форуме, то ответ, скорее всего, будет один — иди решай Kaggle. Kaggle — это да, но с чего начать и как наиболее эффективно использовать эту платформу для прокачки практических навыков? В данной статье автор постарается на своем опыте дать ответы на эти вопросы, а также описать расположение основных грабель на поле соревновательного DS, чтобы ускорить процесс прокачки и получать от этого фан.

проверить глубину этой кроличьей норы
Total votes 87: ↑86 and ↓1+85
Comments15

Обнаружение пересекающихся сообществ в Instagram для определения интересов пользователей

Reading time8 min
Views17K
Сколько может рассказать о человеке профиль в соцсети? Фотографии, посты, комментарии, подписки – непаханное поле для анализа. Сегодня поговорим о том, как мы определяем интересы пользователей на основе их подписок в сети Instagram.

image
Источник
Читать дальше →
Total votes 19: ↑19 and ↓0+19
Comments11

Эдвард Сноуден рассказывает, почему он стал информатором

Reading time6 min
Views20K


Отрывок из книги «Постоянная запись»; как молодой человек, работавший системным администратором, обнаружил посягательства на свободу и решил предать гласности обширную американскую систему слежки за гражданами

Когда мне было 22, я устроился на работу в американскую разведку, политических взглядов у меня не было. Как у большинства молодых людей, у меня был набор чётких взглядов, которые на самом деле были не совсем моими (хотя я и отказывался это признавать) – это был противоречивый набор унаследованных принципов. В моей голове существовала каша из ценностей, с которыми меня воспитывали, и идеалов, встреченных мною в интернете.

Только ближе к 30 годам я, наконец, понял, что большая часть того, во что я верил, или того, во что я думал, что верю, была просто импринтингом молодости. Мы учимся говорить, имитируя речь окружающих нас взрослых, и в процессе этого обучения имитируем также их мнения, пока не окажемся в состоянии ошибочного убеждения в том, что нас окружает наш собственный мир.
Читать дальше →
Total votes 31: ↑27 and ↓4+23
Comments38

Нейронные сети для трекинга рук в режиме реального времени

Reading time4 min
Views26K
Недавно исследователи из GoogleAI показали свой поход к задаче трекинга руки и определения жестов в реальном времени. Я занимался подобной задачей и потому решил разобраться с тем как они подошли к решению, какие технологии они использовали, и как добились хорошей точности при риал тайм работе на мобильном устройстве. Также запустил модель на android и протестировал в реальных условиях.

Читать дальше →
Total votes 34: ↑34 and ↓0+34
Comments11

Как обойти капчу, используя распознавание звука

Reading time4 min
Views11K
На просторах интернета до сих пор остаются актуальными капчи, которые в качестве опции предлагают прослушать текст с картинки, нажав на соответствующую кнопку. Если кому-то знакома картинка ниже и/или есть интерес как ее обойти, используя систему оффлайн распознавания звука, предлагается к прочтению.


Читать дальше →
Total votes 16: ↑15 and ↓1+14
Comments9

Методы отбора фич

Reading time10 min
Views82K
Эта статья — обзор, компиляция из нескольких источников, полный список которых я приведу в конце. Отбор фич (feature selection) — важная составляющая машинного обучения. Поэтому мне захотелось лучше разобраться со всевозможными его методами. Я получила большое удовольствие от поиска информации, чтения статей, просмотра лекций. И хочу поделиться этими материалами с вами. Я постаралась написать статью так, чтобы она требовала минимальных знаний в области и была доступна новичкам.
Читать дальше →
Total votes 21: ↑20 and ↓1+19
Comments22

NLP. Основы. Техники. Саморазвитие. Часть 2: NER

Reading time19 min
Views51K
Первую часть статьи об основах NLP можно прочитать здесь. А сегодня мы поговорим об одной из самых популярных задач NLP – извлечении именованных сущностей (Named-entity recognition, NER) – и разберем подробно архитектуры решений этой задачи.

image
Читать дальше →
Total votes 22: ↑20 and ↓2+18
Comments3

Information

Rating
Does not participate
Location
Россия
Works in
Registered
Activity