Как стать автором
Обновить
  • по релевантности
  • по времени
  • по рейтингу

«Выглядит похоже». Как работает перцептивный хэш

Обработка изображений
Перевод
За последние несколько месяцев несколько человек спросили меня, как работает TinEye и как в принципе работает поиск похожих картинок.

По правде говоря, я не знаю, как работает поисковик TinEye. Он не раскрывает деталей используемого алгоритма(-ов). Но глядя на поисковую выдачу, я могу сделать вывод о работе какой-то формы перцептивного хэш-алгоритма.
Читать дальше →
Всего голосов 149: ↑145 и ↓4 +141
Просмотры102.4K
Комментарии 43

Еще одна версия алгоритма сравнения изображений

Алгоритмы
Эта статья с месяц висела у меня в черновиках, пока кто-то мне наконец не привел карму к тонусу. Не знаю кто, но спасибо тебе

Сегодня, зайдя в очередной раз на хабр, наткнулся на вот эту интересную статью. Там описывается алгоритм хэширования изображений. Когда я читал эту статью, мне пришла в голову мысль, как можно изменить этот алгоритм, чтобы он кушал изображения, у которых сильно различается, например, яркость (но сами изображения при этом идентичны).
Читать дальше →
Всего голосов 46: ↑34 и ↓12 +22
Просмотры27.9K
Комментарии 23

Алгоритм быстрого нахождения похожих изображений

Обработка изображений

Введение


Недавно наткнулся на статью, размещенную на Хабрахабре, посвященную сравнению изображений «Выглядит похоже». Как работает перцептивный хэш. Так как я сам достаточно долго занимался этой тематикой (являюсь автором программы AntiDupl), то мне захотелось поделиться здесь своим опытом по данному вопросу. В статье я приведу два варианта алгоритма сравнения похожих изображений — базовый и улучшенный. Все они были проверены автором на практике в рамках указанного выше проекта. Изложение мое будет вестись без строгих доказательств, сложных формул и специальной математической терминологии. Надеюсь, что читатели простят меня за это.

Базовый Алгоритм


Мера схожести изображений


При сравнении похожих изображений первым встает вопрос: что считать мерой схожести изображений? Очевидно, что это величина имеет значение обратное различию изображений друг от друга. Следственно нужно выбрать некую метрику, характеризующую различие изображений друг от друга. Тогда схожими изображениями будут считаться изображения, отличие между которыми меньше некоторого порога. Для изображений с одинаковыми габаритами, обычно такой мерой различия служит среднеквадратическое отклонение пикселей одного изображения от другого. Хотя конечно, нам ни что не мешает выбрать другую метрику, например усредненную абсолютную разность пикселей изображений друг от друга.
Читать дальше →
Всего голосов 57: ↑55 и ↓2 +53
Просмотры52K
Комментарии 20

Использование каскада Хаара для сравнения изображений

АлгоритмыОбработка изображений
image

Признаки Хаара, про которые я расскажу, известны большинству людей, которые так или иначе связаны с системами распознавания и машинного обучения, но, судя по всему, мало кто использует их для решения задач вне стандартной области применения. Статья посвящена применению каскадов Хаара для сравнения близких изображений, в задачах сопровождение объекта между соседними кадрами видео, поиска соответствия на нескольких фотографиях, поиска образа на изображении и прочих подобных задач.
Читать дальше →
Всего голосов 79: ↑73 и ↓6 +67
Просмотры66.2K
Комментарии 19

Поиск кропнутых дубликатов изображений с помощью перцептуальных хешей

Обработка изображений
В этой статье пойдет речь о том, как решалась небольшая задачка поиска дубликатов по фрагменту или кропу картинки.



Читать дальше →
Всего голосов 129: ↑118 и ↓11 +107
Просмотры67K
Комментарии 39

Нестандартное применение IT в быту: парсинг, перцептивный хеш, сравнение изображений = оптимизация расходов

PHPПрограммированиеОбработка изображений
В этой статье хочу поделиться интересной историей, о необычном решении одной интересной задачи, которая попалась мне год назад. Всё описанное в статье делалось, прежде всего, «just for fun» и из чистого академического интереса…
Дело было год назад, как раз было свободное время и желание сделать что-нибудь полезное. Явно был некоторый интеллектуальный голод и острая нехватка чего-нибудь нового, какой-нибудь интересной задачи… Отсюда и попытки прилепить велосипед даже туда, куда он вообще не требовался… Собственно, таковым велосипедом и является всё нижеописанное…

1. Задача


На одном торгово-закупочном предприятии, достаточно остро стоял вопрос оптимизации закупок. У предприятия было несколько десятков основных поставщиков, но при этом у многих поставщиков пересечение товаров достигало 20-30%, а цены у всех разные. К сожалению, большинство товаров закупалось «по старой памяти», например привыкли, что товары группы A поставляет поставщик X, а товары группы Б поставщик Y, хотя если отбирать товары не группами, а штучно, то можно не слабо экономить. Для наглядности, покажу на примере:
Читать дальше →
Всего голосов 107: ↑104 и ↓3 +101
Просмотры41.8K
Комментарии 32

Некоторые методы поиска нечетких дубликатов видео

Data MiningАлгоритмыОбработка изображений
Существует достаточно широкий круг задач, где требуется анализ, аудио-визуальных моделей реальности. Это относится и к статическим изображениям, и к видео.

image


Ниже приведен небольшой обзор некоторых существующих методов поиска и идентификации нечетких дубликатов видео, рассмотрены их преимущества и недостатки. На основе структурного представления видео построена комбинация методов.
Обзор совсем небольшой, за подробностями, лучше обращаться к первоисточникам.
Подробности
Всего голосов 31: ↑31 и ↓0 +31
Просмотры17.1K
Комментарии 10

Как бороться с репостами или пара слов о перцептивных хешах

ПрограммированиеОбработка изображений
Из песочницы
В этой публикации речь пойдет о подходах к построению перцептивный хешей изображения и возможностях их использования (например, поиск дубликатов).

перцептивный хэш-алгоритмы описывают класс функций для генерации сравнимых хэшей. Они используют различные свойства изображения для построения индивидуального «отпечатка». В дальнейшем эти «отпечатки» можно сравнивать друг с другом.

Если хэши отличаются, значит, данные разные. Если хэши совпадают, то данные, скорее всего, одинаковые (поскольку существует вероятность коллизий, то одинаковые хэши не гарантируют совпадения данных). В этой статье речь пойдет о нескольких популярных методах построения перцептивный хешей изображения, а также о простом способе борьбы с коллизиями. Всем кому интересно, прошу под кат.
Читать дальше →
Всего голосов 55: ↑54 и ↓1 +53
Просмотры27K
Комментарии 26

Синтез изображений с помощью глубоких нейросетей. Лекция в Яндексе

Блог компании ЯндексЗанимательные задачкиАлгоритмыОбработка изображений
Пусть в блоге Яндекса на Хабрахабре эта неделя пройдет под знаком нейронных сетей. Как мы видим, нейросети сейчас начинают использоваться в очень многих областях, включая поиск. Кажется, что «модно» искать для них новые сферы применения, а в тех сферах, где они работают уже какое-то время, процессы не такие интересные.

Однако события в мире синтеза визуальных образов доказывают обратное. Да, компании еще несколько лет назад начали использовать нейросети для операций с изображениями — но это был не конец пути, а его начало. Недавно руководитель группы компьютерного зрения «Сколтеха» и большой друг Яндекса и ШАДа Виктор Лемпицкий рассказал о нескольких новых способах применения сетей к изображениям. Поскольку сегодняшняя лекция — про картинки, то она очень наглядная.


Под катом — расшифровка и большинство слайдов.

Читать дальше →
Всего голосов 87: ↑84 и ↓3 +81
Просмотры41.2K
Комментарии 10

Собственный алгоритм 2. Поиск похожих изображений

АлгоритмыОбработка изображенийМатематика
В своей первой статье на Хабре, я рассказал о своем алгоритме для поиска похожих изображений. Сегодня я хочу рассказать о второй (улучшенной) версии своего алгоритма.

Статья будет несколько короче предыдущей т.к. расскажу только об отличиях двух алгоритмов. Поэтому желательно прочесть предыдущею статью, что бы «быть в теме».
Читать дальше →
Всего голосов 12: ↑7 и ↓5 +2
Просмотры5.7K
Комментарии 10

Как фотографирует новый Honor 10. Сравниваем с Huawei P20 и iPhone 7 Plus

Гаджеты
Привет, Geektimes! Ваша дорогая редакция 15 мая присутствовала на презентации нового смартфона — Honor 10. Он уже продается в Китае, и наверняка его уже кто-то возит в Россию, но теперь появилась официальная версия, которая будет продаваться за 27 или 30 тысяч рублей. По нынешним меркам линейка все еще относительно бюджетная, но гаджеты в ней обладают топовыми характеристиками. Под катом мы поделимся первыми впечатлениями и сравним возможности встроенной камеры новинки с флагманским Huawei P20 и уже не молодым, но все еще актуальным iPhone 7 Plus.

Читать дальше →
Всего голосов 16: ↑13 и ↓3 +10
Просмотры96.5K
Комментарии 25

Тестирование Samsung Galaxy S10 — когда смартфоны по возможностям догонят фотокамеры?

Аналитика мобильных приложенийГаджетыСмартфоныФототехникаБудущее здесь
Привет, Хабр.

Как и наверно почти все фотолюбители, я с некоторым скепсисом отношусь к фотосъемке на мобильные телефоны. Все знают про маленькие матрицы, простую оптику, и все такое. С другой стороны, нельзя не признать, что возможности мобильной фотографии совершенствуются, матрицы становятся менее шумными, в смартфонах появляются оптическая стабилизация, и так далее. И наконец, когда Samsung анонсировала новый смартфон с тремя камерами (широкоугольной, обычной и теле), я таки не удержался и решил что «пора брать».


Nokia 9 PureView — тремя камерами смартфоны уже не ограничиваются

Как это работает, и какие возможности дает фотолюбителю современный смартфон, подробности под катом. Осторожно траффик.
Читать дальше →
Всего голосов 28: ↑23 и ↓5 +18
Просмотры14.4K
Комментарии 52

Поиск похожих изображений, разбор одного алгоритма

Блог компании FunCorpАлгоритмыОбработка изображений


Пришлось мне недавно решать задачку по оптимизации поиска дубликатов изображений.

Существующее решение работает на довольно известной библиотеке, написанной на Python, — Image Match, основанной на работе «AN IMAGE SIGNATURE FOR ANY KIND OF IMAGE» за авторством H. Chi Wong, Marshall Bern и David Goldberg.

По ряду причин было принято решение переписать всё на Kotlin, заодно отказавшись от хранения и поиска в ElasticSearch, который требует заметно больше ресурсов, как железных, так и человеческих на поддержку и администрирование, в пользу поиска в локальном in-memory кэше.

Для понимания того, как оно работает, пришлось с головой погружаться в «эталонный» код на Python, так как оригинальная работа порой не совсем очевидна, а в паре мест заставляет вспомнить мем «как нарисовать сову». Собственно, результатами этого изучения я и хочу поделиться, заодно рассказав про некоторые оптимизации, как по объёму данных, так и по скорости поиска. Может, кому пригодится.
Читать дальше →
Всего голосов 59: ↑56 и ↓3 +53
Просмотры17.4K
Комментарии 25

Автоматизация выявления модификаций в образе договорных документов с помощью модели N-грамм

Блог компании Smart EnginesАлгоритмыОбработка изображенийМатематикаИскусственный интеллект


Каждый современный человек знает о том, что подписывать какой-либо документ нужно не раньше, чем его прочитал. Нарушившие это несложное правило иногда удивляются неожиданным последствиям, которых можно было бы избежать, если до подписания изучить документа, включая то, что написано мелким шрифтом. Уловки в договорах со стороны поставщиков услуг используются как составная часть анекдотов и кинофильмов. Например, в фильме «Ослеплённый желаниями» главный герой расторг весьма невыгодную сделку с дьяволом, несмотря на незнание условий расторжения договора, описанного в статье 147, параграфа 3, 3-ей части договора. Подобная ситуация иногда возможна в реальной жизни с поставщиками услуг. В интернете можно найти описание курьёзных случаев, когда клиент банка изменил условия договора в свою пользу, и это явилось неожиданностью для банка. В сегодняшней статье мы расскажем про крайне полезный для банков и других кредитных организаций алгоритм, позволяющий в автоматическом режиме выявлять внесенные модификации в образах договорных документов. Так что заглядывайте под кат!
Читать дальше →
Всего голосов 5: ↑5 и ↓0 +5
Просмотры1.5K
Комментарии 2

iPhone 11 Pro Max против 12 Pro Max: стоит ли того новая камера

ГаджетыСмартфоныФототехника

У нас были айфоны 11 и 12 Pro Max, шесть объективов, один лидар для оценки расстояния до предметов, две разных системы стабилизации, нейросети для постобработки фото и целая куча разнообразных условий съёмки. Не то, чтобы все это было категорически необходимо в тесте камер, но если уж начал сравнивать фотки, к делу надо подходить серьезно.

Читать далее
Всего голосов 36: ↑32 и ↓4 +28
Просмотры27.9K
Комментарии 43