Pull to refresh

Snoop Project невероятный инструмент интернет разведки, которого пользователи рунета ждали так долго — доступен

Reading time5 min
Views78K
image

На Github-e выложен OSINT-инструмент, заточенный (в том числе) для поиска %username по СНГ локации


【Статья обновлена】в связи с развитием функционала Snoop Project.
Если вам до боли знаком такой софт, как namechk или spiderfoot, то «Snoop Project» вас явно порадует, он даёт «им» фору вместе взятым и это не желтый заголовок «Статья вечерняя» — это реальная «forensic-работа» по цифровым следам в киберпространстве..

【Галерея скриншотов】

Snoop на Android (Termux).


БД Snoop Project for Windows.

image
Обновление ПО Snoop.

image
Snoop Plugin's for Android.

image
Один из методов плагина Snoop: Yandex_parser.

image
Один из методов плагина Snoop: GEO_IP_domain.

image
Один из методов плагина Snoop: Reverse Vgeocoder.


Snoop report в формате html.

image
Snoop report в формате csv.

Визуализация коммитов.

image
Отзывы о ПО Snoop Project.

Совсем недавно в начале 2020 года вышло обновление OS Kali Linux 2020.1, в котором среди «прочих» изменений было отмечено — добавлением в репозиторий (аналогично и в Parrot OS) нескольких новых утилит, в т.ч. и утилиты Sherlock.

Snoop Project (далее просто snoop) — это форк Sherlock Project-a над которым потрудились > 80 разработчиков в т.ч. и я (~1/3 БД Sherlock — это мои работы). Snoop — это не какой-то там скрипт, это поисковая система, которая свободно конкурирует с традиционными поисковиками, вроде Гугла. Общая идея взята у WhatsMyName и Namechk. Существенное отличие заключается в том, что Snoop нацелен в т.ч. на СНГ, а не только на популярные, публичные, международные интернет ресурсы, где можно прочекать любой nickname/логин/email инструментом конкурентом.

Сравнение индексаций БД-никнеймов подобных инструментов:


На данный момент Snoop сильнее вышеупомянутых OSINT-проектов вмеcте взятых.

Например, сравнивая базы поддерживаемых сайтов Sherlock VS Snoop (по которым можно выдернуть имена %usernam-ов) выглядят следующим образом:

Snoop VS Sherlock

Как видите разница по БД ощутимая, в глаза могут сразу бросаться такие гиганты СНГ, как Rambler/Мэйлру/Яндекс или Habr с Pikabu, но под капотом Snoop-a, куда менее заметные и не менее полезные СНГ-интернет_ресурсы: аудио/книги, «котики», тачки, учительские порталы, бабские форумы, «канцелярия» и даже protonmail, а так же международные соцсети, которых нет у подобных инструментов (например, Японская Ameba; Европейская Xing; Польская Wykop; спортивная Strava или вульгарная OnlyFans) и т.д 3K+ ресурсов…

База Snoop была расширена не только потому что существует возможность дёрнуть %username из строки браузера, но и благодаря некоторым секретам (по факту: код Snoop открыт, сокровения нет): — манипуляцией с http/s заголовками и получения 'интересных' http-ответов.

К другим различиям можно отнести скорость поиска (по сравнению с другими упомянутыми проектами Snoop реактивный); существенно более информативный вывод в CLI; добавление новых опций; выгрузка данных по username; добавление персональных и глобальных оповещений; поддержка ОС Windows 7/10 (32-64bit); добавление формата html (отчёты в: CLI; CSV; HTML; txt); улучшенный парсинг сайтов, в т.ч. за счёт разработки нового/четвертого метода парсинга username.salt; углублённый парсинг форумов за счет модификации метода message; поиск username с пробелом типа «ivanov ivan»; поиск ника на основе e-mails; подключение к расширяемой и обновляемой БД Snoop (Online); добавлением режим SNOOPninja (на GNU/Linux творит чудеса); самотестирование сети и наличие возможности обновления ПО (исходного открытого кода).
Специально для Snoop записаны два soundtrack-a в жанре cyberpunk. Добавлены OSINT-плагины, которые позволяют работать с IP/GEO/Yandex-ом (при разработке последнего плагина закрыл пару уязвимостей и попал в зал славы Яндекса).
Для OS Windows и GNU/Linux выпускаются готовые сборки, которые работают на чистой машине (не требуется устанавливать ключи/токены/зависимости/библиотеки/Python и/или обладать какими-либо навыками, чтобы запустить ПО, выискивая в сети публичные данные).
И конечно, как в любом топовом ПО в Snoop Project присутствует пасхалка.

Пруф-тест — пожалуй, самое захватывающее зрелище, которое может преподнести автор в своей работе. Скажу так: разрешения я не запрашивал у некоторых публичных лиц на данной площадке (хотя данные и публичные, кто-то явно может обидеться, а может и нет), поэтому демонстрация поиска «...» — это не совсем этично, но скажу так: чем уникальнее ник, тем прозрачнее анализируется след «...», а выделяющийся ник среди не уникальных 'имён' тому явное подтверждение, подтверждение от Snoop!

Всё ли знает Google? И Зачем нужен Snoop
Вот мнение автора книги по Web Scraping-у:

Web Scraping with Python by Ryan Mitchell (O’Reilly). Copyright 2015 Ryan Mitchell, 978-1-491-91029-0.

Добавлю и свои наблюдения.
Поисковые роботы парсят всю информацию с сайта, в тч., опираясь на robots.txt или API. Иногда, в robots прописывают правила, запрещающие парсить username (это существенный 'минус' для поисковиков). После получения поисковых результатов, пользователю нужно самому фильтровать информацию (много информации), используя различные дорки и своё время. Еще такой момент: nickname ≠ имя. Если вы будете искать в поисковой системе Google nickname, например такой: 'su..e...a' (заменив точки на то, что просится), то что вам выдаст поисковик? Snoop же найдёт десяток таких взаимосвязанных аккаунтов.

UPD: неплохая статья о том, как «прогнили поисковики».


К слову, это совсем не должно беспокоить публичную или ту категорию людей, которой нечего скрывать, и у кого и так цифровой след растянут от адреса проживания до всевозможных уголков в киберпространстве.

Например, найдя с помощью snoop %username в Яндекс.маркете/картинках/музыке, становится известна почта разыскиваемого персонажа (и даже 'Имя и Ф.', если указанно в Я.Паспорте). А благодаря знакомствам на Ramblere, компания которая для чего-то сохраняла и накапливала огромную БД с прошлого десятилетия, сейчас эта БД доступна на весь мир, а в ней частенько фигурируют настоящие имена и даты рождения в дополнительных полях под %usename. Проблема заключается в том, что «последний раз username заходил в онлайн 10 лет назад». Что такое почта от Рамблера, думаю, вы знаете, поэтому такой цифровой след разорвать трудно. Не помню, чтобы я и "..." в такой «пробазе» регались от избытка чувств (возможно, всё парсилось и дампилось из ICQ мессенджера в далёкие свободные времена). Другой пример: с помощью Snoop можно зарегать уникальный ник. И конечно Snoop интересует не только СС, но и тех, кто участвует в CTF, используя Snoop в рукаве, а также Snoop отметился в образовательной деятельности у преподавателей ВУЗ-ов и их студентов. Приведенные выше примеры, отображают лишь часть работы Snoop Project-a для общественно значимого понимания, что есть Snoop.

«Разведданные» публичные данные анализируются в каждом случае индивидуально и Snoop отличный дополнительный OSINT-инструмент к подобному и альтернативному софту, который в заданном направлении уверенно поддерживает высокую планку (самую высокую в ru-локации).

И так, чтобы никого из популярных личностей не чекать не обидеть, ограничусь лишь картинками с ярко-выраженными публичными и некоррелируемыми данными [upd: для прошлой gif].

image
[UPD: gif обновлена]

Snoop Project с открытым исходным кодом, разработан и модифицирован под либеральной лицензией на Python3, т.е. доступен каждому для личного пользования на

  • OS GNU/Linux
  • OS Android/Termux
  • OS Windows 7/10 (32-64bit)

Установка и использование ПО довольно простое времяпрепровождение и не требует усидчивости или красноглазия, от тех, кто посчитал себя виртуальным сыщем, выстукивая барабанную дробь на своей клавиатуре в поисках истины.
Или проще говоря, наконец-то с конвейера сошёл хэдлайнер, который работает из




Метки: Snoop, OSINT, разведка, поиск по нику, поиск по nickname.
Only registered users can participate in poll. Log in, please.
Оцените возможности OSINT-инструмента по 3х бальной шкале
46.44% Супер!124
35.96% Нормально.96
17.6% Отстой(47
267 users voted. 224 users abstained.
Tags:
Hubs:
If this publication inspired you and you want to support the author, do not hesitate to click on the button
Total votes 51: ↑37 and ↓14+23
Comments67

Articles