Часть 2. Часть 1 по ссылке.
В нашем случае система аналитки поведения Introspect из класса продуктов User and Entity Behavior Analytics (сокращённо UEBA) является единой точкой входа для большого количества разнообразной машинной информации, собираемой с имеющейся инфраструктуры, в том числе и с SIEM систем, и на основе алгоритмов машинной аналитики и искусственного интеллека помогать сотрудникам отдела безопасности автоматизировать рутинный труд по анализу большого количества инцидентов.
Более того, система может быть интегрирована с имеющимися системами контроля доступа к инфраструктуре (NAC) для выполнения различных действий с источниками аномального поведения в сети – отключать, понижать скорость, перемещать в другой VLAN и т.п.
Какие же данные система Introspect должна получать в качестве исходной информации? Самые разнообразные, вплоть до сетевого трафика. Для этой цели система имеет специализированные компоненты для обработки трафка – Packet Processor (PP).
Преимуществом получения данных от SIEM систем может служить тот факт, что они уже прошли предварительный разбор (парсинг) этими системами. Introspect работает с такими SIEM системами как SPLUNK, QRadar, ArcSight. На очереди реализации LogRhythm (raw syslog), Intel Nitro. Кроме этого, система собирает огромный массив данных:
MS Active Directory (AD Security Logs, AD user, group, group user), MS LDAP logs,
DHCP логи
MS DHCP, Infoblox DHCP, dnsmasq DHCP
DNS логи
MS DNS, Infoblox DNS, BIND
Firewall логи
Cisco ASA (syslog), Fortinet (через SPLUNK), Palo Alto (через SPLUNK), Checkpoint (через SPLUNK), Juniper (через SPLUNK).
Proxy логи
Bluecoat, McAfee, ForcePoint
Alerts
Fireeye
MS ATA
VPN логи
Cisco Anyconnect/WebVPN
Juniper VPN (через SPLUNK)
Juniper Pulse Secure (через SPLUNK)
Fortinet VPN (через SPLUNK)
Checkpoint VPN
Palo Alto VPN
Flow логи
Netflow v5, v7, v9
Email логи
Ironport ESA
Bro логи
Connection logs
Конкурентым преимуществом системы является возможность работать на уровне транзакций, т.е. с сетевым трафиком, что дополняет информацию полученную в лог сообщениях. Это даёт системе дополнительные аналитические возможности — анализ DNS запросов, туннельного трафика и эффективный поиск попыток передачи чувствительных данных за периметр организации. Кроме этого система обеспечивает аналитику пакетной энтропии, анализ HTTPS заголовков и файлов, а также анализ работы облачных приложений.
Упомянутые выше пакетные процессоры (PP) имеют виртуальную и аппартную реализацию, работают на скоростях до 5-6 Gbps и выполняют DPI «сырых» данных, извлекают из него контекстную информацию или пакетные метаданные и передают её на другой компонент системы – анализатор (Analyzer).
Если принимается решения об анализе не только логов, но и трафика при помощи методов SPAN/TAP или применения пакетного брокера или повторителей, таких как Gigamon или Ixia, PP должен быть расположен в правильном месте сети. Для максимальной эффективности необходимо захватывать весь сетевой трафик, идущий в каждом пользовательском VLAN в/из сети Интернет, а также трафик, идущий от/к пользователей к защищаемым ресурсам, или серверам, содержащим критическую информацию.
Необходимым и ключевым компонентом системы является Analyzer. Он обрабатывает данные из логов, flows, пакетных метаданных, алерты от сторонних систем, threat intelligence feeds и других источников.
Analyzer может быть одиночным 2RU appliance или горизонтально масштабируемым scale-out решением, состоящим из множества 1RU appliance, а также облачным решением.
Логическая структура
Логически Analyzer представляет из себя горизотально масштабируемую Hadoop платформу состоящую из нескольких типов узлов – Edge Nodes, Index and Search nodes, Hadoop data nodes.
Edge Nodes получают данные и записывают в каналы Flume с приемниками HDFS.
Index and Search nodes извлекают информацию из трёх типов баз – Hbase, Parquet, ElasticSearch.
Hadoop data nodes предназнчены для хранения данных.
Логически работа системы выглядит следующим образом – пакетные метаданные, flows, logs, alerts, threat feeds проходят парсирование, кэширование, дистиляцию, корреляцию. Система осуществляет связку между пользователем и его данными, осуществляя кэширование быстро поступающих данных пользователя в HDFS.
Далее данные поступают в модуль дискретной аналитики, где на основе поступившей информации по какому либо фиксированному событию или полю происходит отсеивание так назваемых дискретных алармов. Например работа алгоритма DNS DGA или попытка входа в заблокированную учётную запись, очевидно, не требуют какой-либо машинной аналитики для обнаружения потенциально опасного события. Модуль behavior аналитики подключается на данном этапе только для чтения потенциальных событий в сети.
Следующим идёт этап корреляции событий, индексирования и хранения в вышеупомянутых базах. Механизм behavior аналитики включается на основе сохранённой информации и может работать на основе определённых отрезков времени или на основе поведения этого пользователя по сравнению с другим пользователем. Это так называемый baselining механизма behavior profiling. Модели behavior profiling строятся на основе алгоритмов машинной аналитики SVD, RBM, BayesNet, K-means, Decision tree.
Укрупнённая модель behavior аналитики продукта показана на рис.1
Рис.1
На схеме видно, что механизм аналитики поведения основывается на четырёх блока:
Aruba Introspect имеет более 100 supervised и unsupervised моделей, предназначенных для обнаружения таргетированных атак на каждой стадии модели CKC. Например, реализация Introspect уровня Advanced обнаруживает
Далее, на основе выявленных аномалий событию присваивается оценка риска, связанная с тем или иным этапом взлома системы по определению Cyber Kill Chain (CKC) компании Lockheed Martin’s. Оценка риска определяется по модели Hidden Markov Model, в отличие от конкурентов, которые линейно увеличивают или уменьшают оценку риска в своих расчётах.
По мере развития атаки по модели CKC, т.е. этапам infection, internal reconnaissance, command & control, privilege escalation, lateral movement, exfiltration, оценка риска увеличивается. См рис.2
Рис.2
Система имеет функции адаптивного обучения, когда результаты работы модуля аналитики подвергаются пересмотру или адаптации, в оценке risk scoring или при помещении в «белый список».
Информация об угрозах или Threat Feeds может быть загружена с внешних источников, при помощи механизмов STIX, TAXII. Также поддерживается ресурс Anomali. Introspect может также загружать “Whitelist” доменных имён с сервиса Alexa для уменьшения ложных срабатываний в генерации алертов.
Конкурентными преимцществами системы являются:
Система имеет два варианта поставки – Standard Edition и Advanced Edition. Standard Edition адаптирован для оборудования Aruba Network и получает на входе информацию логов с AD, протокола AMON, LDAP, Firewall, VPN логи.
В нашем случае система аналитки поведения Introspect из класса продуктов User and Entity Behavior Analytics (сокращённо UEBA) является единой точкой входа для большого количества разнообразной машинной информации, собираемой с имеющейся инфраструктуры, в том числе и с SIEM систем, и на основе алгоритмов машинной аналитики и искусственного интеллека помогать сотрудникам отдела безопасности автоматизировать рутинный труд по анализу большого количества инцидентов.
Более того, система может быть интегрирована с имеющимися системами контроля доступа к инфраструктуре (NAC) для выполнения различных действий с источниками аномального поведения в сети – отключать, понижать скорость, перемещать в другой VLAN и т.п.
Какие же данные система Introspect должна получать в качестве исходной информации? Самые разнообразные, вплоть до сетевого трафика. Для этой цели система имеет специализированные компоненты для обработки трафка – Packet Processor (PP).
Преимуществом получения данных от SIEM систем может служить тот факт, что они уже прошли предварительный разбор (парсинг) этими системами. Introspect работает с такими SIEM системами как SPLUNK, QRadar, ArcSight. На очереди реализации LogRhythm (raw syslog), Intel Nitro. Кроме этого, система собирает огромный массив данных:
MS Active Directory (AD Security Logs, AD user, group, group user), MS LDAP logs,
DHCP логи
MS DHCP, Infoblox DHCP, dnsmasq DHCP
DNS логи
MS DNS, Infoblox DNS, BIND
Firewall логи
Cisco ASA (syslog), Fortinet (через SPLUNK), Palo Alto (через SPLUNK), Checkpoint (через SPLUNK), Juniper (через SPLUNK).
Proxy логи
Bluecoat, McAfee, ForcePoint
Alerts
Fireeye
MS ATA
VPN логи
Cisco Anyconnect/WebVPN
Juniper VPN (через SPLUNK)
Juniper Pulse Secure (через SPLUNK)
Fortinet VPN (через SPLUNK)
Checkpoint VPN
Palo Alto VPN
Flow логи
Netflow v5, v7, v9
Email логи
Ironport ESA
Bro логи
Connection logs
Конкурентым преимуществом системы является возможность работать на уровне транзакций, т.е. с сетевым трафиком, что дополняет информацию полученную в лог сообщениях. Это даёт системе дополнительные аналитические возможности — анализ DNS запросов, туннельного трафика и эффективный поиск попыток передачи чувствительных данных за периметр организации. Кроме этого система обеспечивает аналитику пакетной энтропии, анализ HTTPS заголовков и файлов, а также анализ работы облачных приложений.
Упомянутые выше пакетные процессоры (PP) имеют виртуальную и аппартную реализацию, работают на скоростях до 5-6 Gbps и выполняют DPI «сырых» данных, извлекают из него контекстную информацию или пакетные метаданные и передают её на другой компонент системы – анализатор (Analyzer).
Если принимается решения об анализе не только логов, но и трафика при помощи методов SPAN/TAP или применения пакетного брокера или повторителей, таких как Gigamon или Ixia, PP должен быть расположен в правильном месте сети. Для максимальной эффективности необходимо захватывать весь сетевой трафик, идущий в каждом пользовательском VLAN в/из сети Интернет, а также трафик, идущий от/к пользователей к защищаемым ресурсам, или серверам, содержащим критическую информацию.
Необходимым и ключевым компонентом системы является Analyzer. Он обрабатывает данные из логов, flows, пакетных метаданных, алерты от сторонних систем, threat intelligence feeds и других источников.
Analyzer может быть одиночным 2RU appliance или горизонтально масштабируемым scale-out решением, состоящим из множества 1RU appliance, а также облачным решением.
Логическая структура
Логически Analyzer представляет из себя горизотально масштабируемую Hadoop платформу состоящую из нескольких типов узлов – Edge Nodes, Index and Search nodes, Hadoop data nodes.
Edge Nodes получают данные и записывают в каналы Flume с приемниками HDFS.
Index and Search nodes извлекают информацию из трёх типов баз – Hbase, Parquet, ElasticSearch.
Hadoop data nodes предназнчены для хранения данных.
Логически работа системы выглядит следующим образом – пакетные метаданные, flows, logs, alerts, threat feeds проходят парсирование, кэширование, дистиляцию, корреляцию. Система осуществляет связку между пользователем и его данными, осуществляя кэширование быстро поступающих данных пользователя в HDFS.
Далее данные поступают в модуль дискретной аналитики, где на основе поступившей информации по какому либо фиксированному событию или полю происходит отсеивание так назваемых дискретных алармов. Например работа алгоритма DNS DGA или попытка входа в заблокированную учётную запись, очевидно, не требуют какой-либо машинной аналитики для обнаружения потенциально опасного события. Модуль behavior аналитики подключается на данном этапе только для чтения потенциальных событий в сети.
Следующим идёт этап корреляции событий, индексирования и хранения в вышеупомянутых базах. Механизм behavior аналитики включается на основе сохранённой информации и может работать на основе определённых отрезков времени или на основе поведения этого пользователя по сравнению с другим пользователем. Это так называемый baselining механизма behavior profiling. Модели behavior profiling строятся на основе алгоритмов машинной аналитики SVD, RBM, BayesNet, K-means, Decision tree.
Укрупнённая модель behavior аналитики продукта показана на рис.1
Рис.1
На схеме видно, что механизм аналитики поведения основывается на четырёх блока:
- источники данных;
- условия работы с данными (время доступа, количество загруженных или выгруженных данных, количество сообщений электронной почты, информация о геолокации источника или приёмника информации, VPN подключение и.т.д.);
- механизмы профилирования поведения пользователя (оценка поведения по прошествии некоторого времени или по отношению к другому сотруднику, временное окно, в течении которого производится анализ, математическая модель профилирования поведения – SVD, Restricted Boltzmann Machine (RBM), BayesNet, K-means, Decision tree и другие);
- обнаружение аномалии в трафике при помощи математических моделей машинной аналитики, таких как mahalanobis distance, energy distance и генерация событий в системе с определённым приоритетом и стадией.
Aruba Introspect имеет более 100 supervised и unsupervised моделей, предназначенных для обнаружения таргетированных атак на каждой стадии модели CKC. Например, реализация Introspect уровня Advanced обнаруживает
- Подозрительную сетевую активность типов: Abnormal Asset Access, Abnormal Data Usage, Abnormal Network Access, Adware Communication, Bitcoin Application в виде Bitcoin Mining, Botnet (TeslaCrypt, CryptoWall), Cloud Exfiltration, HTTP Protocol Anomaly (Header Misspellings, Header Misordering), Hacker tool Download, IOC виды атак (IOC-STIX Abuse-ch, IOC-STIX CybercrimeTracker, IOC-STIX EmergingThreatsRules и другие), Network Scan, P2P Application, Remote Command Execution, SSL Protocol Violation, Spyware Comm, Suspicious Data Usage, Suspicious External Access, Suspicious File, Suspicious Outbound Comm, WebShell, Malware communication, Command and Control, Lateral movement, Data Exfiltration, Browser exploit, Beaconing, SMB execution, Protocol violation, Internal Reconnaissance и другую.
- Подозрительный доступ к аккаунтам типа Abnormal Account Activity, Abnormal Asset Access, Abnormal Logon, Privilege Escalation, Suspicious Account Activity, Suspicious User Logon и другие
- Доступ к данным через VPN: Abnormal Data Usage, Abnormal Logon, Abnormal User Logon,
- Анализ DNS данных: работу Botnet через различные алгоритмы DNS DGA
- Анализ Email сообщений: Abnormal Incoming Email, Abnormal Outgoing Email, Suspicious Attachment, Suspicious Email
Далее, на основе выявленных аномалий событию присваивается оценка риска, связанная с тем или иным этапом взлома системы по определению Cyber Kill Chain (CKC) компании Lockheed Martin’s. Оценка риска определяется по модели Hidden Markov Model, в отличие от конкурентов, которые линейно увеличивают или уменьшают оценку риска в своих расчётах.
По мере развития атаки по модели CKC, т.е. этапам infection, internal reconnaissance, command & control, privilege escalation, lateral movement, exfiltration, оценка риска увеличивается. См рис.2
Рис.2
Система имеет функции адаптивного обучения, когда результаты работы модуля аналитики подвергаются пересмотру или адаптации, в оценке risk scoring или при помещении в «белый список».
Информация об угрозах или Threat Feeds может быть загружена с внешних источников, при помощи механизмов STIX, TAXII. Также поддерживается ресурс Anomali. Introspect может также загружать “Whitelist” доменных имён с сервиса Alexa для уменьшения ложных срабатываний в генерации алертов.
Конкурентными преимцществами системы являются:
- разнообразие используемых данных на входе,
- функция DPI,
- корреляция событий безопасности с пользователем, а не IP адресом, без дополнительного софта,
- использование в основе системы больших данных Hadoop/Spark c неограниченной возможностью кластеризации,
- результаты работы системы, полученные на основе аналитики, возможность проводить расследование инцидентов при помощи full-context forensics, threat hunting,
- интеграцию с имеющимся решением NAC Clearpass,
- работа без агента на Endpoint,
- практическая независимость от типа производителя сетевой инфраструктруры
- работа On-premise, без необходимости отсылки данных в облако
Система имеет два варианта поставки – Standard Edition и Advanced Edition. Standard Edition адаптирован для оборудования Aruba Network и получает на входе информацию логов с AD, протокола AMON, LDAP, Firewall, VPN логи.