Как стать автором
Обновить

Комментарии 33

Хорошее дело но не без изъянов.
В настоящее время наблюдаются проблемы с политикой DMARC типа reject в случае использования сервера пересылки (backup MX) и при работе с листами рассылки (mailing list). Поэтому я бы рекомендовал не увлекаться закручиванием гаек, удовлетворившись пока политикой quarantine.
Пересылка обычно работает без проблем при наличии DKIM-подписи в письме. Проблемы встречаются, например в Hotmail/Outlook т.к. на части пересылаемых писем бьется DKIM, что приводит к нарушению DMARC, Microsoft обещает эту проблему устранить. Аналогичная проблема есть в устаревших и уже не поддерживаемых версиях Exchange.
Со списками рассылки действительно бывают проблемы, но большая часть крупных списков уже умеют обнаруживать домены с DMARC и делать для них замену From. Строгий DMARC уже есть у yahoo.com, aol.com, mail.ru, Microsoft обещал внедрить на outlook/hotmail до конца года, GMail так же анонсировал внедрение, поэтому списки рассылки вынуждены адаптироваться. Если это действительно необходимо, можно выделить отдельный поддомен с более мягкой политикой специально для постинга в списки рассылки.
Пересылка работает, в основном, но всегда, к сожалению.
А по спискам рассылки вообще красивого решения нет.

Возможно это офтоп, но… Совершенно недавно окунулся в мир почты. И у меня складывается такое ощущение, что все достижения разработчиков последних десятилетий обошли технологию email стороной. Один плохой дизайн накладывается на другой.


У меня как у пользователя встает один вопрос, когда почтой снова можно будет начать пользоваться? Почему крупные операторы стоят в стороне от прогресса. Когда уже появится какой-нибудь консорциум наподобие whatwg и устранит эту кашу из технологий и осовременит email.

Это немного неправильные впечатления. E-mail очень активно активно развивается и пользоваться им вполне можно. Текущая версия SMTP (RFC 5321) и формата письма (RFC 5322) — 2008й год, DKIM — 2011й год (RFC 5376), DMARC (RFC 7489) — 2015й год и крупные операторы не просто не стоят в стороне, они как раз и участвуют в разработках этих стандартов. DMARC в той или иной степени, хотя бы в режиме none есть у всех почтовых сервисов.

Проблема в другом. Очень мало кто из администраторов знаком с новыми технологиями почты. 100% администраторов с которыми приходилось общаться уверены, что SPF должен защищать почту от подделок (что абсолютно не соответствует действительности). Как заставить, например, крупные российские банки внедрить SPF, DKIM и DMARC, которых там как правило нет, при том что в штатах DMARC есть практически у всех крупных финансовых организаций? Мы на себя взяли задачу — продвинуть технологию среди администраторов. И уже есть определенные успехи.
Если у всех финансовых организаций в США он есть, вероятно это прописано в каких то требованиях безопасности и это проверяют при аудите. Надо и нам прописать, тогда и у нас это будет.

DMARC для построения отчетов использует XML, который сегодня уже считается утратившим актуальность. И это при том, что создавался он в 2015! Понимаю, еще если бы это был 2005. Это раз. Два: наличие таких игроков как spamhaus, которые в большей степени паразитируют на слабости технологии перед спам-атаками, говорит об отсутствии на рынке общей стратегии по дальнейшему развитию.


Далее идет низкая насыщенность программными решениями: большинство присутствующих сегодня продуктов имеют слабую поддержку сообщества и имеют высокий порог входа. Из-за чего важные нововведения проходят со скрипом.


Как заставить, например, крупные российские банки внедрить SPF, DKIM и DMARC,

… а обновления требуется заставлять внедрять. Не потому ли, что дорого!? Сама технология почты очень дорогая в обслуживании. Сегодня почта живет на почтовых гигантах и корпоративном сегменте. Устоявшееся мнение, что почту проще доверить яндексу или гуглу является нормой. И, даже потеря конфиденциальности, никого не останавливает. Нет, с почтой у нас определенно проблемы.

Во-первых, почему это XML утратил актуальность? XML тяжеловесный стандарт, поэтому для AJAX может быть и выгодней JSON, но у JSON есть проблемы реализаций из-за недостаточно четких стандартов и отсутствует язык описания схем, у YAML или BSON вообще нет стандартизации какой-либо признанной организацией. У XML есть язык описания схемы и он разрабатывается W3C, что позволяет его использовать в стандартах. Мне XML на текущий момент кажется единственным возможным вариантом.

Во-вторых спецификация DMARC позволяет расширять форматы и добавить другие методы при необходимости.
Проблема в том, что как только кто-то решает осовременить почту, она тут же становится проприетарным решением конкретной компании. (hello winmail.dat).

Вся сила почты в том, что из-за своей универсальности и всеобщести она заставляет всех подстраиваться под неё. Хорошо или плохо, но это много лучше, чем любая альтернативная система, придуманная компаниями.

Я могу написать пользователю microsoft и пользователю apple, даже если один из них пользуется skype, а другой viber'ом, и даже если рядом есть фанат блекберри с watsup'ом, то он может написать харкорному пользователю hipchat'а.

Посредством электронной почты, разумеется.

Я о том, что консорциум браузеров появился, а консорциум почтовых клиентов – нет. Что, согласитесь, странно для второй по значимости технологии интернета. При этом почта до сих пор страдает детскими болезнями первородного Интернета.

Это совсем не так. W3C занимается стандартизацией HTML и связанных стандартов. Стандартизацией почтовых протоколов и стандартов занимается IETF, где есть несколько рабочих групп. Например, прямо сейчас идет очень активная работа в рабочих группах ietf-dkim/ietf-dmarc, где обсуждается расширение DKIM для защиты от replay-атак и внедрение ARC а в рабочей группе ietf-dane, например, обсуждается SMTP STS.
Если честно, то это браузеры страдают болезнями детства. Например, мне недавно намертво сломали доступ к железкам с SSL3. Да, я знаю, что не секьюрно. На момент выпуска железки было секьюрно, сейчас нет. Ну и работайте с ним как с HTTP. Но нет, нельзя подключиться. Даже exception'а нет. Приходится юзать файрфокс 3 в отдельной виртуалке. Почтовый клиент, не способный разобрать письмо от другого почтового клиента 2010 года производства, просто бы спустили в утиль. Ибо совместимость. А браузерам и их консорциумам позволено творить что попало и ломать совместимость со старыми системами к чертям.
С iLO на серверах HP та же картина — приходится ставить firefox 2.0 и java 5_11, чтобы быть уверенным, что всё заведётся.

Чтобы не заморачиваться с FF под виртуалкой удобнее использовать HTTP-туннель, а то как-то ну совсем уж хардкорно.

Там ещё старая java нужна, так что оно в целом — ужасно. Виртуалка менее геморрно, чем поддержание неактуальных версий софта на рабочей машине.
Проблема в том, что ее никто не разрабатывал. По сути стандарт это некая попытка привести к единому знаменателю уже имевшиеся на тот момент практики, читай костыли которые каждый втыкал как умел. При этом нужно понимать что выходит новая версия стандарта, а старые сервера со старыми реализациями никуда не деваются. Плюс куча сомнительного софта написанного как попало для отправки почты, куча клиентов которые реализуют свою сторону как хотят, полная анархия.
В итоге реализуя почтовый протокол нужно думать не только о стандарте, но и о всем многообразии отступлений от него.

Дизайн протокола как абсолютно распределенного обмена сообщениями очень хорош. Но методы защиты и представления информации остались на зачаточном уровне. При этом проблема продолжает потреблять большие деньги.


Устаревшие почтовые клиенты и сервера, могут бесконечно долго успешно существовать, пока не сложится предпосылок для замен, так можно еще пару десятилетий протянуть. А обратную совместимость при внесении изменений никто не отменял. Чтобы не попасть в проприетарную ловушку нужно объединять усилия сообщества разработчиков, тогда ситуация поменяется в лучшую сторону очень быстро.

Так собственно RFC и есть результат объединения усилий разработчиков. Не сказал бы что ситуация меняется в лучшую сторону очень быстро )
Проблема защиты упирается по сути в основном в масштабы. Это я говорю как разработчик системы защиты почты если что. Есть невероятно много источников почты, которые настроены как попало, с каким попало софтом и шлют всякую дрянь. И эта дрянь является легитимной почтой, ее нельзя просто взять и выкинуть. Единственная реальная возможность продвигать стандарты безопасности — это быть монополистом с сильной политической волей. Как например гугл хром. Отжать львиную долю рынка и тупо отключить поддержку небезопасных сертификатов. Иначе весь интернет не заставить. К сожалению в области почты нет такого крупного монополиста, которым мог это сделать.
На самом деле то же самое происходит и в почте, хотя и не настолько очевидно. Yahoo и AOL дали толчок DMARCу, без них он остался бы мертвым стандартом, а Google и Microsoft сейчас сильно завинчивают гайки для писем без аутентификации отправителя.
Удобная возможность спросить: в чём может быть причина неудачного перенаправления сообщения с корпоративного ящика на почтовый ящик mail.ru? Причём не всех писем, малая часть всё же перенаправляется успешно.
Подпись DKIM внедрена и проблем с ней не наблюдается.
А накопительное обновление 6 стоит? Если да, то покажите полный текст сообщения о невозможности доставки (с заголовками исходного сообщения), можно в личку.
Обновления ставятся регулярно. CU14 установлен.
Вас интересует всё письмо целиком или диагностические сообщения, которые сервер вставляет в тело письма?
диагностическое сообщение и заголовки исходного письма.

Скажите, кто-нибудь нашел нормальный инструмент для обработки DMARC отчетов?

В статье есть немного рекомендаций по этому поводу.
Для отдельных отчетов можно использовать https://dmarcian.com/dmarc-xml/
для организации процесса обработки в целом удобно использовать либо сервис, который тот же Dmarcian представляет по подписке (есть бесплатные подписки для небольших объемов почты) либо его аналоги. Мы пользуемся услугами Agari.
Бесплатных готовых инструментов пока не встречалось.
DMARC стандартизирован, можно писать свой велосипед. Но указанный в статье Dmarcian вполне подходит для небольшой организации.

Использую https://dmarc.postmarkapp.com/ для получения еженедельных отчетов.

Для себя пользуем такой костыль: https://github.com/techsneeze/dmarcts-report-viewer
На поисковый запрос «dmarc report parser» их находится.

Вы пробовали их запустить?
Там, например, надо патчить MySQL.

Мне нет в этом нужды, поскольку dmarcian удовлетворяет потребности сполна.
Возможно https://www.mail-tester.com/ будет полезен при настройке почтовых отправлений. Подсказывает что необходимо сделать с вашей стороны.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий