Почта есть везде, где живут люди — от мегаполисов до крошечных посёлков в горах и на крайнем Севере. Мы седьмая крупнейшая в мире компания по количеству точек обслуживания клиентов. Почта России — это 42 000 отделений, логистические и сортировочные центры, склады, автобазы, почтамты при вокзалах и аэропортах, ЦОДы. И все они должны быть подключены к сети передачи данных, чтобы там могли работать различные сервисы — например, отслеживание отправлений, упрощённое получение посылок по СМС.
Особенности нашей работы влияют на подход к построению сети. Почта — специфический бизнес, и поэтому мы не можем довольствоваться стандартным решением. Чтобы качество нашей связи было одинаковым на всей территории России, совместно со своим стратегическим партнёром Ростелекомом мы создали единую корпоративную сеть передачи данных (ЕКСПД) Почты России, которая охватывает все наши объекты почтовой связи.
В основе этого масштабного проекта лежит частная сеть, построенная по технологии IP VPN и обеспечивающая высокоскоростной доступ в интернет. Это крупнейшая корпоративная сеть в России, которую можно сравнить разве что с инфраструктурами Сбербанка и РЖД. При этом КСПД расширяется, и к ней постоянно подключаются новые объекты. К примеру, сейчас мы строим 30 логистических центров, которые будут работать 24/7 и использовать много трафика.
Как и зачем мы построили самую большую в России частную сеть передачи данных
Уровень сервиса и выручка напрямую зависят от качества связи. Ещё 6−7 лет назад онлайн-доступность почтовых отделений была намного ниже. Многие системы, в том числе для обслуживания клиентов, работали в режиме офлайн. А это значит, что почтовые операторы вручную заполняли бумажные формы, и поэтому люди могли часами стоять в очередях, а набор сервисов был минимальным.
Очевидно, что КСПД была необходима. Из-за расширения нашего бизнеса, появления новых онлайн-услуг и общего тренда на цифровизацию росла потребность и в увеличении пропускной способности каналов. Кроме того, до 2016 года мы не могли централизованно управлять сетью.
Чтобы проще управлять своей телеком-инфраструктурой, мы создали единую КСПД
Раньше мы работали с разными операторами — у каждого филиала Почты было по несколько контрактов на связь, и их общее число достигало 1 000. В 2015 году у нас было 37 854 канала, и из них лишь 10 935 принадлежали Ростелекому. Мы использовали много сетей региональных операторов, которые были связаны между собой через Интернет и минимально обменивались трафиком.
Перед нами стояла задача установить единые правила, адресацию и маршрутизацию, сделать сеть прозрачной, чтобы каждый участник — как целое отделение, так и просто рабочее место — мог связаться с другим. Для поддержания качества связи нам надо было перейти на единые требования SLA, а это сложно, даже когда работаешь с двумя-тремя операторами — не говоря уже о тысяче, как в нашем случае.
В 2016 году мы начали строить единую КСПД (далее — ЕКСПД). Нашими основными задачами было:
перевести подключение всех объектов Почты на единого исполнителя по общим требованиям SLA;
изменить архитектуру с сети через Интернет на сеть IP VPN (virtual private network);
максимально перевести подключение объектов Почты на волоконно-оптические линии связи (далее ВОЛС) вместо меди, радио и мобильных технологий;
для ключевых объектов построить основные и резервные каналы связи.
Раньше большинство наших объектов работали через сеть Интернет — такую же, что есть у каждого из наших читателей дома. Но на ней сложно построить тот транзакционный обмен, которого требует специфика нашего бизнеса. У интернет-канала пропускная способность к абоненту больше, чем от абонента. Нас это не устраивает, ведь в Почте трафик делится поровну. Мы в одинаковой мере и поднимаем отчётность по транзакциям от отделений, и отправляем в них обновления ПО. Так что и каналы должны быть симметричными.
В январе 2016 года мы вместе с Ростелекомом начали перевод 26 919 объектов Почты, подключенных интернет-каналами различных операторов, на сеть Ростелекома. При этом мы подключали к VPN сети как отделения, так и ЦОД. Параллельно с этим велось подключение объектов Почты по ВОЛС.
За 2018 и 2019 годы по нашим запросам Ростелеком построил почти 3 000 новых каналов связи для подключения к КСПД объектов Почты, расположенных в труднодоступных населённых пунктах и на новых объектах — например, в логистических центрах. Появились новые хабы в Казани и Новосибирске, строятся в Хабаровске и других городах, и везде нужна связь. Сейчас, когда основная масса объектов Почты подключена к ЕКСПД, наша главная задача — расширять пропускную способность сети.
Решив основные задачи, мы улучшили показатели качества ЕКСПД:
пропускную способность. В 2015 году мы начинали с суммарной скорости 57 Гб/с, сегодня она выросла в три раза до 180 Гб/с;
среднегодовую доступность. Этот показатель считается так: если канал ни разу не ломался за год, его доступность равняется 100%. Если он сломался в начале года и к концу его не починили, доступность будет 0%. Если канал день работал, а день нет — 50%, и так далее. Среднегодовая доступность нашей ЕКСПД всегда была высокой, но за последние пару лет ещё подросла — с 99,13% в 2017 до 99,55% в 2020;
процент подключения объектов Почты по ВОЛС. В 2015 году по ВОЛС было подключено всего 3 107 объектов, сейчас — 22 941.
Как устроена самая большая в России частная сеть
Архитектура сети
Инфраструктура нашей виртуальной частной сети строится на опорной сети Ростелекома, которая делится на несколько уровней:
магистральная сеть (IP/MPLS) объединяет все субъекты России;
региональная сеть предоставляет услуги связи внутри субъектов России;
сети доступа («последняя миля») — отрезок от ближайшего узла связи региональной сети до объекта Почты;
сеть спутниковой связи «Ростелекома» — обеспечивает связь в труднодоступных населённых пунктах, куда не проложены наземные ВОЛС.
Наша виртуальная частная сеть — выделенный сегмент, работающий автономно от интернета и сетей других пользователей Ростелекома. Это обеспечивает нам не только симметричный транзакционный обмен, но и защиту от DDoS-атак и прочих угроз.
У нашей ЕКСПД есть несколько отличительных особенностей:
построение по принципу full mesh. Объекты соединяются друг с другом по принципу «каждый с каждым», не проходя через промежуточные точки. Мы не занимаемся маршрутизацией внутри сети;
симметричная пропускная способность каналов на входящий и исходящий трафик;
единые требования, техническая политика и SLA.
Особенности эксплуатации сети
Больше всего сложностей возникает на последней миле. Так мы называем прямую оптоволоконную, медную или беспроводную соединительную линию, которая тянется от районного центра связи до отделения по столбам, под землёй или на поверхности. Также это может быть тарелка, которая обменивается сигналами со спутником.
В отличие от отказоустойчивой магистральной сети со множеством резервных линий, последняя миля крайне уязвима. Для неё сложно сделать резерв, ведь если проводить дополнительный кабель по одной трассе с основной линией, в случае аварии они сломаются оба. Например, перебьет трактор или ремонтники раскопают траншею.
Именно поэтому основной и резервный кабели должны проходить в разных местах. Так выходит дороже, но зато надёжнее — даже если один канал выйдет из строя, начнёт работать резервный. Около 1 000 наших самых важных объектов оснащены двумя каналами связи — например, аппараты управления сетью и большие логистические центры в Подольске, Внуково и Новосибирске.
Уникальная география сети: Почта есть там, где больше нет никого, и работает в условиях низких температур, отсутствия связи и транспорта
Почта есть везде, где живут люди
Давайте посмотрим, насколько протяжённы наши сети по сравнению с сетями конкурентов. Через несколько сотен километров от столиц субъектов всё меньше отделений банков — а, значит, сокращается и их сетевая инфраструктура. Сеть РЖД тоже ограничена, ведь она построена исключительно вокруг железных дорог. Они у нас в стране хоть и длинные, но проложены далеко не везде.
Чем дальше от центра, тем меньше оптического и медного волокна (а вместе с ним — и мобильной связи от наземных операторов) и больше релейных беспроводных решений. Но и они заканчиваются, и остаются только спутники. И вот попадаем мы в какой-нибудь арктический посёлок с населением 100 человек, где связь работает по часам от локальных генераторов — включается только на четыре часа в сутки. Там нет банков, железных дорог, магазинов и других социальных объектов, а наше отделение есть! Кстати, отчасти поэтому на Почте торгуют товарами первой необходимости. Конечно, трафик в таких местах нестабильный, соблюдать SLA сложно, но, тем не менее, сеть там есть.
Капризные спутники
В некоторых районах крайнего Севера нельзя поднять даже спутник. Впрочем, не обязательно ехать так далеко — взять, к примеру, Татарстан. Значительная часть его территории находится в котловине, вокруг сопок, и в таких низинах спутник не будет ловить. А это значит, что надо ставить мачту и вести от неё к отделениям кабели протяжённостью 100, даже 1 000 метров, по порой капризному рельефу. Это непросто проектировать и не менее сложно строить.
Кроме того, спутники могут плохо работать на экстремальном холоде. А в этом году морозило сильно — например, на Дальнем Востоке столбик термометра опускался ниже −50 °C. При такой температуре рассыпается медный кабель, который проходит от тарелки к зданию. Что делать? Нужны нестандартные решения. Например, чтобы не допустить обледенения спутниковых антенн, надо использовать фены или термокожухи. И мы вместе с оператором придумываем, согласовываем и реализуем такие точечные решения.
Вертолёты и мотособаки
В период непогоды до некоторых объектов практически невозможно добраться неделями. Связь — только вертолёт. Кое-где, среди снегов и вечной мерзлоты, ещё можно проехать на мотособаках, которых ещё официально называют мини-снегоболотоходами. Всё, другого транспорта нет. Порой подрядчики, приехавшие чинить объект, просят положить их как груз в вертолёт и отправить на «большую землю» почтовым рейсом вместе с посылками, потому что другой возможности добраться до дома просто нет!
В командировку на два месяца — решить задачу, с которой в Москве управятся за пару минут
Например, нам надо поднять производительность канала передачи данных. В Москве это можно сделать моментально, не выходя из центра управления, просто нажав пару кнопок. Но в некоторых местах это целая история. В 500 километрах от Иркутска есть посёлок Алыкджер — казалось бы, не Крайний Север, всего 90 км от районного центра. Но никакой связи по земле или воде нет — только вертолёт. Там живут малые народности, охотники и оленеводы — всего около 200 человек. И даже там есть отделение Почты — более того, со всеми онлайн-сервисами и видеокамерами — связь в котором работает через спутник.
И вот в этом отделении надо поменять спутниковую тарелку, чтобы поднять её энергетический спектр и повысить производительность канала. Очевидно, что тарелку доставляют из большого города. А она большая, в вертолёт не влазит — значит, нужно придумать нестандартное решение, чтобы как-то прикрепить её. Потом ищем стройматериалы, чтобы отлить площадку, соорудить мачту и установить тарелку — конечно, в Алыджере их нет. Всё это — большой труд и непростая задача для контролирующих процесс инженеров, которые проводят на объектах месяцы.
Работа на закрытых территориях
Некоторые отделения расположены на закрытых территориях, и поэтому там всё нужно согласовывать с государством и военными, а это особая специфика. Например, несколько лет назад мы подключали к сети отделение Почты, да ещё и в совмещённом формате с Почта Банком, на Валааме — остров, монахи, все дела. И даже там мы протянули сеть и поставили банкомат, чтобы священнослужители могли снимать деньги, ведь больше нигде в радиусе десятков километров они не могли этого сделать.
Просто сложные участки — не обязательно на краю света
Иногда бывает непросто провести сеть даже в Московской области. Отделение может быть окружено деревьями, из-за чего будет находиться вне зоны видимости спутника. При этом мобильная связь там ловит слабо — а вы удивитесь, как много таких «слепых зон» даже в крупных городах. Радио тоже сделать нельзя по тем или иным причинам. Остаётся только оптоволокно, протянуть которое из-за особенностей рельефа порой целая история.
Управление сетью
Мы управляем сетью через оператора на аутсорсе. По нашим запросам, правилам и регламентным документам он сопровождает оборудование — в том числе мониторит доступность каналов связи, чтобы в случае аварии связаться с Ростелекомом и приехать на объект.
Чтобы регулировать работу сети самостоятельно, нужно иметь свой центр управления, и мы постепенно движемся к этой модели. Тогда мы сможем сами управлять трафиком, приоритезировать его, обрабатывать, распределять по объектам. Для этого в каждой точке нашего присутствия, где есть подключение к единой сети, должно быть оборудование, а мы пока только продолжаем насыщать им инфраструктуру. В 2017 году мы уже установили 5 000 устройств — в основном в отделениях, где открывался Почта Банк. Несмотря на то, что банк — отдельная организация с 13 000 объектами, наша сеть удовлетворяет и её потребности тоже. В 2021 г. в планах дооснащение ещё 8500 отделений активным сетевым оборудованием.
Заключение: куда мы движемся
Развитие сети — постоянный процесс. Такую задачу нельзя полностью выполнить. Она будет актуальна всегда, ведь появляются новые требования бизнеса, что-то устаревает или изнашивается, меняются технологии, и нам надо подстраиваться под рынок.
Первые два года после заключения единого контракта с Ростелекомом мы учились взаимодействовать с оператором, вырабатывали инструменты контроля и мониторинга, определяли объём и загрузку. Мы прошли этот переходный период, и сегодня имеем полное представление о доступности всех объектов Почты, включённых в ЕКСПД. 30% сети доступно в системе технологического мониторинга: мы сами без обращения к оператору видим состояние объекта и канала, его загрузку, историю аварийности.
Сегодня, когда задача с доступностью решена, наша главная цель — насытить сеть оборудованием и сервисами: видеоконференцсвязь, видеонаблюдение, телефонная корпоративная связь. Сейчас весь голосовой трафик в Почте идёт через операторов дальней связи, междугородней и международной. А ведь это — огромный массив данных: с помощью голосовой связи между собой общаются филиалы, макрорегионы, сортировщики, логисты. Когда мы оснастим инфраструктуру оборудованием, которое позволит управлять и разделять этот трафик, мы сможем полностью переложить его на нашу сеть передачи данных. Это сэкономит нам деньги, поможет модернизировать телефонное оборудование в отделениях и повысить качество корпоративной связи.
Развитие корпоративной сети передачи данных — фундамент для создания отделений будущего. Инновационные технологии, простота в получении любых услуг, ОПС как единая точка для удовлетворения потребностей клиента — такой мы видим Почту в перспективе.