Архитектура сетей современных операторов связи отлично описана во всяческих мануалах, гайдах по подготовке к сертификациям Cisco и просто умных и хороших книжках. Но многие из них концентрируются именно на MPLS Core с интересными особенностями этой технологии (как то Traffic Engineering, MPLS BGP Multipath и прочее), обходя внимание distribution-access сегмент. Предлагаю поговорить именно об архитектуре сети доступа, принятой в крупных провайдерах. В качестве примеров будем рассматривать сети доступа одного из операторов ОАЭ (назовем его UAE Telecom) и Tier 1 оператора из США (скажем, USA Telecom), с которыми мне посчастливилось работать. По информации, такую же aggregation-access архитектуру имеет IP сеть одного из крупных украинских операторов.
Сеть оператора связи состоит из ядра, как правило, использующего технологию MPLS, и сегментов aggregation-access сетей, которые позволяют подключать пользователей к сети. USA Telecom имеет несколько сетей, одна из которых, впрочем, построена без использования MPLS – технологии аппаратной коммутации пакетов с помощью разделения Routing Plane и Forwarding Plane (Cisco Express Forwarding и аналогичная у Juniper) позволяет маршрутизировать обычные IP пакеты с той же скоростью, с которой его коммутируют MPLS роутеры.
На границе MPLS ядра находятся Provider Edge (PE) роутеры. Они производительнее, чем роутеры ядра (P Routers), потому как им нужно «держать» таблицу BGP. Так USA Telecom использует в качестве PE роутеров GSR 12000 и даже CRS-1 – статус и задачи Tier 1 обязывают.
После PE роутеров идет сеть, состоящая из свичей, к которой подключаются пользователи. Сегодня мы будем говорить о ней.
Основная задача: сделать сеть максимально масштабируемой, так как ресурсы дорожают с каждый следующим «шагом»: порт distribution свича дороже порта access свича, а порт PE роутера дороже порта distribution свича. Применяемая архитектура позволяет расширять сеть наиболее эффективно. Кроме того, такое расширение проводится с обеспечением избыточности связи наиболее эффективным способом.
В качестве distribution устройств UAE Telecom использует Cisco ME 4924, а в качестве access свичей – Cisco 4506. Предлагаю в нашей модели использовать именно их.
Тут важно сказать, что оператор использует несколько архитектурных подходов, и в этой статье описан только один из них. Второй, с аналогичной конфигурацией, подразумевает подключение в каждом кольце два access свича. Это увеличивает количество портов доступа и не влияет на надежность:
Физическим лицам оператор предоставляет Triple Play сервисы, но заказчик может сам определить, какой именно Play из этих Triple ему нужнее. Предприятиям предлагается Layer 2/3 VPN и отдельные конфигурации услуг доступа с избыточным доступом. В этом случае заказчик получает линк к двум разным access кольцам.
Подключая интернет, каждый заказчик получает отдельный VLAN. Весь VoIP трафик всех заказчиков, однако, «ходит» в отдельном VoIP VLAN с соответствующими настройками QoS. Так выглядит конфигурация access свича для среднестатистического заказчика:
policy-map mark-voice
class class-default
set dscp ef
!
interface FastEthernet3/47
description 00000000-Customer-Loc
switchport access vlan 434
switchport mode access
switchport voice vlan 808
logging event link-status
qos vlan-based
no snmp trap link-status
storm-control broadcast level 1.00
tx-queue 3
bandwidth percent 30
priority high
spanning-tree portfast
spanning-tree bpduguard enable
!
interface Vlan808
no ip address
service-policy input mark-voiceИспользование свичей 3 уровня на access уровне позволяет настраивать гибкие политики QoS и приоретизировать ключевой трафик, такой как VoIP и обновления протоколов маршрутизации, уже на access уровне.
VLANы для типичного набора сервисов терминируются на distribution свичах. Для каждого из них в качестве default gateway выступаем SVI. Тут же – на уровне distribution свичей, обеспечивает шейпинг трафика.
STP в лице PVST поддерживает избыточность линков. Для физических лиц обеспечивается только этот вид избыточности – если линк до «своего» distribution свича «упадет», трафик сможет попасть туда по кольцу через второй свич.
Для организаций же поддерживается избыточность distribution свичей – между парой SVI, выступающих default gateway для организации на каждом distribution роутере, настроен HSRP. Если выйдет из строя один из distribution свичей, физические лица, чьи VLAN «завязаны» на его SVI, останутся без связи, но организации подхватит второй distribution свич, сделав свой SVI default gateway для их VLAN-ов.
router ospf 100
!
passive-interface Vlan333
network 123.102.12.49 0.0.0.3 area 23.123.15.0
!
interface Vlan333
description Customer-SVI
ip address 123.102.10.133 255.255.255.252
ip access-group 101 in
no ip redirects
ip ospf message-digest-key 1 md5 7 0200005700002120
service-policy input TECOM-Policy-2MB
service-policy output TECOM-Policy-2MB
!
interface Vlan281
description Enterprise-SVI
bandwidth 2000
ip address 123.102.12.49 255.255.255.252
ip access-group 101 in
no ip redirects
ip ospf message-digest-key 1 md5 7 033000070200004D
standby 170 ip 123.102.12.48
standby 170 priority 110
service-policy input TECOM-Policy-512K
service-policy output TECOM-Policy-4MBТакже на distribution свичах работает OSPF. Это нужно в связи с тем, что маршрутризацией трафика между VLAN-ами в пределах одной пары distribution устройств занимаются эти самые свичи. Но есть исключения: если клиент заказывает Layer 3 VPN, CE роутер должен установить OSPF соседство с PE роутером провайдера. Чтобы обеспечить это, такому клиенту выделяется VLAN, который не терминируется на SVI свича, но пробрасывается дальше, до порта PE роутера, транком. Итого, от distribution свича до PE роутера уходит один Vlan, с трафиком, который свич маршрутизирует в сторону PE, и множество VLAN клиентов, которые используют Layer 3 VPN:
interface GigabitEthernet1/3
description Uplink to PE Router
switchport trunk encapsulation dot1q
switchport trunk allowed vlan 1,12,19,31-33,36-41,70-79,88,98,112,113,125,126
switchport trunk allowed vlan add 135,143,198,199,314,316,320,322,399,440-444
switchport trunk allowed vlan add 454,456,459,480,490,510,511,530,550,557-559
switchport trunk allowed vlan add 563,567,571,578,579,582,588,602-604,616,626
switchport trunk allowed vlan add 637,660,661,666,670,672,675,677-679,688,699
switchport trunk allowed vlan add 705,713,728,739-749,753,754,757,760,762
switchport trunk allowed vlan add 769-778,783,788-790,793-795,799,806,812,822
switchport trunk allowed vlan add 823,878,888,900,923,925,950,955-958,987,990
switchport trunk allowed vlan add 993-995,998,999,1100,1206,1209,1252,1301
switchport trunk allowed vlan add 1302,1313,1325,1326,1350,1351,1360,1361,1400
switchport trunk allowed vlan add 1705,2100,2400,3432,3900
switchport mode trunk
qos trust dscp
udld port aggressive
mac access-group filtermac in
tx-queue 1
bandwidth percent 10
tx-queue 2
bandwidth percent 20
tx-queue 3
bandwidth percent 30
priority high
tx-queue 4
bandwidth percent 40
service-policy input police-in-geТаким образом каждая пара distribution устройств образует отдельный VLAN домен, и в сети, контролируемой другой парой distribution свичей, можно использовать VLANы с теми же номерами повторно.
В ОАЭ интернет и прочие IP сервисы очень популярны, потому покрытие очень и очень плотное. Так пара distribution свичей может покрывать одно здание. А для одного из крупнейших небоскребов – бизнес центров была выделена даже отдельная пара PE роутеров. Для сравнения, по рассказам, у Киевстар пара PE роутеров обеспечивает покрытие одной области. Хотя, конечно, IP сервисы – не самая большая часть бизнеса этого оператора, сравнение показательно.
P.S. Названия компаний, IP адреса, дескрипшены, MD5 хеши и прочая информация, которая может быть конфиденциальной, изменена. Все технологические нюансы, однако, сохранены в оригинале.