5 September 2019

Исследование Устойчивости Национальных Сегментов Интернета за 2019

Qrator Labs corporate blogDecentralized networksIT InfrastructureNetwork technologiesIPv6


Данное исследование объясняет, каким образом отказ одной автономной системы (AS) влияет на глобальную связность отдельного региона, особенно в том случае, когда речь идет о крупнейшем провайдере интернета (ISP) данной страны. Связность интернета на сетевом уровне обусловлена взаимодействием между автономными системами. По мере увеличения количества альтернативных маршрутов между AS возникает устойчивость к отказам и повышается стабильность интернета в данной стране. Однако некоторые пути становятся более важными, по сравнению с остальными, и наличие как можно большего числа альтернативных маршрутов в итоге является единственным способом обеспечить надежность системы (в смысле AS).

Глобальная связность любой AS, независимо от того, представляет ли она второстепенного поставщика интернета или международного гиганта с миллионами потребителей услуг, зависит от количества и качества его путей к Tier-1 провайдерам. Как правило, Tier-1 подразумевает международную компанию, предлагающую глобальную услугу IP-транзита и подключение к другим Tier-1 операторам. Тем не менее, внутри данного элитного клуба нет обязательства поддерживать такую связь. Только рынок может придать мотивацию таким компаниям безоговорочно соединяться друг с другом, обеспечивая высокое качество обслуживания. Достаточный ли это стимул? Мы ответим на этот вопрос ниже — в секции, посвященной связности IPv6.

Если провайдер интернета теряет связь хотя бы с одним из собственных Tier-1 соединений, он, вероятнее всего, окажется недоступен в некоторых частях Земли.

Измерение надежности интернета


Представьте, что AS испытывает значительную сетевую деградацию. Мы ищем ответ на следующий вопрос: «Какой процент AS в этом регионе может потерять связь с Tier-1 операторами, тем самым утратив глобальную доступность»?

Методология исследования
Зачем моделировать подобную ситуацию? Строго говоря, когда BGP и мир междоменной маршрутизации находились на стадии проектирования, создатели предположили, что каждая нетранзитная AS будет иметь по меньшей мере двух вышестоящих поставщиков (апстрим), чтобы гарантировать отказоустойчивость в случае, если один из них упадёт. Однако в реальности всё совсем иначе — более 45% ISP имеют только одно соединение с транзитным апстримом. Набор нетрадиционных отношений между транзитными интернет-провайдерами еще больше снижает общую надежность. Итак, падают ли транзитные ISP? Ответ — да, и это происходит довольно часто. Правильный вопрос в данном случае: «Когда конкретный интернет-провайдер испытает деградацию связности?». Если кому-то такие проблемы кажутся отдаленными, стоит вспомнить закон Мерфи: «Все, что может пойти не так, пойдет не так».

Чтобы смоделировать подобный сценарий, мы применяем одну и ту же модель третий год подряд. В этом же году мы не просто повторили предыдущие вычисления — мы значительно расширили область исследования. Следующие шаги были пройдены для оценки надежности AS:
  • Для каждой AS в мире мы получаем все альтернативные пути к Tier-1 операторам с помощью модели отношений AS, служащей ядром продукта Qrator.Radar;
  • Используя базу геоданных IPIP, мы сопоставляли каждый IP-адрес каждой AS с соответствующей ему страной;
  • Для каждой AS мы подсчитали долю её адресного пространства, соответствующую выбранному региону. Это помогло отфильтровать ситуации, когда интернет-провайдер может присутствовать на точке обмена в определенной стране, но не имеет присутствия в регионе в целом. Иллюстративным примером является Гонконг, где сотни участников крупнейшей азиатской интернет-биржи HKIX обмениваются трафиком, имея нулевое присутствие в интернет-сегменте Гонконга;
  • Получив четкие результаты для AS в регионе, мы оцениваем влияние возможного отказа данной AS на другие AS и страны, в которых они представлены;
  • В конце концов, для каждой страны мы нашли конкретную AS, затрагивающую наибольший процент других AS в данном регионе. Иностранные AS не рассматриваются.

Надежность IPv4




Ниже вы можете увидеть топ 20 по надежности стран с точки зрения отказоустойчивости в случае сбоя единственной AS. На практике это означает, что в стране хорошая связность интернета, а процент отражает долю AS, которая потеряет глобальную связность в случае отказа крупнейшей AS.

Краткие факты:

  • США опустились на 11 позиций с 7 на 18 место;
  • Бангладеш вышел из топ 20;
  • Украина поднялась на 8 позиций на 4 место;
  • Австрия вылетела из топ 20;
  • Две страны возвращаются в топ 20: Италия и Люксембург после выхода в 2017 и 2018 годах соответственно.

Ежегодно в рейтинге устойчивости происходят интересные передвижения. В прошлом году мы писали, что общие показатели 20 ведущих стран не сильно изменились с 2017 года. Стоит отметить, что год за годом мы отмечаем положительную глобальную тенденцию к повышению надежности и общей доступности. Для иллюстрации данного тезиса мы сравним средние и медианные изменения за 4 года в общем рейтинге устойчивости IPv4 по всем 233 странам.


Количество стран, которым удалось снизить зависимость от единственной AS до менее 10% (что является признаком высокой отказоустойчивости) увеличилось на 5 по сравнению с прошлым годом, и по состоянию на сентябрь 2019 года достигло 35 национальных сегментов.

Таким образом, как наиболее значимую тенденцию, наблюдаемую за период нашего исследования, мы идентифицируем значительно повышение устойчивости сетей во всем мире, как в IPv4, так и в IPv6.

Отказоустойчивость IPv6


В течение нескольких лет мы повторяли, что ошибочное предположение о том, что IPv6 работает так же, как IPv4, является основной структурной проблемой процесса разработки и внедрения IPv6.

В прошлом году мы писали о пиринговых войнах, сохраняющихся не только в IPv6, но и в IPv4, где Cogent и Hurricane Electric не взаимодействуют друг с другом. В этом году мы были удивлены, обнаружив, что другая пара прошлогодних «соперников» — Deutsche Telekom и Verizon US успешно установили IPv6 пиринг в мае 2019 года. Вы вряд ли найдете упоминания об этом, однако данный шаг огромен — два крупных Tier-1 провайдера прекратили ссору и, наконец, установили пиринговое соединение с помощью протокола, которому мы все желаем гораздо более активного развития.

Для обеспечения полной связности и высочайшей надежности пути до Tier-1 операторов должны присутствовать постоянно. Мы также подсчитали процент AS в стране, которые имеют лишь частичную связность в IPv6 из-за пиринговых войн. Вот результаты:



Спустя год IPv4 остается значительно более надежным по сравнению с IPv6. Средние показатели надежности и стабильности IPv4 в 2019 году составляют 62,924%, и 54,53% для IPv6. В IPv6 все еще велика доля стран с плохой глобальной доступностью — то есть высоким процентом частичной связности.

По сравнению с прошлым годом, мы увидели значительно улучшение в трех крупных странах, особенно по параметру частичной связности. В прошлом году у Венесуэлы было 33%, у Китая 65% и у ОАЭ 25%. В то время как Венесуэла и Китай значительно улучшили собственные соединения, решая серьезные проблемы частично взаимосвязанных сетей, ОАЭ остались без положительной динамики в данной области.

Широкополосный доступ и PTR-записи


Повторяя вопрос, который мы задавали себе с прошлого года: «Правда ли, что ведущий провайдер в стране всегда влияет на региональную надежность больше, чем все остальные или какой-то другой?», мы разработали дополнительную метрику для дальнейшего изучения. Возможно, наиболее значительный (по клиентской базе) провайдер интернета в данной области не обязательно будет является той автономной системой, которая станет наиболее важна в вопросе обеспечения глобальной связности.

В прошлом году мы определили, что наиболее точный показатель фактической значимости провайдера может быть основан на анализе записей PTR. Как правило, они используются для обратного поиска DNS: с использованием IP-адреса можно идентифицировать связанное имя хоста или доменное имя.

Это означает, что PTR может позволить измерение конкретного оборудования в адресном пространстве отдельного оператора. Поскольку мы уже знаем самые большие AS для каждой страны в мире, мы могли бы посчитать записи PTR в сетях этих поставщиков, определив их долю среди всех PTR-записей региона. Стоит сразу же сделать заявление об отказе от ответственности: мы подсчитывали ТОЛЬКО записи PTR и не вычисляли соотношение IP-адресов без PTR-записей к IP-адресам с записями PTR.

Итак, далее мы говорим исключительно об IP-адресах с присутствующими записями PTR. Создавать их — не общее правило, поэтому некоторые провайдеры вписывают PTR, а другие нет.

Мы показали сколько из этих IP-адресов с указанными записями PTR отключится в случае отключения от/вместе с крупнейшей (по PTR) автономной системой в указанной стране. Цифра отражает процент от всех IP-адресов с поддержкой PTR в регионе.

Давайте сравним 20 самых надежных стран из рейтинга IPv4 в 2019 году с рейтингом PTR:



Очевидно, что подход, рассматривающий PTR-записи дает совершенно иные результаты. В большинстве случаев меняется не только центральная AS в регионе, но и полностью отличается процент неустойчивости для указанной AS. Во всех надежных, с точки зрения глобальной доступности, регионах количество IP-адресов с поддержкой PTR которые отключатся вследствие падения AS в десятки раз выше.

Это может означать, что ведущий национальный интернет-провайдер всегда владеет конечными пользователями. Таким образом, мы должны предположить, что этот процент представляет собой часть пользовательской и клиентской базы ISP, которая будет отключена (в случае, если невозможно переключение на альтернативного поставщика) в случае сбоя. С этой точки зрения страны уже не кажутся такими надежными как они выглядят с точки зрения транзита. Мы оставляем за читателем возможные выводы из сравнения топ 20 IPv4 со значениями рейтинга PTR.

Детализация изменений в отдельных странах


Как и обычно в данном разделе, мы начинаем с очень особенной позиции AS174 — Cogent. В прошлом году мы обозначили ее влияние на Европу, где AS174 определяется в качестве критической для 5 стран из топ 20 в рейтинге устойчивости IPv4. В этом году Cogent сохраняет присутствие в топ 20 по надежности, однако, с некоторыми изменениями — в частности, в Бельгии и в Испании AS174 была заменена в качестве наиболее критичной AS. В 2019 году для Бельгии ей стала AS6848 — Telenet, а для Испании — AS12430 — Vodafone.

Теперь, давайте внимательнее рассмотрим две страны с историческими хорошими показателями отказоустойчивости, совершившими наиболее значительные перемены за прошедший год: Украину и Соединенные Штаты Америки.

Во-первых, Украина резко улучшила собственные позиции в рейтинге IPv4. За подробностями мы обратились к Максу Тульеву, члену правления Украинской Интернет Ассоциации за подробностями о том, что произошло в его стране в течение прошедших 12 месяцев:
«Самым значительным изменением, которое мы видим в Украине, является падение стоимости транзита данных. Это позволяет большинству прибыльных интернет-компаний приобрести несколько вышестоящих соединений за пределами наших границ. Hurricane Electric особенно активен на рынке, предлагая «международный транзит» без прямого контракта, потому что они не удаляют префиксы с бирж — просто анонсируют клиентский конус на местных точках обмена трафиком».
Основная AS для Украины изменилась с AS1299 Telia на AS3255 UARNET. Г-н Тульев пояснил, что, будучи бывшей образовательной сетью, сейчас UARNET стала активным транзитом, особенно в Западной Украине.

Теперь перенесемся на другую часть Земли — в США.
Наш главный вопрос довольно прост — каковы детали падения устойчивости США на 11 позиций?

В 2018 году США заняли 7-е место рейтинга с 4,04% страны, потенциально теряющими глобальную доступность в случае сбоя AS209. Наш отчет за 2018 года дает некоторое представление о том, что изменилось в Соединенных Штатах год назад:
«Но крупная новость связана именно с тем, что произошло в Соединенных Штатах. В течение двух лет подряд — 2016 и 2017 — мы определяли AS174, Cogent, как решающего на этом рынке. Это уже не так — в 2018 году AS 209 CenturyLink заменила его, отправив Соединенные Штаты вверх на три позиции, до 7-го места в рейтинге IPv4.»
Результаты 2019 года показывают, что Соединенные Штаты занимают 18-е место с показателем устойчивости, упавшим до 6,83% — изменение более чем на 2,5%, чего обычно достаточно для выпадения из топ 20 рейтинга устойчивости IPv4.

Мы связались с основателем Hurricane Electric, Майком Лебером, чтобы получить его комментарий относительно данной ситуации:
«Это естественное изменение, так как глобальный Интернет продолжает расти. ИТ-инфраструктура в каждой стране растет и модернизируется для поддержки информационной экономики, которая постоянно меняется и развивается. Производительность повышает качество обслуживания клиентов и доходы. Локальность ИТ-инфраструктуры повышает производительность. Это макротехноэкономические силы».
Всегда интересно анализировать происходящее в крупнейшей экономике мира, тем более, когда мы наблюдаем такое значительное падение рейтинга надежности. Напомним — в прошлом году мы отметили замену AS174 Cogent на AS209 CenturyLink в Соединенных Штатах. В этом году CenturyLink уступил свою позицию в качестве критической AS страны другой автономной системе — AS3356, принадлежащей Level3. Это неудивительно, поскольку две компании фактически представляют одну организацию с момента поглощения 2017 года. Отныне связность CenturyLink полностью зависима от связности Level3. Можно сделать вывод, что общее снижение надежности связано с инцидентом, произошедшим в сети Level3/CenturyLink в конце 2018 года, когда 4 неидентифицированных сетевых пакета прервали работу Интернета на несколько часов, на значительной территории США. Данное событие определенно повлияло на способность CenturyLink/Level3 обеспечивать транзит крупнейшим игрокам в стране, некоторые из которых могли переключится на других транзитных провайдеров или просто диверсифицировали каналы связи и вышестоящие подключения. Тем не менее, несмотря на все вышесказанное, Level3 остается наиболее важным поставщиком связности для США, отключение которого может привести к отсутствию глобальной доступности для почти 7% локальных автономных систем, полагающихся на данный транзит.

Италия вернулась в топ 20 на 17-м месте с той же AS12874 Fastweb, что, вероятно, является результатом значительного улучшения качества и количества путей к этому провайдеру. Ведь вместе с ним в 2017 году Италия опустилась на 21-е место, покинув топ 20.

В 2019 году Сингапур, который вошел в топ 20 рейтинга только в прошлом году, но сразу же на 5-е место, снова получил новую критическую ASN. В прошлом году мы постарались объяснить изменения в регионах Юго-Восточной Азии. В этом году критическая для Сингапура AS сменилась с прошлогодней AS3758 SingNet на AS4657 Starnet. С этим изменением регион потерял всего одну позицию, опустившись на 6-е место рейтинга в 2019 году.

Китай совершил заметный скачок со 113-го места в 2018 году до 78 в 2019, с изменением порядка 5% в устойчивости IPv4 по нашей методологии. В IPv6 частичная подключенность Китая снизилась с 65,93% в прошлом году до чуть более чем 20% в этом. Основная ASN в IPv6 изменилась с AS9808 China Mobile в 2018 году на AS4134 в 2019. В IPv4 же AS4134, которой владеет China Telecom, была критической в течение многих лет.

В IPv6, при этом, китайский сегмент интернета опустился на 20 мест в рейтинге устойчивости 2019 года — с 10% в прошлом году до 23,5% в 2019 г.

Вероятно, все это свидетельствует лишь об одной простой вещи — China Telecom активно совершенствует свою инфраструктуру, оставаясь основной для Китая сетью связи с внешним Интернетом.

С ростом рисков кибербезопасности и, фактически, постоянным потоком новостей об атаках на интернет-инфраструктуру настало время всем правительствам, частным и государственным компаниям, но в первую очередь — рядовым пользователям внимательно оценить собственные позиции. Риски связанные со связностью регионов необходимо изучать тщательно и честно, анализируя истинные уровни надежности. Даже невысокие значения в рейтинге нестабильности могут вызвать настоящие проблемы с доступностью в случае массированной атаки на крупного, общенационального, поставщика критически важной службы, допустим, DNS. Не забывайте также, что внешний мир отключится от служб и данных расположенных внутри региона, в случае полной потери связности.

Наше исследование ясно показывает, что рынки интернет-провайдеров и операторов связи, основанные на конкуренции, в конечном итоге развиваются динамичнее, чтобы стать намного более стабильными и отказоустойчивыми в отношении рисков внутри и даже за пределами конкретного региона. Без конкурентного рынка отказ одной AS может и приведет к потере сетевого соединения у значительной части пользователей из страны или более обширного региона.
Tags:ipv4ipv6критическая asnнадежностьустойчивостьptrbgp
Hubs: Qrator Labs corporate blog Decentralized networks IT Infrastructure Network technologies IPv6
+60
13.3k 30
Comments 20