КРОК corporate blog
IT Infrastructure
Development of communication systems
June 2018 26

Беспроводная сеть на особо охраняемом и особо экранированном фармзаводе кое-где в России



Началось всё с того, что нас обыскали и переодели. Потом, на выходе из обследуемого помещения, раздели и помыли. Потому что мы могли обсыпаться одним из веществ, которые использует завод, а потом вынести его на коже. Или слизать друг с друга, я не знаю.

Вторым сюрпризом было то, что это же помещение и ещё ряд критичных «чистых зон» были обшиты шикарной плитой PARTECO. Это специальная плита со взрывозащитными и химзащитными свойствами. 4,5 сантиметра композитных материалов, из которых 20 (!) миллиметров — отлично экранирующий алюминий. Для сравнения: бронежилеты для защиты от пулемётов и снайперских винтовок начинаются с пластин толщиной 8 мм.

Через такую плиту из излучений может пробиться аэропортовский радар, но не Wi-Fi-сеть. Дверь такая же. Окон нет. Швов нет — предполагаются перепады давления.

В этих условиях мы были уже, кажется, шестыми, кто приходил на радиообследование. Предыдущие пять контрагентов (в том числе производители Wi-Fi-оборудования) клали свою самую мощную излучающую антенну на плиту, врубали максимум, делали замер в комнате, пожимали плечами и уходили.

Но мы очень упорные. И весьма коварные.

Про упорность


На радиообследовании выявлено три зоны: офис (плотное покрытие, интерференции), склад (про него дальше, там своя атмосфера) и производство. На производстве есть несколько помещений, которые обшиты вот этой волшебной «бронеплитой». На деле она нужна для предотвращения биологических и химических угроз.

Над почти всем производством есть технический этаж (что-то типа фальшпотолка), по которому можно ходить. Там размещается разное оборудование. Предполагалось, что мы разместим там свои точки доступа и будем направленным усилием воли пробивать плиту в эти закрытые помещения.

Естественно, те, кто пытался делать это до нас, использовали мощные антенны и нарывались на то, что:

  1. Даже мощная антенна своим сигналом не пробивает плиту.
  2. Ответное оборудование (слабое) уж точно не пробивает плиту, когда отправляет данные из комнаты.
  3. На техэтаже царит такая интерференция, что можно снимать документальный фильм «Кошмары связиста».

Как я говорил, мы очень коварные. Поэтому мы предложили просверлить плиту и смонтировать туда антенну в специальном герметике, «приближенном к боевому». Нам, понятное дело, сразу отказали. Но мы обратили внимание на вводы питающего кабеля, на монтаж датчиков пожарной сигнализации и на монтаж видеонаблюдения — там точно так же защищённые устройства и пуленепробиваемый герметик. После довольно долгих согласований нам пошли навстречу. Надо сказать, что мы делали для этого заказчика телефонию, локальную сеть и оснащали ЦОД, поэтому кредит доверия инженерам уже был.

Монтаж на производстве


Вот запотолочное пространство:



Да! Помимо распространения сигнала, были жёсткие требования к тому, что все металлизированные помещения регулярно чистятся. Человек приходит с мойкой и под давлением просто всё моет.

В общем, в этих самых суперпомещениях решили делать так:



Получилось вот так внутри помещения:



При монтаже точек важно было не нарушить герметизацию помещения, т. к. в лабораторных помещениях искусственно нагнетается давление, чтобы при открывании дверей воздух только выходил из помещений и внутрь не попадал загрязнённый воздух. Есть даже есть целый НФ-рассказ про этот эффект чистой зоны в ЦОДах, где по всей планете спаслись только админы. Так вот, у нас по тестам всё нормально. Фармацевты тоже спасутся.

Само устройство — на фото в начале поста.

На остальной части производства прошло без приключений. Были ещё особенные точки, где хранились взрывоопасные вещества. Там обособленное здание, где хранились опасные соединения. Предъявлялись требования к индустриальным точкам. Одна из них на картинке сверху.

Офис


В офисе всё относительно стандартно. Но плотность потребителей и тот факт, что у них много мобильных терминалов, заставили нас уделить особое внимание радиообследованию. В итоге мы смоделировали оптимальную плотность точек. Цисковские точки для офиса умеют отлично видеть друг друга и не мешать, плюс в них массив антенн, так что точка в итоге умеет направлять диаграмму направленности на потребителей.

Если бы повтыкали больше точек, была бы соканальная интерференция и снижение скоростей, сбои, реконнекты и прочие радости жизни. Меньше скорость.

Натыкали бы меньше точек, были бы непокрытые углы помещений.

Вот радиообследование:



А вот часть нагрузочного тестирования:



Склад


Склад на момент тестирования был пустой:



Но мы узнали, что они там собираются хранить, — и да, это готовая продукция. То есть таблетки. Сами по себе таблетки почти радиопрозрачны, но вот их блистеры — это фольга. То есть если вы посмотрите на картинку, то увидите не просто поглощатели сигнала, а самые настоящие безэховые камеры: они имеют похожую архитектуру. В них ещё тестируют радиотерминалы.

Поэтому наше решение — направленные антенны в проходах сверху.

Вот такие:





Приходилось нанимать высотников, вешать. Основные сложности были с монтажом, надо было альпинистов привлекать. Мы пробовали собирать туру, вешать точку, двигать и т. п. Это оказалось очень долго. Высотники-альпинисты делали быстро. Обслуживать тоже будут с их помощью, скорее всего, но по этим точкам очень хорошая статистика работы без отказа.

Итог


  • Точки: AP2802E — 286 шт., AP3802E — 16 шт., IW3702E — 6 шт.
  • Антенны: ANT2524V4C — 250 шт., ANT2524DW — 80 шт., ANT2566P4W — 32 шт., ANT2547VG-N — 24 шт.
  • Два контроллера Cisco WLC 5520 в отказоустойчивом кластере.
  • Система управления и мониторинга Cisco Prime Infrastructure.
  • Система предотвращения вторжений в БЛВС Cisco WIPS на базе Cisco MSE.



Зачем сеть? Офис — просто и понятно: мобильные устройства, почта. Склад — это учёт товара на поступление, терминалы сбора данных: регистрируют перемещения, приход и уход. Как только они перемещают вещество со склада на производство, сразу надо проконтролировать. Ушло со склада — сразу запись. Всё это через сеть, требует Wi-Fi. На производстве по нормативам всё фармоборудование должно иметь подключение к сети, чтобы передавать информацию о том, сколько таблеток и с каким составом сделано. Это требование регулятора.

С 2018 года в России вступит в действие постановление, обязывающее фармацевтов предоставлять потребителям всю информацию о медикаментах — подлинность, срок годности, место производства, данные компании, состав, конкретную серию препарата, уникальный код отдельной пачки. Узнать эти данные можно путём простого считывания штрих-кода, расположенного прямо на упаковке. Также, считав штрих-код, фармацевт может легко проверить, сколько препаратов в наличии в аптеке, сколько продано и пр.

Горизонтальная разводка сделана медью, всё это на кроссовую этажа, дальше звезда. Кабель от провайдера — оптика. Провайдера два. ЛВС проектировалась целиком, оборудование закупалось тоже сразу одной итерацией.

Сейчас всё это штатно эксплуатируется.

Оборудование


Циско — корпоративный стандарт заказчика, при возможности сверления плиты выбор уже не стоял, поэтому вся инфраструктура сразу на них.

В качестве беспроводных точек доступа используются три модели: Cisco Aironet 2802E, Cisco Aironet 3802E и Cisco Aironet IW3702-2E. Внешние антенны, оба диапазона:



Для мест повышенной концентрации пользователей используются Cisco Aironet 3802. Они IEEE 802.11a/b/g/n/ac (Wave 2), имеют MU-MIMO 4x4 с тремя пространственными потоками, поддерживают технологии MRC и Cisco ClientLink 4.0, имеют интегрированный анализатор спектра (технология CleanAir).

В местах установки точек доступа с агрессивной и взрывоопасной средой используются Cisco Aironet IW3702, обладающие классом защиты IP67 и диапазоном рабочих температур от -40°C до 70°C:


Внешний вид точки доступа Cisco Aironet IW3702

Подключение точек доступа к ЛВС производится по каналам 1000Base-TX через коммутаторы уровня доступа ЛВС. Питание точек доступа осуществляется данными коммутаторами по технологии питания через неэкранированную витую пару IEEE 802.3at (PoE+).

В качестве внешних антенн для точек доступа Cisco Aironet 2802E и 3802E используются всенаправленные AIR-ANT2524DW-R= или AIR-ANT2524V4C-R= и секторные AIR-ANT2566P4W-R=. В качестве внешних антенн для точек доступа Cisco Aironet IW3702-2E используются всенаправленные AIR-ANT2547VG-N. Все модели используемых точек доступа и антенн работают в диапазонах частот 2,4 и 5 ГГц.

Внешний вид антенны AIR-ANT2524V4C-R=:



Характеристики антенны AIR-ANT2524V4C-R=. Тип антенны: патч-антенна всенаправленная, коэффициент усиления антенны на 2,4 ГГц: 2 dBi, коэффициент усиления антенны на 5 ГГц: 4 dBi, ширина луча на 3dB в азимутальной плоскости для 2,4 и 5 ГГц: всенаправленный, ширина луча на 3dB в угломестной плоскости для 2,4 ГГц: 69°, ширина луча на 3dB в угломестной плоскости для 5 ГГц: 60°.

Внешний вид антенны AIR-ANT2566P4W-R=:



Характеристики антенны AIR-ANT2566P4W-R=. Патч-антенна направленная, коэффициент усиления антенны на 2,4 ГГц: 6 dBi, коэффициент усиления антенны на 5 ГГц: 6 dBi, ширина луча на 3dB в азимутальной плоскости для 2,4 ГГц: 105°, ширина луча на 3dB в азимутальной плоскости для 5 ГГц: 110°, ширина луча на 3dB в угломестной плоскости для 2,4 ГГц: 65°, ширина луча на 3dB в угломестной плоскости для 5 ГГц: 55°.

Диаграммы направленности антенны AIR-ANT2566P4W-R=:



Управление точками доступа выполняется кластером из двух контроллеров беспроводной сети Cisco Wireless LAN Controller 5520. Управление точками доступа — по открытому протоколу CAPWAP (RFC5415). Точкам доступа в такой архитектуре отводятся лишь функции подключения беспроводных клиентских устройств и шифрование передаваемых данных на канальном уровне.



Недостаток в том, что отказ контроллера приводит к выходу из строя всей беспроводной сети. По этой причине осуществляется резервирование контроллеров. Контроллеры объединены в отказоустойчивый кластер. В случае отказа основного контроллера точки доступа переходят под управление резервного контроллера без разрыва сессии пользователей.

На основном контроллере установлена лицензия на управление 300 точками доступа. В случае отказа основного контроллера данная лицензия активируется на резервном контроллере, что не требует покупки отдельных лицензий для резервного контроллера. С ростом беспроводной сети количество точек доступа, поддерживаемых кластером контроллеров, может быть расширено лицензиями до 1500.

Централизованное управление и мониторинг устройств БЛВС сделаны с помощью системы Prime Infrastructure, устанавливаемой на виртуальный сервер на базе VMware ESXi. Это для обнаружения и локализации неисправностей оборудования в сети, получения статистической информации о функционировании всей сети или отдельных её компонентов. Она же позволяет реконфигурировать сеть из одной консоли.

Ссылки

+85
55.3k 79
Comments 84
Top of the day