Часть 3 Локальная сеть в ЦОДе

*В статье термин «ЦОД» и «Провайдер» взаимозаменяемы

Говоря о сетевой инфраструктуре ЦОДа мы должны понимать, что речь идет об облачных технологиях. Облака бывают приватными (private cloud) и публичными (public cloud). Приватные облака это своего рода виртуальные ЦОДы в рамках которых, арендующие их компании (юр. лица) живут в соответствии со своими потребностями. С технической стороны публичные облака ничем не отличаются от приватных, разница в способе предоставления услуг и степени задействования инженерного ресурса провайдера. Когда говорят про public cloud, то чаще всего подразумевают такие сервисы как SaaS (Software as a Service), PaaS (Platform as a Service), IaaS (Infrastructure as a Service).

Что такое IaaS, PaaS, SaaS?

• IaaS — Infrastructure as a Service — инфраструктура как услуга, например, виртуальные серверы и виртуальная сеть; клиент может устанавливать любое программное обеспечение и приложения.

В рамках виртуальной инфраструктуры клиент получает в распоряжение изолированную сетевую среду (VRF, VDC, VDOM и др.) и вычислительные ресурсы (vCPU, vRAM, LUN на СХД). Тут все очень гибко и зависит от потребностей потенциальных клиентов. В данном случае задействованы кабельные линии связи самого ЦОД. Клиент получает «голую» виртуальную абстракцию уровня ЦОД. Дальше клиент самостоятельно администрирует и производит мониторинг инфраструктуры, взаимодействуя с менеджментом провайдера по вопросам подачи WAN услуг и с техподдержкой в части метрик, находящихся в зоне ответственности провайдера.  

• PaaS — Platform as a Service — платформа как услуга, например, веб-сервер или база данных; клиент управляет приложениями, операционной системой управляет провайдер;

В случае если у вас есть сайт/web-приложение/сервис, но нет желания управлять операционной системой и ее модулями, обновлениями, политиками безопасности, то вы можете арендовать услугу PaaS. К примеру: стало не хватать дискового пространства или скорость транзакций к БД не утраивает, добавляете новый функционал, требующий наличия в ОС определенных модулей – кликаем в личном кабинете и «за сценой» происходит волшебство, а именно модули автоматизации (в идеале), а в реальности возможно и сисадмины провайдера начинают приводить ОС в соответствие с потребностями клиента.

• SaaS — Software as a Service — программное обеспечение как услуга, например, электронная почта или иное офисное приложение; клиент пользуется приложением, базовыми настройками приложения управляет провайдер.

Ну если клиент полностью сосредоточен на целевых бизнес процессах и не готов отвлекаться на обеспечительные процессы как-то закупка программного обеспечения, настройка, администрирование и тд. и тп., то в таком случае SaaS лучшее решение.

Примером публичных облаков являются всем известные AWS, Microsoft Azure, Google Cloud.

Для чего нам эта информация? Для того, чтобы понять какие требования предъявляются к сетевой инфраструктуре уровня ЦОД.  Требования в свою очередь определяют архитектуру и используемые технологии.

В чем основное отличие функций сети в Enterprise и Data Center? Основное отличие в том, что в первом случае функции определяются потребностями одной компании, а во втором инфраструктура делится между множеством клиентов у которых потребности и цели могут отличаться. Тут без виртуализации не обойтись. Технологии Data Center это виртуализация вычислительных ресурсов таким образом, чтобы в конкретный момент времени каждый конкретный клиент (потребитель) получал оговоренный объём ресурса в рамках оговоренных SLA. В ЦОДе к примеру, один физический коммутатор может представлять из себя N-е количество виртуальных со своим Control и Data plane. Я уже не говорю про требования к отказоустойчивости каждого элемента инфраструктуры, скоростям интерфейсов, отсутствию задержек и минимизации переподписки (network oversubscription), а так же не допустимости простоя хотя бы одного линка.

Если говорить про отказоустойчивость, то нигде на пути трафика не должно быть единой точки отказа – как минимум двойное резервирование питания, четверное резервирование физических линий LAN и SAN, HA (high availability) кластеры коммутаторов, маршрутизаторов, SAN директоров. Задача одна – минимизировать до минимума риски даунтайма, так как все клиенты выставляют в договорах SLA (Service Level Agreement) К определенным инфраструктурам могут предъявляться и требования к резервированию на уровне ЦОДов, тоесть на случай уничтожения ЦОДа. Подобные риски компенсируются мерами прописанными в DRP (Disaster recovery planning) планах.

Сетевая архитектура современного ЦОД в общем виде может выглядеть примерно так:

А теперь про локальную сеть. На физическом уровне все те же витая и оптика. Витая в основном категории 5e/6/6a для локальных соединений и out-of-band менеджмента.

out-of-band managemen - управление (сетью) по дополнительному (вспомогательному) каналу, внешнее управление сетью. management; Вне полосы, внеполосный. В телекоммуникации, а сейчас и в компьютерных сетях означает передачу управляющей информации отдельно от передачи данных. В некоторых протоколах, например в FTP, для этого используется два параллельных TCP-соединения: одно для передачи данных, другое – для управляющей информации.

in-band management - внутреннее управление [сетью]. Управление сетью с одной из её рабочих станций; выражение применяется, например, для описания маршрутизаторов, конфигурирование которых производится по самой сети (ср. out-of-band management).

Оптика для подключения серверных ресурсов и СХД на базе FC SAN.  На канальном уровне в ЦОД преимущественно dual-homed коммутация в купе с технологиями vPC (Cisco), mlag (RFC) для того чтобы уйти от ограничений STP.

Если в сети используется vPC или mlag домен, то это не значит, что STP «вырезан» по определению, он есть на случай если без него никак и split brain сценарий.

Емкость межкоммутаторных линков рассчитывается таким образом, чтобы переподписка была минимальной. Между коммутационным ядром и уровнем распределения по обыкновению размещаются межсетевые экраны, отделяющие внешний мир от «святая святых». В роли пограничных экранов уровня ЦОД вы вероятнее всего повстречаете кого-нибудь из лидеров соответствующего магического квадранта Гартнера за 2020:

Уровень распределения (коммутаторы на границе с Интернет и WAN каналами) терминируют на себе пограничные маршрутизаторы, разруливающие WAN трафик и направляющие (обычно по средствам static routes) его к соответствующим подсетям (префиксам) в сторону межсетевых экранов для их дальнейшей обработки политиками. В предыдущей статье мы уже говорили о том какие протоколы используются на стыках ЦОД и ISP. Где-же EIGRP, OSPF спросите Вы?! А нет их! По крайней мере в роли underlay (транспорта), который обеспечивает ЦОД (провайдер). EIGRP или OSPF скорее могут гулять в overlay сети клиента, поверх underlay ЦОД. Тут все зависит от потребностей клиента. В качестве транспорта может выступать GRE/IPSEC поверх Internet или выделенные каналы Metro Ethernet.

Работа протоколов динамической маршрутизации в overlay это в большинстве случаев зона ответственности клиентов и их сетевых инженеров, определяемая потребностями Enterprise. Но это уже совсем другая история…