ЦОД для крупной IT-компании

ИМБА ИТ

IMBA-IT спроектировала, построила и запустила мощный и компактный

ЦОД в подвальном помещении исторического здания, в котором

заказчик объединил все свои вычислительные мощности, повысив

эффективность управления IT-инфраструктурой.

Компания: крупный IT-разработчик, специализирующийся на государственных

заказах.

Проблема: сеть географически распределенных ЦОДов, неудобная для администрирования и не отвечающая высоким стандартам компании.

Задача: запуск единого ЦОДа c возможностью моментального доступа штатных системных администраторов.

Решение: закрытый единым корпусом ЦОД на базе оборудования Huawei, состоящий из 6 серверных шкафов с энергопотреблением 23 кВт каждый; мощная система охлаждения с межстоечными кондиционерами,

распределяющими воздушные потоки внутри корпуса.

Экспертиза IMBA-IT: проектирование, подбор вендора, строительство, монтаж,

пусконаладочные работы.

Единый ЦОД: экономия ресурсов, снижение рисков

В 2019 году в IMBA-IT обратилась крупная IT-компания, работающая преимущественно с государственным заказом. На тот момент ее вычислительные мощности были рассредоточены по различным филиалам, в том числе находящимся в регионах, и внешним дата-центрам. Такая схема работы имела слабые места:

• Сложность с соблюдением единых стандартов, своевременным внедрением нового оборудования, актуальных версий ПО, сетевых схем и схем виртуализации, особенно на аутсорсинговых объектах.
• Децентрализация, влекущая за собой высокие затраты на администрирование.
• Высокие риски, связанные с хранением данных вне IT-контура компании.

Чтобы повысить эффективность работы, компания приняла решение сконцентрировать все производственные мощности в одном помещении, расположенном в центре Москвы.

В нем же находился офис, где работала IT-команда, в том числе системные администраторы. Таким образом, компания могла обеспечить постоянный доступ штатных специалистов к ЦОДу для плановых работ и решения внештатных ситуаций, сформировать единую службу безопасности и обслуживания, сэкономив в результате значительные человеческие ресурсы и снизив риски.

Решить задачу по запуску единого ЦОДа планировалось за три месяца.

Единый ЦОД: условия задачи

Заказчик поставил перед IMBA-IT задачу запустить модульный ЦОД, состоящий из шести серверных шкафов.

Для этого требовалось провести работы по проектированию, выпуску документации, закупке оборудования, его монтажу и сборке, а также пусконаладке системы.

В каждом серверном шкафу нужно было разместить серверы, систему хранения данных, сетевое и другое оборудование. В ЦОДе должны были находиться шесть кондиционеров, источник бесперебойного питания и два дополнительных шкафа с батарейными модулями. Для правильного распределения горячих и холодных потоков воздуха ЦОД требовалось закрыть единым корпусом.

Роман Соколов, руководитель проекта: «Заказчик хотел получить небольшой, но энергоёмкий ЦОД. Согласно поставленной задаче, энергопотребление каждого шкафа составляло 23 кВт – значительно выше, чем у обычного ЦОДа. При этом площадь, на которой требовалось разместить 6 шкафов, была всего 25 м2. Предполагалось, что каждая стойка будет потреблять около 20- 23 кВт электроэнергии, а т.к. это ИТ аппаратура, то практически такую же величину она у будет выделять, поэтому одной из ключевых проектных задач стал выбор системы кондиционирования. Мы спроектировали мощную систему кондиционирования с распределением воздушных потоков. Совместно с заказчиком было принято решение устанавливать межстоечные кондиционеры, обеспечивающие постоянную циркуляцию холодного воздуха внутри корпуса ЦОДа. Рассматривался и вариант организации кондиционирования из-под фальшпола. Однако от него отказались, так как он предполагал установку вентмашины непосредственно внутри ЦОДа, что сократило бы свободную

площадь и усложнило задачу размещения серверов».

В качестве ключевого вендора была выбрана компания Huawei. Главным аргументом в ее пользу стало оптимальное соотношение цены и качества оборудования. В Huawei были закуплены все основные элементы системы – стойки, шкафы для размещения серверов, системы кондиционирования, системы бесперебойного питания, системы мониторинга.

Впоследствии специалист Huawei консультировал IMBA-IT в процессе монтажа.

В качестве исходных данных для проектирования системы заказчик предоставил план БТИ. Однако впоследствии оказалось, что он не соответствовал реальной планировке – для проектирования потребовалось делать дополнительные обмеры помещения и строить на их основе реалистичный план здания.

Проектная команда

В постоянном режиме над проектом со стороны IMBA-IT работало 5 человек.

Руководителем проекта выступил Роман Cоколов. Его главной задачей была коммуникация с заказчиком, координация работы со службами клиента – IT-специалистами и администрацией здания, принятие решений по всем ключевым техническим, технологическим и организационным вопросам проекта. Три инженера были заняты на задачах проектирования. Один специалист отвечал за строительный контроль и был представителем IMBA на площадке. Позже, на этапе строительства, к команде присоединилась бригада монтажников, состоящая из 10 человек. Проектирование велось в среде AutoCAD.

Роман Соколов: «Использование более сложных и «тяжелых» инструментов, в том числе BIM-платформ, было в данном случае излишним, т.к. наш ЦОД размещался в одном помещении, да и в проекте было задействовано всего лишь несколько инженерных систем. Кроме того, мы решали хоть и сложную, но привычную задачу – на счету у нашей команды было уже более десятка ЦОДов».

Наличие в штате компании профессиональных инженеров-проектировщиков – одно из главных преимущество IMBA, проявившее себя на проекте ЦОДа.

Роман Соколов: «Собственными отделами проектирования обладают, как правило, лишь крупные интеграторы, предлагающие высокие цены на рынке. Мы же, имея эту значимую экспертизу, удерживаем демократичные цены».

Этап реализации: проблемы и решения

Здание, в котором разместился ЦОД, имеет статус объекта культурного наследия, что налагало ряд ограничений на сам проект, на способы и режим его монтажа. В частности, от команды IMBA требовалось сохранить целостность фасада при монтаже систем кондиционирования, которые располагались с внешней стороны. В связи с этим было разработано техническое решение, не затрагивающее фасады здания, – внешняя система кондиционирования, занимающая площадь 4 м2, была установлена снаружи здания, на автостоянке.

Сам ЦОД предполагалось разместить в подвальном помещении. Оценив качество стен, местоположение ЦОДа относительно офисных пространств, предполагаемый уровень шума, проектировщики решили не использовать отдельных систем шумоподавления. В дальнейшем, когда ЦОД был спроектирован и запущен, это решение себя оправдало.

Проект, учитывающий все требования заказчика, был разработан специалистами IMBA за три недели. Команде удалось максимально плотно скомпоновать оборудование, оптимальным образом используя имеющуюся территорию.

Со стороны заказчика к проекту был ряд незначительных замечаний, связанных с увязкой инженерных коммуникаций, в частности инженерных систем, разрабатываемых IMBA, с системами фальшполов и пожаротушения. Функции технического надзора за всеми работами на проекте выполнял представитель заказчика, по его требованию распределительный электрический шкаф потребовалось перенести из-за коллизии с пожарными сетями.

Роман Соколов: «Корректировка проекта, связанная с увязкой систем, – это нормальный рабочий процесс. Наши проектировщики – профессионалы своего дела, мы умеем быстро искать альтернативные варианты конфигурации, адаптировать системы под новые требования и обстоятельства». Уже на этапе проекта команда IMBA обратила внимание на потенциальные сложности с электроснабжением.

Роман Соколов: «Мы сообщили заказчику, что в здании нет необходимых для выполнения ТЗ мощностей. Это позволило своевременно принять решение по дальнейшим действиям. В данном случае – не снижать запланированную мощность и подвести дополнительные силовые кабели в здание».

Строительство и монтаж

Главные особенности, с которыми столкнулась команда IMBA при монтаже ЦОДа, были связаны с охранным статусом объекта. Внешние инженерные сооружения ЦОДа размещались в непосредственной близости от жилой застройки. Их монтаж был осуществлен быстро и не вызвал недовольства у активных местных жителей.

Роман Соколов: «На таких проектах крайне важно выполнять работы аккуратно, бесшумно и в соответствии с действующими нормативами РФ, у нас это получилось».

Другой особенностью этапа монтажа стали стены исторического здания. Однако сюрпризы, с которыми столкнулась бригада, не повлияли критическим образом на общие сроки проекта – вынужденное отставание удавалось наверстывать на следующих этапах.

Роман Соколов: «Мы предполагали, что будем иметь дело с кирпичной кладкой,

характерной для зданий исторической застройки. Исходя из этого, мы рассчитывали сроки проекта и выбирали инструменты. На деле оказалось, что в начале 90-х здание реконструировалось, в том числе путем усиления стен. В результате для прокладки коммуникаций нам пришлось «проходить» через стену шириной три метра – «сэндвич» из бетона, кирпича, песка и деревянных досок. Потребовалось дополнительное оборудование и три лишних дня работы».

Отсутствие реалистичного плана БТИ усложнило прокладку трасс для связи компонентов внутреннего и внешнего блоков холодоснабжения.

Роман Соколов: «Найти нужную трассу заранее из комплекта чертежей иногда не представлялось возможным, поэтому наши специалисты проводили аудит скрытых стояков и проходов на месте. Мы импровизировали – вскрывали входы в стояки и визуально оценивали, пригодны ли они для прокладки коммуникаций, а потом так же аккуратно возвращали все на свои места».

В результате команда IMBA предложила заказчику три варианта трассировки, из которых совместно с заказчиком была выбрана оптимальная.

Результат проекта

ЦОД был запущен осенью 2021 года. Его выход на проектную мощность планируется к началу 2022 года. Проектирование и монтаж ЦОДа заняли около трех месяцев, как и требовал заказчик.

Руководитель IT-подразделения компании-заказчика: «Мы полностью решили поставленные задачи – выжали максимум из имеющейся площадки, уместили все, что хотели. ЦОД получился гармоничным – он прекрасно работает и хорошо выглядит. Мы приняли верное решение по системе кондиционирования, что показали первые месяцы работы ЦОДа. Также оправдал себя выбор Huawei в качестве вендора.

Мы смогли упорядочить нашу виртуальную инфраструктуру, четко разделить виртуальные сети под каждый сегмент разработчиков и подрядчиков. Вместо одного канала, который периодически падал, получили три канала, которые стабильно работают, – теперь оборудование находится в хороших климатических условиях и под постоянным надзором наших специалистов. Задачи, связанные с обслуживанием техники, нештатными ситуациями, решаются по щелчку пальца без выездов на территориально удаленные объекты.

А главное, запуск единого ЦОДа придал ускорение нашим планам по развитию IT-инфраструктуры. Нам не пришлось расширять штат системных администраторов, что, несомненно, пришлось бы сделать, работай мы по старой схеме. С новым ЦОДом весь объем задач, связанных с развитием наших систем, решают всего три штатных сотрудника».