На старте проекта часто принимается решение подключать ЦОД к городским сетям электроснабжения (ЭС) по второй или даже первой категории надежности ЭС, что не требуется для обеспечения отказоустойчивости ЦОД, но может привести к увеличению сроков и стоимости проекта.
Uptime Institute (UI) в статье о мифах вокруг системы сертификации Tier четко разъясняет, что: «Согласно стандарту Tier Standard: Topology, единственным надежным источником электропитания для ЦОД является генераторная установка. Это связано с тем, что электроснабжение подвержено незапланированному отключению даже в местах с надежными электросетями. Число внешних фидеров, подстанций и электросетей, к которым подключен ЦОД, не определяет его уровень Tier и никак не влияет на него»*.
Из текста, приведенного выше, следует, что ЦОД вообще может быть не подключен к внешней городской сети, а полностью получать электроснабжение от ДГУ, находящихся в зоне ответственности ЦОД. На практике, конечно же, никто не проектирует ЦОД без внешнего (основного) источника электроснабжения, которым чаще всего является городская сеть. Вот что об этом говорит UI в той же статье: «Стандарт Tier не требует, чтобы генераторная установка работала постоянно. Как правило, большую часть времени ЦОДы используют централизованное электроснабжение по экономическим или нормативным причинам»*.
Из разъяснений UI следует, что для ЦОД любого уровня достаточно подключения даже по третьей категории надежности ЭС, то есть к одному источнику электроснабжения.
К этому выводу можно было прийти и без UI, просто внимательно прочитав определения категорий электроснабжения, приведенные в Правилах устройства электроустановок (ПУЭ).
ПУЭ п.1.2.19: «Электроприемники первой категории в нормальных режимах должны обеспечиваться электроэнергией от двух независимых взаимно резервирующих источников питания, и перерыв их электроснабжения при нарушении электроснабжения от одного из источников питания может быть допущен лишь на время автоматического восстановления питания».
ПУЭ п.1.2.20: «Электроприемники второй категории в нормальных режимах должны обеспечиваться электроэнергией от двух независимых взаимно резервирующих источников питания. Для электроприемников второй категории при нарушении электроснабжения от одного из источников питания допустимы перерывы электроснабжения на время, необходимое для включения резервного питания действиями дежурного персонала или выездной оперативной бригады».
В приведенных пунктах из ПУЭ отметим важное:
В результате мы имеем:
Проектировщикам следует объяснять эти риски заказчику и со своей стороны запроектировать для ЦОД надежный комплекс ДГУ с резервом не менее N+1. Это рекомендовано и в процитированной выше статье UI: «В то же время генератор должен быть правильно подобран и сконфигурирован таким образом, чтобы питать критическую нагрузку без ограничений по времени работы. Поэтому необходимо уделять особое внимание номинальной мощности генераторной установки и распределению этой мощности»*.
В результате данного подхода именно совокупность третьей категории ЭС от города, третьей категории от ДГУ, автоматики переключения ГРЩ и ИБП (с АКБ) обеспечит требуемую первую особую категорию электроснабжения ИТ-нагрузки ЦОД, как это описано в п.1.2.19 ПУЭ: «Для электроснабжения особой группы электроприемников первой категории должно предусматриваться дополнительное питание от третьего независимого взаимно резервирующего источника питания. В качестве третьего независимого источника питания для особой группы электроприемников и в качестве второго независимого источника питания для остальных электроприемников первой категории могут быть использованы местные электростанции, электростанции энергосистем (в частности, шины генераторного напряжения), предназначенные для этих целей агрегаты бесперебойного питания, аккумуляторные батареи и т.п.».
*Перевод дан по https://dcforum.ru/news/sistema‑klassifikatsii‑tier‑mify‑i-zabluzhdeniya
К сожалению, не все проектировщики помнят, что на этапе ввода в эксплуатацию в ЦОД вообще может не быть оборудования клиентов или его может быть минимальное количество. Условный ЦОД на 1 МВт ИТ-нагрузки может быть изначально заполнен на 100 кВт (а иногда и меньше) и далее заполняться по мере успешной работы отдела продаж. Чтобы ЦОД мог работать в таком режиме, на стадии проектирования необходимо подобрать номиналы инженерного оборудования и разработать план по его поэтапному введению в работу синхронно с ростом ИТ-нагрузки ЦОД, ведь многие источники энергии или холода для оптимальной работы требуют определенного уровня минимальной нагрузки, которого у вас может не быть в момент запуска ЦОД. Также не редкость «неожиданная» ситуация, когда пустую серверную комнату надо дополнительно отапливать зимой, потому что проектировщик надеялся на тепло, излучаемое ИТ-стойками, которые еще не установили.
Схожая проблема актуальна и при расчете громкости системы оповещения при пожаре, которая должна обеспечивать громкость звукового оповещения на определенное количество децибел выше нормального уровня звука в помещении. Понятно, что на момент запуска ЦОД шум от серверов в полупустой серверной ниже, чем в заполненной. Да и итоговый уровень шума предсказать невозможно хотя бы потому, что заранее неизвестно, какое оборудование установит клиент. Решение этой проблемы лежит на поверхности – в серверной следует применять стробоскопические пожарные извещатели.
Проектировщику часто необходимо уложиться в ожидаемые заказчиком сроки окупаемости проекта. Часто эта цель достигается за счет снижения PUE (Power usage effectiveness). Следует понимать, что PUE действительно можно снизить до определенной величины удачными техническими решениями, например путем утилизации тепла от серверов с использованием его для обогрева технических помещений или применения более современного оборудования. Но кардинально снижать PUE нежелательно и даже опасно, так как это зачастую происходит за счет:
По аналогии с предыдущим пунктом, для достижения целевых показателей проекта проектировщики часто вынуждены увеличивать число стоек и в результате проектировать излишне длинные холодные коридоры, вдобавок имеющие только один выход (вторая сторона коридора упирается в стену серверной комнаты). Обычно для оправдания такого решения применяется аргумент «по пожарным нормам это допустимо».
Проблема в том, что даже если такое решение допустимо по пожарным нормам, оно абсолютно недопустимо с точки зрения удобства работы в ЦОД сотрудников клиентов, которые во время работы в серверной вынуждены часто перемещаться между фасадной и тыльной частями ИТ-стойки. Если коридор состоит из более чем 15 стоек, а обслуживаемая стойка расположена в середине (то есть является седьмой или восьмой по счету), это уже очень неудобно. Еще более неудобно, если стойка расположена в конце коридора с одним выходом, при этом, если кто-то работает с сервером в первой стойке, ваша стойка будет вообще недоступна.
По нашему опыту, оптимальное количество стоек в одном ряду холодного коридора – от 12 до 15, а выходов всегда должно быть два. Отступление от данного принципа допустимо разве что в контейнерных ЦОДах и ЦОДах в нестандартных помещениях, если основная задача – разместить максимальное количество стоек в ограниченном пространстве.
Второй частой ошибкой является применение холодных коридоров с так называемыми «падающими» крышами. Вот пример таких крыш:
История ЦОДостроения умалчивает, кто именно и когда решил, что если крыши коридоров откроются («упадут») перед запуском газового тушения, это очень сильно поможет газу потушить пожар.
Трое опрошенных нами проектировщиков систем газового тушения утверждали, что падающие крыши не являются необходимым условием для успешного тушения любым из применяемых на рынке газов. Для проникновения газа в холодные коридоры с закрытыми крышами через решетки фальшпола и серверные стойки достаточно обеспечения его расчетной концентрации в серверной.
Производители холодных коридоров с опцией падающих крыш при обосновании данного решения ссылаются на «заказчика». Узнать мотивацию подобных заказчиков нам не удалось, но в кулуарах индустрии ЦОД ходят легенды про демонического пожарного инспектора, который внепланово посещает ЦОДы и требует установить падающие крыши, игнорируя при этом и проект, и мнения экспертов, и логику, которая подсказывает, что если падающие крыши и их автоматика на самом деле так важны для успешного тушения, то они должны быть как минимум сертифицированы как часть пожарной системы и системы ОКЛ (огнестойкие кабельные линии). Этого, естественно, не происходит и не планируется.
Нам не довелось лично встретиться с этим инспектором (разве что в кошмарных снах), но зато мы встречали людей, которым по голове ударяли случайно открывшиеся крыши таких холодных коридоров. Но если вы все-таки боитесь такой встречи, а ходить по серверной в строительной каске не желаете, предлагаем вам рассмотреть вариант заведения насадок (распылителей) системы газового пожаротушения прямо в холодный коридор. Это поможет снять все возможные претензии проверяющих органов. Для тушения этого на самом деле не требуется, но хотя бы не навредит и никого не покалечит.
Давным-давно, находясь в туре по европейским ЦОДам и посещая десятый за неделю голландский ЦОД, мы с коллегой внезапно поняли две простые вещи:
Вспомнив конфигурацию входной зоны ресепшн ЦОД Linx Datacenter в Санкт-Петербурге, мы сразу выявили инородный элемент – полуростовой турникет, отделяющий зону ресепшн от улицы (в нашем случае это был тамбур, аналог КПП).
Вот так выглядел ресепшн раньше:
Для доступа к переговорной, расположенной в зоне ресепшн, требовались заявки на доступ и регистрация на планшете, поэтому посетители и клиенты были вынуждены толпиться в тесном предбаннике в ожидании оформления пропуска.
Все это было очень неудобно как для клиентов, так и для сотрудников ЦОД, и после возвращения мы незамедлительно демонтировали этот турникет и поменяли политики безопасности для входной зоны. Вот так ресепшн стал выглядеть после:
Теперь зона ресепшн является открытым пространством с переговорной, кухней, туалетом, зоной ожидания и даже кикером, где неавторизованный посетитель может принять участие во встрече или в комфортной обстановке подождать, пока найдут его заявку на доступ (а заявки на доступ имеют свойство устаревать или приходить с опозданием 😊).
Как и было написано в начале статьи, приведены только те ошибки, с которыми сталкивалась наша команда при работе с разными проектировщиками и анализе различных проектов. Чаще всего подобные ошибки случаются, когда к проектированию не привлекается в качестве консультантов опытная служба эксплуатации или же существующая служба эксплуатации не считает важным для себя (или не имеет возможности) влиять на проект.
Если у вас есть свои примеры типовых ошибок проектировщиков – пишите про них в комментариях, обсудим, а в следующей статье мы попробуем описать ТОП-5 ошибок службы эксплуатации ЦОД.
Закажите консультацию специалиста
