Идеальная PDU для ЦОД (часть 2), или размер имеет значение

В одной из наших прошлых публикаций мы сравнили три PDU. Статья привлекла внимание не только читателей, но и вендоров, которые впоследствии предоставили нам около десятка PDU разных брендов на тесты. Среди них были и удачные экземпляры, и не очень. Всем вендорам мы предоставили обратную связь, которая, надеемся, поможет им улучшить свой продукт.

При этом нам удалось выделить две тенденции:

• Среди предоставленных нам PDU не было дорогих и дешевых, стоимость всех примерно 100 000 рублей (или 1000 USD). За эти деньги можно купить как достойный продукт, так и весьма средний.
• Многие PDU, даже с хорошими характеристиками, имеют увеличенные габариты корпуса. Мы, в свою очередь, имея обратную связь от клиентов ЦОД, пришли к выводу, что именно габариты PDU это первый параметр, на который нужно смотреть при выборе PDU.

Глубина PDU – наиважнейший параметр при использовании PDU в коммерческом ЦОД.

В коммерческих ЦОД для эффективного использования пространства применяются стойки шириной 600 мм. PDU в таких стойках располагаются боком к оборудованию на направляющих под названием ZERO-Unit, которых в стойке 2 штуки, по одной с каждой стороны. В более широких стойках (750 и 800 мм) PDU можно размещать и по-другому, розетками к пользователю, но такие стойки применяются редко, чаще всего для пассивных СКС, где PDU не нужны.

При этом все чаще современное серверное оборудование для своего размещения требует максимально раздвигать направляющие стойки. В итоге задние направляющие упираются в ZERO-Unit. В случае с глубокой PDU у вас просто не будет доступа к крепежу и даже к части портов оборудования. В результате не только установка сервера, но и замена его блока питания может стать сложной задачей, а иногда просто невыполнимой.

Даже указанная в качестве эталона в предыдущей статье PDU APC, имеющая относительно небольшую глубину 44 мм, немного перекрывает зону крепежа с максимально прижатыми к ZERO-Unit направляющими, особенно в зоне автоматических выключателей. Впрочем, если отодвинуть направляющую на несколько сантиметров от PDU, то проблем с монтажом уже не будет. А вот более глубокие PDU в разы усложняют жизнь инженерам, иногда делая невозможным использование части юнитов в стойке.

Фото 1 и 2. PDU глубиной 44 мм в стойке с максимально придвинутыми направляющими (фото с тыльной и фасадной сторон стойки).

Примечание. На этих и последующих фото указан размер, равный глубине PDU плюс расстояние от ZERO-Unit до стенки стойки.

По фото хорошо видно, что даже PDU глубиной 44 мм уже немного перекрывает зону крепления оборудования на вертикальных направляющих.

Стоит учесть, что фото сделано без кабелей питания, вставленных в PDU, которые также усложняют монтаж.

Это же касается и зоны размещения автоматических выключателей BANKs или «банок» PDU. На некоторых PDU они практически не выпирают (та же APC), а на некоторых, выпирая еще сильнее, ограничивают доступ к оборудованию, особенно если применяются недорогие бытовые автоматы (а такое тоже случается).

На следующих фото видно, что не только PDU за счет своей глубины перекрывает доступ к крепежу, но и массивный блок выключателей еще больше усугубляет ситуацию.

Фото 3, 4, 5. PDU глубиной более 44 мм (с тыльной и фасадной сторон стойки).

На расположение PDU также влияет конструктив стойки: если он неудачный и ZERO-Unit не утоплен в корпус стойки, то даже неглубокая PDU будет выпирать и мешать. Соответственно, если вам не повезло со стойкой, то даже неглубокая PDU перекроет крепеж и доступ к оборудованию.

Фото 6. PDU глубиной 44 мм, в стойке с неутопленным ZERO-Unit и с выпирающим «бытовым» выключателем.

Иногда в стойку требуется установить четыре PDU по два с обеих сторон, например для увеличения мощности или количества розеток. Размеры ZERO-Unit фиксированы, и в них должно помещаться 2 PDU. Соответственно, ширина PDU должна быть не более 56 мм.

Также стоит обратить внимание на глубину стойки. Ранее стандартным размером для ЦОД были стойки глубиной 1070 мм. В таких стойках при размещении двух PDU в одном ZERO-Unit часто можно наблюдать «конфликт» PDU и салазок оборудования.

Фото 7 и 8. Свободный ZERO-Unit и два PDU в ZERO-Unit в стойке 1200 мм.

Фото 9 и 10. Два PDU в ZERO-Unit в стойке глубиной 1070 мм.

В современных проектах ЦОДов чаще всего применяются стойки глубиной 1200 мм, где такая печальная картина встречается реже. Мы рекомендуем использовать только такие стойки, с утопленными ZERO-Unit.

Сразу скажем – на наш взгляд, в большинстве случаев она не нужна.

Минусы:

• увеличивает размеры (а это, как вы поняли, очень важно);
• увеличивает стоимость;
• часто вызывают опасение качество и номинал применяемых реле, особенно у недорогих брендов; имеет смысл брать только именитые бренды, а это опять же стоимость;
• возрастает риск аварийного отключения (неисправность реле, глюк автоматики, отключение из веб-интерфейса, в том числе при перезагрузке и обновлении ПО);
• возрастает риск человеческой ошибки, так как нет визуального контроля правильности подключения; посылающий команду на отключение полагается только на документацию.

Плюсы:

• чаще всего управление сопровождается функцией мониторинга тока по каждой розетке, что может быть полезно, если к PDU подключены разные клиенты (так называемые Partly sold или Shared стойки), но в стойках, целиком выделенных одному клиенту, эта функция не является важной;
• возможность удаленно сделать перезапуск устройства «по питанию», в случае если до него не удается «достучаться» иными способами. В коммерческом ЦОД это также не является сильным плюсом, так как в нем всегда есть (должен быть) дежурный инженер, который выполнит в рамках услуги Remote Hands отключение и включение кабеля питания, при этом визуально проверив, что отключает именно нужный вам девайс (Double Check).

А вот в местах, где нет постоянного персонала, применять PDU с управлением скорее всего логично, с условием принятия описанных выше минусов и тщательным ведением документации по подключениям потребителей к каждой из розеток PDU.

Последовательное подключение («каскадирование»)

Иногда для экономии портов маршрутизаторов и витой пары PDU подключают «гирляндами» – первый master PDU включен в Ethernet сеть, а далее к нему «шлейфом» подключаются несколько slave PDU.
Мы категорически не рекомендуем использовать такой способ подключения, так как при отключении master PDU или возникновении проблем на линии связи вы теряете связь со всей slave цепочкой. 

Дополнительно этот способ подключения многократно усложняет идентификацию PDU в системе мониторинга.

Фото 11. Последовательное подключение PDU

Рекомендуем присваивать каждой PDU собственный IP-адрес и подключать ее отдельным кабелем к коммутатору. Стоимость порта и кабеля сейчас минимальны, а удобства такое решение обеспечивает много.

Дополнительные датчики, подключаемые к PDU

Чаще всего речь идет о датчиках протечек, температуры и открытия двери стойки. На наш взгляд, это актуально для очень маленьких серверных или узлов связи, где нет отдельной системы мониторинга климата, а в ЦОД, в котором размещено более десяти стоек, чаще всего применяются отдельные контроллеры с требуемыми датчиками для контроля климата и протечек, и данная опция PDU не используется.

Цвет

Отличная идея делить инфраструктуру ввода А и ввода Б по цветам. Но фактически очень трудно найти хорошую реализацию этой идеи по следующим причинам:

• необходимо всегда хранить на складе PDU двух цветов, вместо одного черного;
• если у вас дробная система резервирования (3/2)N или (4/3)N, то лучей питания больше и цветов надо больше;
• разъемы PDU всегда либо красные (3 фазы), либо синие (1фаза), следовательно, эти цвета для PDU использовать нежелательно во избежание путаницы, а чаще всего они и используются;
• очень сложно поддерживать цветовую гамму на всей протяженности линии электроснабжения (кабели, шинопроводы, щиты, ИБП, ячейки), а именно этого как раз и хотят добиться при внедрении цветовой маркировки вводов питания, где цвет PDU только часть всей цепочки.

В итоге кажущаяся в начале простой задача на практике вытекает в сложный квест, который мало кому удавалось решить даже на этапе запуска объекта. Тем более сложно поддерживать логику цветовой гаммы узлов в процессе эксплуатации.

Если вы верите в свои силы, то эта опция для вас.

Универсальные розетки С13 и С19

Некоторые модели PDU имеют универсальные розетки C13 и С19. Опция интересная, безвредная и, возможно, будет кому-то полезна. Попавшие к нам модели PDU с такой опцией не удовлетворили требованиям к габаритным размерам, поэтому у нас нет опыта их использования и обратной связи от клиентов.

Фото 12. Универсальные розетки C13 и С19

По нашему мнению, оптимальные параметры PDU – это:

• глубина не более 44 мм,
• ширина не более 56 мм (в зоне автоматического выключателя допускается разумное увеличение размера),
• количество розеток с13 не менее 36,
• количество розеток с19 не менее 6,
• универсальность розеток – неважно,
• дополнительные опции – неважно,
• без управления (даже если предложат бесплатно),
• 32 А (наиболее частый и удачный номинал, подходящий для большинства случаев), 1ф или 3ф в зависимости от мощности, кабель 6 кв. мм (3 или 5 жил соответственно),
• с мониторингом основных параметров,
• с мониторингом токов каждой банки (для контроля парных нагрузок),
• с мониторингом положения автоматов каждой банки или наличия напряжения на банках (для контроля их отключения),
• блок управления съемный «на горячую», даже при наличии доступа только с фасада PDU,
• остальные параметры (качество корпуса, экрана, софта, логичность маркировки и переменных мониторинга) надо смотреть визуально у успешных кандидатов, так как на бумаге формализовать требования к ним сложно.

Возникает логичный вопрос – а, может, сделать PDU на заказ «под себя»?

Многие российские производители (те, кто на самом деле производят) готовы произвести любую конфигурацию по ТЗ от клиента. А клиент иногда пишет в ТЗ очень много спорных вещей, не принятых на рынке по объективным причинам, и производителю, чтобы не потерять клиента, приходится изобретать велосипед.
Возможно, индивидуальный заказ имеет смысл, если у вас какая-то уникальная ситуация, но для большинства случаев на рынке есть готовые решения, использовав которые, вы сэкономите время и нервы. 

Сценарии применения оборудования и PDU в ЦОД уже давно общеизвестны, и на рынке имеются качественные решения, вобравшие в себя многолетний опыт мировой индустрии, продуманные и проверенные. 

Желаем вам удачного выбора PDU, который позволит избежать подобных ситуаций.

P.S. Авторы благодарят Александра Ш. за обратную связь со стороны клиента как непосредственного пользователя PDU.