Создание гибридной отказоустойчивой ИТ-инфраструктуры для Пикабу

Пикабу — одна из ведущих российских онлайн-платформ для публикации пользовательского контента, общения и развлечений. На площадке зарегистрировано более 11 млн пользователей, а ежемесячный трафик составляет около 35–40 млн визитов. ИТ-инфраструктура Пикабу обрабатывает десятки тысяч запросов в секунду и обеспечивает работу сервисов с большим объемом пользовательского контента.

Особенность платформы — сочетание постоянно высокой нагрузки с резкими и зачастую непредсказуемыми всплесками интереса. Отдельная публикация может за короткое время стать вирусной и привлечь миллионы пользователей. В отличие от сезонных акций и распродаж, такие пики невозможно заранее спрогнозировать, поэтому инфраструктура должна быстро масштабироваться без постоянного содержания избыточных мощностей.

Развитие бизнеса и запуск новых направлений, включая игры, скидки и промокоды, дополнительно повысили требования к производительности и доступности систем.

• поддержка десятков тысяч запросов в секунду;
• быстрое масштабирование при непредсказуемых пиках трафика;
• обеспечение высокой доступности сервисов и сохранности пользовательских данных;
• резервирование критически важных систем и данных;
• локализация инфраструктуры в России;
• оптимизация затрат и отказ от избыточных капитальных вложений;
• возможность прямого взаимодействия с сетевыми инженерами и техническими специалистами ЦОД.

Исторически Пикабу использовал bare metal-серверы, которыми управляла внешняя команда. По мере роста платформы такой подход стал создавать сложности с производительностью и управляемостью. После инцидента, связанного с потерей пользовательских медиафайлов, компания начала консолидировать разнородную инфраструктуру, формировать собственную DevOps-команду и переходить к более однородной и контролируемой архитектуре.

Отдельной задачей стал полный перенос платформы из распределенной инфраструктуры в Германии в российский дата-центр. Миграцию требовалось провести с минимальным временем недоступности, несмотря на большой объем данных и ограниченную пропускную способность международных каналов.

Пикабу выбрал гибридную модель, сочетающую собственное частное облако и ресурсы публичного облака Linx Cloud. Основная инфраструктура была размещена в Linx Datacenter.

При выборе партнера ключевыми критериями стали:

• возможность разместить частную инфраструктуру и публичное облако на одной площадке;
• гибкая и производительная связность;
• высокая надежность дата-центра и каналов связи;
• возможность оперативно подключать дополнительные ресурсы;
• наличие прямого контакта с сетевыми инженерами и специалистами площадки;
• готовность провайдера участвовать в сложной миграции и решать нестандартные технические задачи.

Пикабу при поддержке Linx выполнил полную миграцию инфраструктуры из Германии в Россию. Перенос осложнялся неоднородностью исходной среды, включавшей частное облако, bare metal-серверы и виртуальные машины, а также ограничениями каналов между Европой и Россией.

В рамках подготовки часть данных заранее переносилась на оборудование в резервном ЦОДе, после чего загружалась на основную площадку по нескольким направлениям. Каналы связи и техническая поддержка Linx помогли синхронизировать работы и сократить период недоступности платформы. Несмотря на масштаб системы, миграция была выполнена с простоем около четырех часов.

Основную нагрузку принимает частное облако Пикабу, которым управляет собственная ИТ-команда. Оно построено на базе однородного вычислительного кластера и рассчитано на повседневную нагрузку, а также умеренные всплески активности. Аренда оборудования позволила избежать масштабных первоначальных инвестиций и перевести значительную часть расходов из CAPEX в OPEX.

В качестве основы виртуализации используется Proxmox. Рабочие нагрузки размещаются в виртуальных машинах с Docker Swarm и отдельных Docker-контейнерах. Ресурсоемкие сервисы разворачиваются обособленно. Кластер можно последовательно расширять по мере роста аудитории и объема данных.

Для обработки пиковых нагрузок подключено публичное облако Linx Cloud, расположенное рядом с частной инфраструктурой и связанное с ней внутри дата-центра. Когда количество запросов резко возрастает, часть нагрузки может быть передана в публичное облако. При этом Пикабу оплачивает дополнительные вычислительные мощности только в период их фактического использования.

Такой подход позволяет не держать постоянно дорогостоящий резерв серверов и одновременно сохранять готовность к внезапному росту трафика. Собственная DevOps-команда управляет базовой инфраструктурой, а Linx Cloud обеспечивает необходимую эластичность.

Для повышения отказоустойчивости организовано резервирование на нескольких уровнях. Критически важные данные реплицируются как внутри основного ЦОД, в независимое облако, так и на вторую площадку. Основной и резервный дата-центры связаны высокоскоростными каналами и темным волокном. Облачные ресурсы также используются для резервного копирования.

Реализация проекта позволила Пикабу:

• локализовать инфраструктуру платформы в России;
• перенести более 1 Пбайт данных с минимальным временем простоя;
• создать гибридную архитектуру, объединяющую частное и публичное облака;
• обеспечить устойчивую обработку десятков тысяч запросов в секунду;
• быстро подключать дополнительные мощности при вирусном росте трафика;
• повысить отказоустойчивость за счет репликации данных и резервной площадки;
• минимизировать риски потери данных и длительной недоступности сервисов;
• избежать постоянного содержания избыточных вычислительных ресурсов;
• перевести значительную часть инфраструктурных затрат из CAPEX в OPEX;
• сформировать масштабируемую основу для развития игр, промокодов и других новых продуктов.

Гибридная модель позволила Пикабу найти баланс между управляемостью, производительностью и стоимостью. Основные нагрузки обслуживаются эффективной частной инфраструктурой под контролем собственной команды, а Linx Cloud предоставляет ресурсы для пиковых периодов и резервного копирования.

Сотрудничество с Linx подтвердило значимость не только технологических возможностей дата-центра и облака, но и прямого взаимодействия с инженерной командой. Гибкая связность, поддержка при миграции и возможность оперативно решать вопросы на площадке помогли Пикабу создать надежную инфраструктуру для действующих сервисов и дальнейшего роста бизнеса.