Нагрузка и условия комфортной работы с кластерами Arenadata DB
Для комфортной работы с кластерами Arenadata DB мы рекомендуем придерживаться следующей архитектуры и следующей стратегии нагрузки на кластеры: Количество CPU На 5-10% больше, чем расчётное количество для пиковой нагрузки Количество оперативной памяти На 20% больше, чем расчётный объём для пиковой нагрузки Объём жёсткого диска На 10% больше, чем планируемый объём хранения данных Тип жёсткого диска […]
Важные ограничения
Подключения извне
Подключение к инстансу Внимание Для подключения извне необходим инстанс ADB с включенным внешним IP-адресом. Для подключения к инстансу ADB, воспользуйтесь инструкцией по подключению к инстансу базы данных. При использовании примеров следует заменить <HOST> на внешний IP-адрес инстанса. Дополнительную информацию можно найти в документации по используемому коннектору (коннектор — сущность, с помощью которой выполняется подключение к БД).
Подключения из внутренних сетей
Подключение к инстансу Для подключения к инстансу ADB, воспользуйтесь инструкцией по подключению к инстансу базы данных. Дополнительную информацию можно найти в документации по используемому коннектору (коннектор — сущность, с помощью которой выполняется подключение к БД).
Подключения к АДБ
Запуск, подключение и загрузка данных
Подключение к инстансу Для подключения к инстансу ADB, воспользуйтесь инструкцией по подключению к инстансу базы данных. Загрузка данных После того, как выбран коннектор для подключения к базе данных и установлено соединение, можно приступать к загрузке данных. Основным инструментом для загрузки данных в Greenplum и выгрузке данных из Greenplum является утилита gpfdist. Это http-сервер, с которым […]
Удаление кластера Arenadata DB
Для удаления кластера Arenadata DB нужно на списке инстансов аналитических баз данных выбрать нужный кластер и нажать кнопку «Удалить». Ту же операцию можно выполнить в контекстном меню инстанса:
Создание базы данных
Для создания базы данных следует перейти в раздел личного кабинета «Аналитические БД», выбрать версию лицензии «Arenadata DB» и нажать «Создать БД». На следующем шаге выберите необходимый тип кластера, версию инстанса ArenadataDB и конфигурацию инстанса. Конфигурация «Кластер» — это кластер с синхронной репликацией данных. Используется при наличии повышенных требований к надежности и отказоустойчивости системы. На следующих шагах […]
Быстрый старт работы с АДБ
Arenadata DB Community
Описание Arenadata DB (ADB) – распределенная СУБД, использующая концепцию MPP (massively parallel processing, массивно-параллельные вычисления) и основанная на СУБД с открытым исходным кодом – Greenplum. Аналитические массивно-параллельные СУБД предназначены для хранения и обработки больших объемов данных – от единиц до сотен терабайт данных. Такие СУБД чаще всего используются для предиктивной аналитики, регулярной отчетности, анализа оттока […]
Базы данных Linx Cloud
Общее описание аналитических БД
Аналитические БД
Создание БД и пользователя с Terraform для DBaaS
Перед началом с работы с Terraform убедитесь, что вы установили Terraform и создали файл main.tf с необходимыми провайдерами. Если у вас не создан инстанс базы данных, то следуйте инструкции и подготовьте файл database_instance.tf. Создание БД и пользователя Для безопасной работы с чувствительными данными, такими как пароль пользователя, можно воспользоваться переменными Terraform. Для этого объявите переменную c параметром sensitive = true. Для таких […]
Создание инстанса БД с Terraform для DBaaS
Перед началом с работы с Terraform убедитесь, что вы установили Terraform и создали файл main.tf с необходимыми провайдерами. Создание инстанса БД Создайте файл database_instance.tf в рабочей папке, где лежит main.tf. Для создания инстанса БД нам понадобятся следующие объекты: Переменные: variable «public-key-file» — переменная, в которой указывается путь к файлу ключевой пары. variable «db-instance-flavor» — переменная, флейвор (CPU, RAM, Disk) виртуальной машины для инстанса […]
Настройка провайдера Terraform для Linx Cloud и OpenStack
Мониторинг PostgreSQL
Вы можете осуществлять мониторинг состояния отдельных хостов PostgreSQL, пользуясь встроенным в панель Linx Cloud инструментом мониторинга. Этот инструмент доступен только если кластер PostgreSQL был создан с активной опцией «Включить мониторинг» и шаблоном конфигурации «Single» или «Master-Replica». Как воспользоваться мониторингом Чтобы посмотреть данные мониторинга: Откройте панель Linx Cloud. Перейдите в раздел «Базы данных→Инстансы баз данных». Найдите в списке нужный инстанс. […]
Point in Time Recovery (PITR)
Point-in-time-recovery (PITR) обеспечивает непрерывное резервное копирование данных таблицы PostgreSQL. Вы можете восстановить таблицу на определенный момент времени в процессе создания виртуальной машины или через интерфейс восстановления из резервной копии. В процессе восстановления на определенный момент времени сохраненная таблица восстанавливается в новую виртуальную машину. Важно Функция PITR доступна только для баз данных под управлением PostgreSQL. PITR […]
Восстановление из бэкапа
Чтобы восстановить инстанс из резервной копии: Нужно перейти в раздел «Базы данных» → «Бэкапы». Открыть требуемый план резервного копирования. Выбрать бэкап и открыть его контекстное меню. Нажать «Восстановить из бэкапа». Выбрать нужную конфигурацию инстанса баз данных: На следующем шаге нужно настроить параметры инстанса: На шаге 3 нужно указать необходимую резервную копию и нажать на кнопку […]
Создание и удаление бэкапов
Создание бэкапов Помимо автоматического резервного копирования в панели управления можно создавать резервные копии баз данных вручную. Для этого перейдите в раздел «Базы Данных» → «Инстансы баз данных». В меню инстанса выберите пункт «Создать бэкап». В открывшемся окне введите название резервной копии или оставьте поле заполненным по умолчанию: И кликните «Создать бэкап». Вы получите уведомление в […]
Создание, удаление и настройка плана резервного копирования
При создании базы данных в панели Linx Cloud создается план резервного копирования, которым можно управлять в разделе «Бэкапы» панели управления. Текущий статус плана можно увидеть при наведении мыши на цветной индикатор статуса. Настройка плана Перейдите в раздел «Базы данных» → «Бэкапы». Выберите нужный план и нажмите «Изменить». В появившемся окне можно настроить периодичность выполнения резервного копирования. […]
Инструкция по созданию реплицируемых и distributed таблиц в Clickhouse кластере
Описание В СУБД Clickhouse репликация данных настраивается на уровне таблиц, в отличие от традиционных, где это обычно уровень БД или даже инстанса. То есть для того, чтобы данные реплицировались на другие хосты в кластере, необходимо правильным образом создать таблицу. Архитектура Clickhouse подразумевает, что таблицы с одинаковым именем реплицируются между двумя репликами (то есть имеют одинаковые […]
Добавление
Сервис Linx DB позволяет добавить реплики к уже существующим Базам данных, созданным в конфигурации master-slave. На странице уже созданной Базы данных необходимо навести курсор на три точки (меню настройки). В выпадающем списке выбрать соответствующий пункт — «Создать реплику»: Обратите внимание Функция доступна только из раздела «Базы данных» В открывшемся окне необходимо указать характеристики и […]
Создание реплики
Репликация — одна из техник масштабирования баз данных. Состоит техника в том, что данные с одного сервера базы данных постоянно копируются (реплицируются) на один или несколько других. Появляется возможность использовать не один сервер для обработки запросов, а несколько. Таким образом, появляется возможность распределить нагрузку с одного сервера на несколько. В сервисе Linx Cloud есть возможность […]
Дополнительные модули PostgreSQL
Дополнения баз данных могут существенно расширить функциональность базы как сервиса. Например, добавить мониторинг, криптографию, дополнительные типы данных и многое другое. При установке расширения Postgres Extensions можно выбрать какие именно дополнения будут установлены. Пользовательские параметры database — имя баз данных, для которых будут установлено расширение. Удаление баз данных из этого списка для установленного расширения не поддерживается. extension_list — […]
Hint plan в PostgreSQL
Что такое pg_hint_plan? pg_hint_plan — управление планом выполнения запроса с помощью указаний, записываемых в комментариях особого вида. Подробнее о расширении (в том числе синтаксис, подзапросы, ошибки и т.д.) можно прочитать на официальной странице Postgres. Порядок установки установить расширение ( в этой статье приведён пример установки любого расширения ) установить параметр базы данных ( в этой статье написано, как […]
Zabbix агент
Zabbix — это ПО для мониторинга приложений, серверов и сетевых устройств. Для мониторинга инстансов кластера баз данных можно использовать систему мониторинга Zabbix. Этот раздел не включает в себя информацию о разворачивании сервера мониторинга Zabbix. Он содержит информацию о дополнительно устанавливаемых компонентах, которые расширяют возможности сервера и агентов мониторинга. Предполагается, что вы самостоятельно установите и настроите клиентскую […]
HOLISTIC.DEV2
Что такое HOLISTIC.DEV? HOLISTIC.DEV — расширение для анализа баз данных и инструмент для извлечения данных. Представление о структуре данных осуществлено на основе схемы базы данных и запросов DML. Эти знания позволяют нам автоматически контролировать согласованность отношений и предоставляют инструменты для автоматического поиска проблем. Расширение помогает сделать базу данных быстрее, организованней и более безопасной. Чем не является […]
Node Exporter
Описание Расширения увеличивают функциональность баз данных и могут быть установлены в любое время. Prometheus — центральный сервер, предназначенный для сбора и хранения данных. Данные постоянно изменяются во времени (например, уровень заполненности диска, трафик через сетевой интерфейс, время отклика сайта). Элементы данных называются метриками. Сервер Prometheus с заданной периодичностью считывает метрики и помещает полученные данные в […]
Расширение timescaledb для PostgreSQL
TimescaleDB — расширение PostgreSQL для работы с временными рядами, реализованными в виде гипертаблиц (create_hypertable). Больше информации об использовании расширения можно найти на странице документации расширения. Параметры, применимые в инфраструктуре Linx Cloud: Название Описание Пример database Указывает, на каких базах данных будет развернуто расширение. Удаление баз данных из этого списка для установленного расширения не поддерживается. —database=»timescale_DB»
Расширение Postgis для PostgreSQL
Дополнения БД могут существенно расширить функциональность базы как сервиса. Например, добавить мониторинг, географические объекты, криптографию. Установка расширений проводятся в личном кабинете Linx Cloud. Для этого перейдите в раздел «Базы данных» —> «Инстансы баз данных». Нажмите на базу данных, в которую необходимо установить расширения. Перейдите на вкладку «Расширения» и нажать на кнопку «Добавить». В открывшимся окне выберите […]
Расширение pgstatkcache для PostgreSQL
pg_stat_kcache — расширение, предоставляющее статистику о реальных чтениях и записях на уровне файловой системы Подробнее о расширении pg_stat_kcache вы можете из документации разработчика на GitHub. Параметры, применимые в инфраструктуре Linx Cloud: Название Описание database Перечень баз данных, на которых нужно развернуть расширение
Расширение pgpartman для PostgreSQL
pg_partman — менеджер для управления партициями по времени и автоувеличивающимся столбцам. Вместе с расширением создаётся схема partman на которую происходит установка, как рекомендуется разработчиками расширения. Pg_partman поддерживает два вида партицирования: на основе своих собственных триггеров и нативное — на основе функциональности, добавленной в Postgresql 11. Для нативного партицирования на Postgresql 11+ настроен пользователь partman, которому можно установить свой пароль. Для […]
Расширение pgbadger для PostgreSQL
pgBadber — программа для анализа логов PostgreSQL для выявления потенциальных проблем с базой данных. Расширение с определенной периодичностью создает отчеты в формате HTML и складывает их в объектное хранилище. Пользователи также могут настроить ротацию отчетов. Больше информации об использовании расширения можно найти на странице документации расширения. Параметры, применимые в инфраструктуре Linx Cloud: Название Описание Пример period Периодичность […]
Расширение jsquery для PostgreSQL
JsQuery — это язык запросов к данным jsonb. Его основное предназначение — предоставить дополнительную функциональность для jsonb, например, простой и эффективный способ поиска во вложенных объектах и массивах, а также дополнительные операторы сравнения с поддержкой индексов. Подробнее о расширении JsQuery вы можете из документации разработчика на GitHub или на сайте. Параметры, применимые в инфраструктуре Linx Cloud: Название Описание database Перечень баз данных, на […]
Управление БД и пользователями
Управление базами данных Управление БД в панели управления производится на вкладке “Список баз данных” внутри нужной БД: Для добавления новой БД достаточно нажать кнопку «Добавить» и указать наименование новой БД: Управление пользователями Управление пользователями БД и правами его доступа производится на вкладке “Пользователи”: При добавлении нового пользователя необходимо указать его имя, а в поле “Применить […]
PostgreSQL: переключение мастера
Введение Для управления облачным кластером на базе PostgreSQL в нашем облаке используется Patroni. Именно он выполняет автоматическое переключение мастер-ВМ в случае проблем. Из-за высоких гарантий консистентности переключение мастера (то есть превращение одной из реплик в головной узел) — довольно деструктивное действие. Подразумевается, что при переключении происходят следующие шаги: Выбранная реплика (желательно с синхронной репликацией) получает […]
Удаление инстанса
Для удаления инстанса достаточно в контекстном меню выбрать пункт «Удалить инстанс»: И подтвердить удаление соответствующей кнопкой:
Резервное копирование инстанса
Создание бэкапов Для создания резервной копии инстанса перейдите в список инстансов, кликните на знак в конце строки и в контекстном меню выберите «Создать бэкап». В открывшемся окне введите название бэкапа или оставьте поле заполненным по умолчанию: И кликните «Создать бэкап». Резервное копирование производится в объектное хранилище. После окончания создания бэкапа он станет доступен в виде […]
Флаги (параметры)
Описание После создания базы данных есть возможность выставить некоторым параметрам БД свои значения. Иногда зашитые в базу значения «по умолчанию» недостаточны или несоразмерны для определённых пользовательских задач. Как правило, эти задачи требуют гибкой настройки базы — и теперь такая возможность есть. Добавление параметров В личном кабинете на списке баз данных найдите нужную базу и нажмите на […]
Масштабирование функций сервиса
Создание реплики при запуске инстанса Создать конфигурацию в режиме master»-slave можно при запуске инстанса, на шаге 2. Добавление реплики к существующему инстансу 1. Выберите в контекстном меню команду «Создать реплику»: Обратите внимание: эта функция доступна только из раздела «Базы данных». 2. В открывшемся окне укажите необходимые параметры: Тип виртуальной машины Выберите из списка предложенных […]
Вертикальное масштабирование PostgreSQL
Вертикальное масштабирование — это увеличение производительности каждого компонента системы с целью повышения общей производительности. Масштабируемость в этом контексте означает возможность заменять в существующей вычислительной системе компоненты более мощными и быстрыми по мере роста требований и развития технологий. Мы рассмотрим вертикальное масштабирование на примере кластера PostgreSQL. Масштабирование будет выполнено для каждого члена кластера. Как создавать базу […]
Управление обновлениями
Чтобы получить доступ к новым возможностям PostgreSQL, необходимо обновлять версии СУБД. Patch Management позволяет обновить Postgres и Postgres Pro с более младшей на более старшую версию. Мы предлагаем 3 варианта конфигурации работы с PostgreSQL. Ниже мы рассмотрим подробнее каждые из них. Обновление версии СУБД Для обновления PostgreSQL необходимо использовать утилиту pg_upgrade. Перед обновлением будет сделан backup. […]
Улучшения в PostgreSQL 13
Для новой версии PostgreSQL 13 была проведена работа над системами индексирования и поиска данных, что положительно отразилось на работе с большими БД. Список изменений в версии PostgreSQL 13: Ответы на запросов, которые используют агрегацию и секционирование, стали занимать меньше времени. Планирование запросов, при использовании расширенной статистики, стало лучше и удобнее. Экономия места и увеличение производительности […]
Управление базами данных и пользователями
Управление базами данных Управление БД в панели управления производится на вкладке “Список баз данных” внутри нужной БД: Для добавления новой БД достаточно нажать кнопку «Добавить» и указать наименование новой БД: Управление пользователями Управление пользователями БД и правами его доступа производится на вкладке “Пользователи”: При добавлении нового пользователя необходимо указать его имя, а в поле […]
PostgreSQL: disk performance
Введение В данной статье предоставлена информация о производительности виртуальных машин с предустановленной БД PostgreSQL на разных типах дисков. Тестирование проходило на ВМ с конфигурацией: объем диска 100 ГБ конфигурация Standard-4-8 (каждая нода кластера 4 ядра и 8 ГБ RAM). Глоссарий: Термин Описание pgbench Встроенная в PostgreSQL утилита для benchmark СУБД TPS Transactions per second (метрики, […]
Конфигурации Баз данных при создании инстанса
Конфигурационные файлы Создание каждого инстанса Баз Данных происходит с помощью конфигурационного файла, уникального для каждой БД. Файл конфигурации недоступен для редактирования пользователем, однако может быть изменён по запросу в службу поддержки. Например: X # формула в зависимости от RAM (размер RAM минус 512 МБ) Эта формула срабатывает при сканировании кластера (горизонтальное масштабирование тома). Строчка объясняет, какие […]
Как получить логи Базы данных
Примечание Логи баз данных используются только на БД, которые были созданы после 1 декабря 2020 года. Для получения логов необходимо подключиться к БД по SSH, сейчас их можно получить для следующих БД: MySQL PostgreSQL/PostgresPro ClickHouse Redis MongoBD Ниже можно узнать подробнее, как получить логи для каждого типа БД. MySQL Чтобы получить логи, нужно подключиться […]
Подключение к инстансу Базы данных по SSH
Подключение к инстансу Базы данных по SSH Для успешного подключения к БД по SSH необходимо на этапе создания Базы данных установить указанные ниже настройки. При создании Базы данных необходимо в настройках Firewall добавить правило «ssh+www», которое открывает 22 порт для успешного подключения: Далее, в меню «Ключ для доступа по SSH» в выпадающем списке выбрать создание […]
Запуск инстанса с Redis
Почему Redis? Redis (Remote Dictionary Server) – это быстрое хранилище данных типа «ключ‑значение» в памяти с открытым исходным кодом для использования в качестве базы данных, кэша, брокера сообщений или очереди. Redis обеспечивает время отклика на уровне долей миллисекунды и позволяет приложениям, работающим в режиме реального времени, выполнять миллионы запросов в секунду. Все данные в Redis […]
Запуск кластеров СУБД
Запуск кластера 1. В разделе личного кабинета «Базы данных» нажмите «Добавить» 2. В открывшемся окне выберите базу данных для запуска, а также шаблон конфигурации «Кластер«. Доступность шаблонов конфигурации зависит от типа выбранной СУБД. Single — единичный инстанс СУБД без реплики. Рекомендуется использовать исключительно для целей разработки и тестирования. Master-slave (Master-Replica) — два инстанса СУБД в разных ЦОД с репликацией […]
Сетевые особенности инстансов БД
Какой вариант создания сети лучше? Если выбрать опцию «Создать новую сеть» на этапе создания инстанса, то сеть будет создаваться, но: каждый раз с новым шлюзом появится возможность «на ходу» указать адрес подсети. Поэтому, если нужно объединить несколько инстансов БД в одну сеть, то следует создать сеть заранее с желаемой конфигурацией и указывать ее уже при […]
Изменение параметров
Описание Иногда зашитые в базу значения «по умолчанию» недостаточны или несоразмерны для определённых пользовательских задач. Как правило, эти задачи требуют гибкой настройки базы — и теперь такая возможность есть. Внимание Максимальное количество параметров для каждого типа базы будет разное — и ограничено количеством возможных видов параметров для каждой базы. Также нельзя создавать одинаковые параметры в […]
Подключение
Описание В статье приведены примеры подключения с помощью разных приложений к установленной облачной БД. PHP $conn = pg_connect(«host=10.0.0.4 dbname=<DATABASE> user»=»<USERNAME&»gt; password=»<PASSWORD&»gt;»); Вместо 10.0.0.4 — вставьте IP-адрес вашей базы данных. Установка PHP Подробная инструкция по установке и настройке PHP — на официальном сайте по этой ссылке. Подключение $conn =» pg_connect(«host=10.0.0.4 «dbname=»<DATABASE&»gt; user=»<USERNAME&»gt; password=»<PASSWORD&»gt;»); […]
Миграция из локальных баз данных
Чтобы выполнить миграцию данных из локальной базы в облачную, необходимо выполнить 3 шага, которые описаны ниже: Выбрать тип коннектора к базе Подключиться к инстансу Загрузить свои данные Выбрать тип коннектора к базе Тип коннектора выбирается, опираясь на локальные приложения, которые уже установлены и используются. Ниже приведен пример коннектора для языка PHP: Подключиться к […]
Архитектура DBaaS
На картинке представлена архитектура DBaaS (база данных как сервис) в упрощённом виде: В панели управления Linx Cloud разворачивается виртуальная машина или кластер с предустановленными средствами управления базой данных. Во время создания ВМ или кластера можно выбрать создавать ли реплику (для конфигурации Master-Slave) или количество узлов (для конфигурации «Кластер»). После этого клиентские приложения через сетевой интерфейс […]
Типы конфигураций
Во время создания инстанса с базой данных будет предложено выбрать одну из трех конфигураций. Важно От тип СУБД будет зависеть доступен ли шаблон конфигурации. Single — единичный инстанс СУБД без реплики. Лучше использовать только разработки и тестирования. Master-slave — два инстанса СУБД в разных ЦОД с репликацией в режиме master-slave (active-passive). Рекомендуется использовать для промышленной […]
Параметры баз данных
Для некоторых флагов базы данных есть возможность выставить свои значения после создания БД, а также установить расширения. Случается такое, что значения в БД, которые были настроены автоматически, недостаточны или несоразмерны для определенных пользовательских задач. Выставление флагов В личном кабинете на списке БД нужно найти желаему базу и нажать на ее название: Затем зайти во вкладку […]
Postgres Pro
Описание Postgres Pro Standard — это объектно-реляционная система управления базами данных (ОРСУБД, ORDBMS), разработанная компанией Postgres. Postgres Pro Standard, как иPostgreSQL, поддерживает большую часть стандарта SQL и предлагает множество современных решений: стриггеры сложные запросы внешние ключи изменяемые представления многоверсионность транзакционная целостность Таке вы можете расширять Postgres Pro, как и PostgreSQL, например, создавая свои сущности: операторы […]
Postgres
Описание PostgreSQL — это объектно-реляционная система управления базами данных (ОРСУБД, ORDBMS), основанная на POSTGRES. PostgreSQL — СУБД с открытым исходным кодом. Она поддерживает большую часть стандарта SQL и предлагает множество современных функций: сложные запросы многоверсионность внешние ключи изменяемые представления триггеры транзакционная целостность Возможности PostgreSQL можно значительно расширить, например, создавая свои сущности: типы данных функции операторы […]
Clickhouse
Описание ClickHouse — это колоночная аналитическая СУБД с открытым кодом, дающая возможность выполнять аналитические запросы в режиме реального времени на структурированных больших данных. У ClickHouse есть собственный диалект SQL, который приближен к стандартному, но он имеет различные расширения: функциональности для семплирования, приблизительных вычислений массивы и вложенные структуры данных функции высшего порядка специализированные агрегатные функции возможность […]
Создание базы данных PostgreSQL и MySQL
Чтобы создать базу данных откройте раздел личного кабинета «Инстансы баз данных», нажмите «Создать базу данных» и выберите: Тип и версию базы данных. Конфигурацию: Single, Master-Replica или Кластер. Для тестирования возможностей мы рекомендуем конфигурацию Single. Поддерживаемые версии Linx Cloud предоставляет доступ ко всем актуальным версиям БД. Если вы выбираете тип базы данных MySQL, то мы […]
Описание баз данных и особенности работы с ними
Postgres Pro 11 Что такое Postgres Pro Standard? Postgres Pro Standard — это объектно-реляционная система управления базами данных (ОРСУБД, ORDBMS), разработанная Postgres Professional в рамках проекта Postgres Pro на основе PostgreSQL, в свою очередь, основанном на POSTGRES, Version 4.2 — программе, разработанной на факультете компьютерных наук Калифорнийского университета в Беркли. В POSTGRES появилось множество новшеств, которые были […]
О сервисе Linx Cloud Database
О сервисе Linx Cloud Database – это сервис для построения баз данных в облаке. Переведите свою базу данных в облако, отдайте рутинную поддержку инфраструктуры опытным специалистам и сфокусируйтесь на важных бизнес-процессах. Преимущества Старт СУБД PostgreSQL, MySQL, MongoDB и ClickHouse за пару минут. Гибкое масштабирование базы данных одновременно с ростом бизнеса. Оплата только за потребляемые вычислительные […]
