Документация

Коннектор к PostgreSQL

Создание коннектора

После создания коннектора все изменения реплицируемых таблиц в базе данных-источнике будут попадать в топики Kafka.

Чтобы создать коннектор:

  1. Выберите проект, в котором заказан кластер SyncXpert Connector Astra VM.
  2. В главном меню портала перейдите в раздел Ресурсы → Приложения → SyncXpert → Кластеры.
  3. Выберите нужный кластер SyncXpert Connector Astra VM и перейдите на вкладку Коннекторы.
  4. Нажмите на кнопку Действия и выберите пункт Создать коннектор.
  5. Заполните поля:

    • database.hostname * — <внутренний IP-адрес>:<порт> серверов в кластере PostgreSQL с базой данных-источником. Укажите через запятую без пробелов.
      Внутренние IP-адреса серверов отображаются на вкладке Ноды кластера PostgreSQL, порт — на вкладке Информация;

    • database.dbname * — название базы данных-источника, созданной при настройке кластера PostgreSQL;
    • name * — название коннектора;
    • Префикс топика бд — префикс топиков (TOPIC.PREFIX), указанный при создании топиков кластера Kafka;
    • database.user * — имя пользователя, созданного при настройке кластера PostgreSQL (с флажком Может подключаться к серверу в режиме репликации);
    • database.password * — пароль пользователя базы данных-источника.
    • slot.name * — название слота логической репликации, созданного при настройке кластера PostgreSQL;
    • publication.name * — название публикации, созданной при настройке кластера PostgreSQL;
    • Список, включаемый в отслеживание *:
      • schema.include.list — выберите это значение, если планируется реплицировать все таблицы схем, указанных в поле Список схем БД источника для репликации *;
      • table.include.list — выберите это значение, если планируется реплицировать только таблицы, указанные в поле Список таблиц БД источника для репликации *;
    • Список схем/таблиц БД источника для репликации * — список имён схем/таблиц (в зависимости от значения поля Список, включаемый в отслеживание *), данные которых будут реплицироваться. Укажите через запятую без пробелов:
      • список схем — schema1,schema2;
      • список таблиц — schema1.table1,schema2.table2.

        Примечание

        Убедитесь, что указанные схемы/таблицы указаны в публикации и что для каждой таблицы создан табличный топик в Kafka.

    • heartbeat.interval.ms — интервал в миллисекундах, с которым выполняется SQL-запрос, указанный в поле heartbeat.action.query;
    • heartbeat.action.query — SQL-запрос, выполняемый коннектором в базе данных-источнике для принудительного создания транзакции. Это нужно для продвижения позиции чтения (LSN) в слоте репликации и предотвращения переполнения диска WAL-логами PostgreSQL в периоды отсутствия данных.
      Указанная таблица должна существовать в базе данных-источнике. А также её нужно указать в поле Список схем/таблиц БД источника для репликации * и в публикации PostgreSQL.
    • topic.heartbeat.prefix — префикс heartbeat-топика, указанный при настройке кластера Kafka.
  6. Нажмите на кнопку Подтвердить.

Созданный коннектор отобразится на вкладке Коннекторы.

Обновление списка коннекторов

Обновление списка коннекторов необходимо после создания/изменения/удаления коннекторов через API специалистами тех. поддержки Т1 Облако.

Чтобы обновить список коннекторов:

  1. Выберите проект, в котором заказан кластер SyncXpert Connector Astra VM.
  2. В главном меню портала перейдите в раздел Ресурсы → Приложения → SyncXpert → Кластеры.
  3. Выберите нужный кластер SyncXpert Connector Astra VM и перейдите на вкладку Коннекторы.
  4. Нажмите на кнопку  Действия и выберите пункт Обновить список коннекторов.
  5. Нажмите на кнопку Подтвердить.

Удаление коннектора

Чтобы удалить коннектор:

  1. Выберите проект, в котором заказан кластер SyncXpert Connector Astra VM.
  2. В главном меню портала перейдите в раздел Ресурсы → Приложения → SyncXpert → Кластеры.
  3. Выберите нужный кластер SyncXpert Connector Astra VM и перейдите на вкладку Коннекторы.
  4. Нажмите на кнопку  Действия и выберите пункт Удалить коннектор.
  5. Выберите Имя коннектора и нажмите на кнопку Подтвердить.

Дальнейшие шаги