Настройка сервера для подключения к кластеру Kafka

Чтобы настроить сервер для работы с кластером Kafka:

  1. Установите клиент Apache Kafka.

  2. Установите Java.

  3. Если при заказе кластера выбран метод аутентификации SASL/PLAIN, импортируйте на сервер сертификат кластера.
  4. Если при заказе кластера выбран метод аутентификации TLS:
    1. Импортируйте на сервер сертификат кластера.
    2. Если при заказе кластера выбран Импортированный сертификат, импортируйте на сервер пользовательский сертификат и приватный ключ.
      Если при заказе кластера выбран Сгенерированный сертификат, импортируйте на сервер неквалифицированный сертификат и приватный ключ

  5. Создайте конфигурационный файл клиента.

Установка клиента Apache Kafka

Чтобы установить клиент Apache Kafka на сервер:

  1. Подключитесь к серверу по SSH-ключу.
  2. Смените пользователя на root, выполнив команду:

  3. Скачайте в папку /tmp/ архив с клиентом Apache Kafka той версии, которая выбрана при заказе кластера. Для этого выполните команду:

  4. Создайте папку для клиента Apache Kafka и конфигурационных файлов, выполнив команду:

  5. Распакуйте загруженный архив с клиентом Apache Kafka в папку /app/kafka/, выполнив команду, соответствующую версии Apache Kafka:

Установка Java

Чтобы использовать клиент Apache Kafka, установите Java (не ниже версии 8) на сервер:

  1. Подключитесь к серверу по SSH-ключу.
  2. Смените пользователя на root, выполнив команду:

  3. Скачайте в папку /tmp/ архив с Java, выполнив команду:

  4. Создайте папку для Java и конфигурационных файлов, выполнив команду:

  5. Распакуйте загруженный архив с Java в папку /app/java/, выполнив команду:

  6. Добавьте путь для вызова java в файл /root/.profile, выполнив команду:

  7. Подключите переменные из файла /root/.profile, выполнив команду:

Импорт пользовательского сертификата и приватного ключа

Если при заказе кластера выбран метод аутентификации TLS и Импортированный сертификат, то для подключения к кластеру Kafka импортируйте пользовательский сертификат и приватный ключ на сервер:

  1. Создайте папку, выполнив команду:

  2. Загрузите файлы certificate.crt и private_key.key в папку /tmp/.

  3. Импортируйте пользовательский сертификат и приватный ключ на сервер, выполнив команду:

    1. Введите любой пароль для импортированного пользовательского сертификата и приватного ключа.
    2. Повторно введите пароль.
    3. Введите yes и нажмите Enter.

      Примечание

      Запишите данный пароль, т.к. он понадобится при подключении к кластеру.

Импорт неквалифицированного сертификата и приватного ключа

Если при заказе кластера выбран метод аутентификации TLS и Сгенерированный сертификат, то для подключения к кластеру Kafka импортируйте неквалифицированный сертификат и приватный ключ на сервер:

  1. Выберите проект, в котором создан кластер Kafka.
  2. Скачайте неквалифицированный сертификат и приватный ключ (файлы certificate.crt и private_key.key).
  3. Создайте папку, выполнив команду:

  4. Загрузите файлы certificate.crt и private_key.key в папку /tmp/.

  5. Импортируйте неквалифицированный сертификат и приватный ключ на сервер, выполнив команду:

    1. Введите любой пароль для импортированного неквалифицированного сертификата и приватного ключа.
    2. Повторно введите пароль.
    3. Введите yes и нажмите Enter.

      Примечание

      Запишите данный пароль, т.к. он понадобится при подключении к кластеру.

Создание конфигурационного файла клиента

Чтобы подключиться к кластеру Kafka, создайте конфигурационный файл клиента:

  1. Перейдите в папку /app/kafka/config/.
  2. Создайте файл client.properties и скопируйте в него:

  3. Сохраните файл client.properties.
  1. Перейдите в папку /app/kafka/config/.
  2. Создайте файл client.properties и скопируйте в него:

    где:

    • username — имя пользователя для подключения к кластеру Kafka, указанное при создании кластера;
    • password — пароль пользователя для подключения к кластеру Kafka, указанный при создании кластера;
    • ssl.truststore.location путь до сертификата кластера;
    • ssl.truststore.password  пароль для сертификата кластера.
  3. Сохраните файл client.properties.
  1. Перейдите в папку /app/kafka/config/.
  2. Создайте файл client.properties и скопируйте в него:

    где:

  3. Сохраните файл client.properties.