Действия с кластером Kafka

Действия с кластером доступны, если статус заказа В порядке:

Обновление кластера

1. Посмотрите версию релиза кластера Kafka.

    Как посмотреть версию релиза?

   1. В главном меню портала перейдите в раздел Ресурсы → Приложения → Managed Service for Kafka.
   2. Нажмите на строку с кластером, версию релиза которого нужно посмотреть. Версия релиза кластера Kafka отображается в столбце:

   

2. Если версия релиза кластера Kafka 1.1.0, обновите его до версии 1.2.0, а затем до версии 1.3.0.
   Если версия релиза кластера Kafka 1.2.0, обновите его до версии 1.3.0.

Обновить кластер Kafka можно, если соблюдаются условия:

• статус кластера Включен;
• статус заказа В порядке.

Чтобы обновить кластер Kafka:

1. Выберите проект, в котором создан кластер Kafka.
2. В главном меню портала перейдите в раздел Ресурсы → Приложения → Managed Service for Kafka.
3. В строке с кластером, который нужно обновить, нажмите на кнопку и выберите пункт Обновление кластера Kafka.
4. В открывшемся окне в поле Обновление до версии кластера * выберите нужную версию кластера.  
5. Ознакомьтесь с примечанием и установите флажок Я прочитал предупреждение выше и подтверждаю выполнение действия.
6. Нажмите на кнопку Подтвердить.
7. Синхронизируйте информацию кластера Kafka.

Выключение кластера

Выключите кластер, если не планируете использовать его какое-то время. В этом случае тарифицируются только подключенные публичные IP-адреса и диски.

Выключить кластер можно, если соблюдаются условия:

• статус кластера Включен;
• статус заказа В порядке.

Чтобы выключить кластер Kafka:

1. Выберите проект, в котором создан кластер Kafka.
2. В главном меню портала перейдите в раздел Ресурсы → Приложения → Managed Service for Kafka.
3. В строке с кластером, который нужно выключить, нажмите на кнопку и выберите пункт Выключение кластера Kafka.
4. Нажмите на кнопку Подтвердить.

Статус кластера и серверов с Включено изменится на Выключено.

Включение кластера

Включить кластер можно, если соблюдаются условия:

• статус кластера Выключен;
• статус заказа В порядке.

Чтобы включить кластер Kafka:

1. Выберите проект, в котором создан кластер Kafka.
2. В главном меню портала перейдите в раздел Ресурсы → Приложения → Managed Service for Kafka.
3. В строке с кластером, который нужно включить, нажмите на кнопку и выберите пункт Включение кластера Kafka.
4. Нажмите на кнопку Подтвердить 

Статус кластера и серверов с Выключено изменится на Включено.

Изменение вычислительных ресурсов

Вычислительные ресурсы изменяются на всех брокерах Kafka.

Изменить вычислительные ресурсы можно, если соблюдаются условия:

• статус кластера Включен;
• статус заказа В порядке.

Чтобы изменить вычислительные ресурсы кластера:

1. Выберите проект, в котором создан кластер Kafka.
2. В главном меню портала перейдите в раздел Ресурсы → Приложения → Managed Service for Kafka.
3. В строке с кластером, в котором нужно изменить вычислительные ресурсы, нажмите на кнопку и выберите пункт Изменение вычислительных ресурсов.
4. Заполните поля: Вычислительные ресурсы: 

   Семейство — семейство процессоров:

   • General-purpose — процессоры с частотой 2.2 GHz с конфигурациями b2, с частотой 2.8 GHz с конфигурациями b5, с частотой 3.0 GHz с конфигурациями b3 и процессоры с частотой 4.05 GHz с конфигурациями b4. Подходит для решения большинства задач, например, выполнения кода для веб-сервисов и приложений, размещения интернет-магазинов, создания тестовых сред;
   • Advanced — процессоры с частотой 3.0 GHz с конфигурациями a1 и процессоры с частотой 2.8 GHz с конфигурациями a5. Подходит для работы высоконагруженных систем, например, CRM и баз данных.

   Серия — серия процессоров. Процессоры отличаются частотой, от которой зависят производительность сервера и скорость обработки данных:

   • b2 Intel Cascade Lake 2.2 GHz — для небольшой нагрузки;
   • b5 Intel Ice lake 2.8 GHz, a5 Intel Ice lake 2.8 GHz, a1 Intel Cascade Lake 3.0 GHz и b3 Intel Cascade Lake 3.0 GHz — подходят для большинства задач;
   • b4 AMD EPYC 9004 series 4.05 GHz — для обеспечения высокой скорости обработки данных. Например, при работе с Microsoft SQL и 1С.

   vCPU, шт. — количество процессоров.

   RAM, ГБ — объём оперативной памяти.

   Выбрана конфигурация — конфигурация сервера определяется автоматически на основании выбранного количества процессоров (vCPU) и объёма оперативной памяти (RAM). Подробнее см. раздел Конфигурации сервера.

5. Ознакомьтесь с примечанием и установите флажок Я прочитал предупреждение выше и подтверждаю выполнение действия.
6. Нажмите на кнопку Подтвердить.

В результате вычислительные ресурсы изменятся на всех брокерах Kafka.

Изменение метода аутентификации

Изменить метод аутентификации можно, если соблюдаются условия:

• статус кластера Включен;
• статус заказа В порядке;
• версия релиза кластера — 1.3.0.

Чтобы изменить метод аутентификации кластера:

1. Выберите проект, в котором создан кластер Kafka.
2. В главном меню портала перейдите в раздел Ресурсы → Приложения → Managed Service for Kafka.
3. В строке с кластером, в котором нужно изменить метод аутентификации, нажмите на кнопку и выберите пункт Изменение метода аутентификации.
4. Выберите метод аутентификации:
   Методы аутентификации — способы проверки и подтверждения прав пользователя для подключения к кластеру Kafka:

   • NONE — отсутствие аутентификации. Все пользователи имеют полный доступ к брокерам Kafka без каких-либо проверок;

     Важно

     В целях безопасности не рекомендуем выбирать данный метод.

   • SASL/PLAIN — аутентификация по логину и паролю. Активируйте переключатель и заполните поля:

     • Имя пользователя * — логин пользователя для подключения к кластеру Kafka.

        Требования к имени пользователя

       1. Длина имени — от 3 до 22 символов.
       2. Может содержать прописные и строчные буквы латинского алфавита, цифры и символы нижнего подчёркивания.

     • Пароль * — пароль пользователя для подключения к кластеру Kafka.

        Требования к паролю

       1. Длина пароля — от 10 до 15 символов.
       2. Должен содержать прописные и строчные буквы латинского алфавита, цифры.

       Чтобы отобразить пароль, нажмите на кнопку .
       Чтобы скопировать пароль, нажмите на кнопку .
       Чтобы сгенерировать пароль, нажмите на кнопку ;

   • TLS — аутентификация с использованием неквалифицированного сертификата.
     Если у вас есть неквалифицированный сертификат, активируйте переключатель Выбрать существующий сертификат и выберите его.
     Если неквалифицированного сертификата нет, создайте его:
     1. Деактивируйте переключатель Выбрать существующий сертификат.
     2. Заполните поля:

        • Введите cn сертификата * — сommon name (CN) сертификата. Имя субъекта, для которого выпущен сертификат. Например, доменное имя или имя пользователя/устройства. Используется для идентификации владельца сертификата;

           Требования к cn сертификата

          1. Длина имени — от 3 до 20 символов.
          2. Может содержать прописные и строчные буквы латинского алфавита, цифры, дефисы и символы нижнего подчёркивания.
          3. Дефис и символ нижнего подчёркивания не может стоять в конце имени.

        • Введите название сертификата * — название сертификата.

           Требования к названию сертификата

          1. Длина названия — от 3 до 20 символов.
          2. Может содержать прописные и строчные буквы латинского алфавита, цифры, дефисы, символы нижнего подчёркивания и точки.
          3. Дефис, символ нижнего подчёркивания и точка не могут стоять в конце названия.

     3. Ознакомьтесь с примечанием и установите флажок Я прочитал информацию выше.

        Примечание

        В результате после заказа кластера сгенерируется неквалифицированный сертификат. Скачайте сертификат и приватный ключ для подключения к кластеру Kafka. 
5. Нажмите на кнопку Подтвердить.
6. Создайте конфигурационный файл клиента, соответствующий выбранному методу аутентификации.

Изменение параметров кластера

Можно указать дополнительные параметры кластера или изменить их, если они были указаны при создании кластера.

Изменить параметры кластера можно, если соблюдаются условия:

• статус кластера Включен;
• статус заказа В порядке.

Чтобы изменить параметры кластера:

1. Выберите проект, в котором создан кластер Kafka.
2. В главном меню портала перейдите в раздел Ресурсы → Приложения → Managed Service for Kafka.
3. В строке с нужным кластером нажмите на кнопку и выберите пункт Изменение параметров кластера.
4. Напишите первую строку #cloud-config и после неё параметры со значениями или загрузите текстовый файл. Например:
5. Ознакомьтесь с примечанием и установите флажок Я прочитал предупреждение выше и подтверждаю выполнение действия.
6. Нажмите на кнопку Подтвердить.

Отключение публичного IP-адреса

Чтобы запретить доступ к кластеру из сети Интернет, отключите публичный IP-адрес. Публичный IP-адрес отключается на всех брокерах Kafka.

Отключить публичный IP-адрес можно, если соблюдаются условия:

• статус кластера Включен;
• статус заказа В порядке.

Чтобы отключить публичный IP-адрес:

1. Выберите проект, в котором создан кластер Kafka.
2. В главном меню портала перейдите в раздел Ресурсы → Приложения → Managed Service for Kafka.
3. В строке с кластером, в котором нужно отключить публичный IP-адрес, нажмите на кнопку  и выберите пункт Отключение публичного IP адреса.
4. Ознакомьтесь с примечанием и установите флажок Я прочитал предупреждение выше и подтверждаю выполнение действия.
5. Нажмите на кнопку Подтвердить.

Подключение публичного IP-адреса

Для доступа к кластеру из сети Интернет подключите к нему публичный IP-адрес.

Публичный IP-адрес подключается только к брокерам Kafka и не подключается к хостам ZooKeeper.

Подключить публичный IP-адрес можно, если соблюдаются условия:

• статус кластера Включен;
• статус заказа В порядке.

Чтобы подключить публичный IP-адрес:

1. Выберите проект, в котором создан кластер Kafka.
2. В главном меню портала перейдите в раздел Ресурсы → Приложения → Managed Service for Kafka.
3. В строке с кластером, в котором нужно подключить публичный IP-адрес, нажмите на кнопку и выберите пункт Подключение публичного IP адреса.
4. Укажите ограничение скорости интернет-трафика.
5. Ознакомьтесь с примечанием и установите флажок Я прочитал предупреждение выше и подтверждаю выполнение действия.
6. Нажмите на кнопку Подтвердить.

В результате публичный IP-адрес подключается на всех брокерах Kafka и отображается на вкладке Общая информация в столбце External socket:

Изменение ограничения скорости интернет-трафика

Действие доступно, только если:

• публичный IP-адрес подключен;
• статус кластера Включен;
• статус заказа В порядке.

Чтобы изменить ограничение скорости интернет-трафика:

1. Выберите проект, в котором создан кластер Kafka.
2. Перейдите в раздел Ресурсы → Приложения → Managed Service for Kafka.
3. Нажмите на кнопку  в строке с нужным кластером и выберите пункт Изменить ограничение скорости.
4. Укажите ограничение скорости интернет-трафика.
5. Нажмите на кнопку Подтвердить.

В результате скорость интернет-трафика изменится на всех брокерах Kafka.

Расширение дополнительного диска

Размер диска увеличивается только на брокерах Kafka и не увеличивается на хостах ZooKeeper.

Увеличить размер дополнительного диска можно, если соблюдаются условия:

• статус кластера Включен;
• статус заказа В порядке.

Чтобы увеличить размер дополнительного диска:

1. Выберите проект, в котором создан кластер Kafka.
2. В главном меню портала перейдите в раздел Ресурсы → Приложения → Managed Service for Kafka.
3. В строке с кластером, в котором нужно увеличить размер дополнительного диска, нажмите на кнопку  и выберите пункт Расширение дополнительного диска.

4. В открывшемся окне в поле Новый размер диска * введите новый размер диска в ГБ. Максимальный размер диска — 4096 ГБ.

5. Нажмите на кнопку Подтвердить.

Cинхронизация информации кластера Kafka

Синхронизация информации кластера Kafka применяется для согласованности данных в кластере Kafka и на портале Т1 Облако. Обязательно выполняйте синхронизацию информации после любых изменений в кластере Kafka (например, после создания топика через терминал). В результате данные на портале Т1 Облако обновятся и станут актуальными.

Синхронизировать информацию можно, если соблюдаются условия:

• статус кластера Включен;
• статус заказа В порядке.

Чтобы синхронизировать информацию кластера Kafka:

1. Выберите проект, в котором создан кластер Kafka.
2. В главном меню портала перейдите в раздел Ресурсы → Приложения → Managed Service for Kafka.
3. В строке с кластером, информацию о котором нужно синхронизировать, нажмите на кнопку и выберите пункт Синхронизация информации кластера Kafka.
4. Нажмите на кнопку Подтвердить.

Увеличение количества брокеров

Добавить брокеры можно, если соблюдаются условия:

• в кластере заказано 4 или более брокеров;
• статус кластера Включен;
• статус заказа В порядке.

Чтобы добавить брокеры в кластер:

1. Выберите проект, в котором создан кластер Kafka.
2. В главном меню портала перейдите в раздел Ресурсы → Приложения → Managed Service for Kafka.
3. В строке с кластером, в котором нужно добавить брокеры, нажмите на кнопку  и выберите пункт Увеличение количества брокеров.
4. В открывшемся окне заполните поле Количество брокеров *. Чётное количество брокеров необходимо для корректной репликации между ними. Максимальное количество брокеров кластера — 10.
5. Нажмите на кнопку Подтвердить.

Изменение метки

Метка — тег, который присваивается каждому кластеру и помогает ориентироваться в созданных кластерах:

Длина метки — от 3 до 64 символов. 

Чтобы изменить метку:

1. Выберите проект, в котором создан кластер Kafka.
2. В главном меню портала перейдите в раздел Ресурсы → Приложения → Managed Service for Kafka.
3. Нажмите на строку с кластером, в котором нужно изменить метку.
4. Нажмите на кнопку Редактировать рядом с меткой и введите новую метку.
5. Сохраните новую метку по кнопке Сохранить.

Удаление кластера

Удалить можно только кластер со статусом заказа В порядке.

Чтобы удалить кластер:

1. Выберите проект, в котором создан кластер Kafka.
2. В главном меню портала перейдите в раздел Ресурсы → Приложения → Managed Service for Kafka.
3. В строке с кластером, который нужно удалить, нажмите на кнопку  и выберите пункт Удалить продукт.
4. Введите Идентификатор для подтверждения удаления.
5. Нажмите на кнопку Удалить.

При удалении кластера автоматически удаляются брокеры Kafka и серверы ZooKeeper.

Копирование ID кластера и заказа

Чтобы скопировать ID кластера (ITEM_ID):

1. Выберите проект, в котором создан кластер Kafka.
2. В главном меню портала перейдите в раздел Ресурсы → Приложения → Managed Service for Kafka.
3. Нажмите на строку с кластером, ID которого нужно скопировать.
4. На вкладке Общая информация нажмите на кнопку Действия и выберите пункт Скопировать ID. ID сохраняется в буфер обмена вашего устройства.

Чтобы скопировать ID заказа (ORDER_ID):

1. Выберите проект, в котором создан кластер Kafka.
2. В главном меню портала перейдите в раздел Ресурсы → Приложения → Managed Service for Kafka.
3. В строке с кластером, ID заказа которого нужно скопировать, нажмите на кнопку и выберите пункт Скопировать ID заказа. ID заказа сохраняется в буфер обмена вашего устройства.