Создание кластера Kafka

• Метка * — тег, который присваивается каждому кластеру и помогает ориентироваться в созданных кластерах;

• Имя кластера * — уникальное имя кластера в рамках проекта. Значение по умолчанию — kafka-<номер>, например, kafka-0001. Последующим кластерам будут присваиваться названия с увеличивающимся порядковым номером;
  

   Требования к имени кластера

  1. Длина имени — от 3 до 22 символов.
  2. Может содержать строчные буквы латинского алфавита, цифры и дефис.
• Описание — описание кластера, заполняется при необходимости;
• Количество брокеров Kafka * — количество серверов Kafka от 1 до 20. При заказе 1 брокера Kafka и ZooKeeper разворачиваются на одном сервере. При заказе больше 1 брокера Kafka автоматически заказывается 3 хоста ZooKeeper;
• Версия Apache Kafka *;
• Время хранения информации в топиках, мин — время хранения данных в любом топике в памяти до их сброса на диск, от 30 до 20160 минут;
• Регион * — регион расположения кластера;
• Зона доступности * — зона доступности, в которой будет находиться кластер.

Вычислительные ресурсы: 

• Общие — для публичного облака;
• Персональные — для частного облака.

Семейство — семейство процессоров:

• General-purpose — процессоры с частотой 2.2 GHz с конфигурациями b2, с частотой 2.8 GHz с конфигурациями b5, с частотой 3.0 GHz с конфигурациями b3 и процессоры с частотой 4.05 GHz с конфигурациями b4. Подходит для решения большинства задач, например, выполнения кода для веб-сервисов и приложений, размещения интернет-магазинов, создания тестовых сред;
• Advanced — процессоры с частотой 3.0 GHz с конфигурациями a1 и процессоры с частотой 2.8 GHz с конфигурациями a5. Подходит для работы высоконагруженных систем, например, CRM и баз данных.

Серия — серия процессоров. Процессоры отличаются частотой, от которой зависят производительность сервера и скорость обработки данных:

• Intel Cascade Lake 2.2 GHz — для небольшой нагрузки;
• Intel Ice lake 2.8 GHz и Intel Cascade Lake 3.0 GHz — подходят для большинства задач;
• AMD EPYC 9004 series 4.05 GHz — для обеспечения высокой скорости обработки данных. Например, при работе с Microsoft SQL и 1С.

vCPU, шт. — количество процессоров.

RAM, ГБ — объём оперативной памяти.

Выбрана конфигурация — конфигурация сервера определяется автоматически на основании выбранного количества процессоров (vCPU) и объёма оперативной памяти (RAM). Подробнее см. раздел Конфигурации сервера.

Дополнительный диск — диск, на который устанавливается сервис Kafka:

• Размер диска, ГБ * — объём дополнительного диска в ГБ, от 10 до 2048 ГБ;

• Тип * — тип диска:
  
  • Light - IOPS Read: 500 IOPS Write: 300;
  • Basic - IOPS Read: 3000 IOPS Write: 1000;
  • Average cluster 1 - IOPS Read: 10000 IOPS Write: 3000;
  • Average cluster 2 - IOPS Read: 10000 IOPS Write: 3000;
  • Average cluster 3 - IOPS Read: 10000 IOPS Write: 3000;
  • High cluster 1 - IOPS Read: 15000 IOPS Write: 5000;
  • High cluster 2 - IOPS Read: 15000 IOPS Write: 5000;

  • High cluster 3 - IOPS Read: 15000 IOPS Write: 5000.
    IOPS — операции чтения и записи. Чем больше проводится операций чтения, тем меньше операций записи, и наоборот. При выполнении операций расходуется один и тот же дисковый ресурс.

    Примечания

    1. Тип дисков Average cluster и High cluster рекомендуется использовать для серверов, предназначенных для построения кластера на независимых друг от друга дисках. Например, при организации систем типа Primary-Secondary (Master-Slave).

    2. Для оптимальной работы и надёжности хранения данных диски Light и Basic проходят ежедневную проверку и исправление ошибок. В процессе этих проверок могут увеличиваться задержки (latency). Если вам нужна стабильно высокая производительность дисков, выбирайте High cluster. Подробнее см. раздел Задержка и производительность дисков.

• Удалять вместе с сервером — установите флажок, чтобы при удалении кластера диск автоматически удалился;

• Подсеть * — подсеть, к которой будет подключен кластер, по умолчанию выбрана сеть default и подсеть default-ru-central1-a;

• Включить Публичный IP-адрес  — активируйте переключатель, если к кластеру нужен доступ из сети Интернет. К каждому брокеру в кластере будет привязан публичный IP-адрес, который отображается на вкладке Общая информация в столбце External socket;

• Выбрать существующую группу безопасности — активируйте переключатель, чтобы выбрать существующую группу безопасности и не создавать новую; 
• Группы безопасности сетевого интерфейса * — правила, контролирующие входящий и исходящий трафик сервера.

Доступ — данные пользователя для авторизации в сервисе Kafka:

• Имя пользователя * — логин пользователя для авторизации в сервисе Kafka.
  

   Требования к имени пользователя

  1. Длина имени — от 3 до 22 символов.
  2. Может содержать прописные и строчные буквы латинского алфавита, цифры и символы нижнего подчёркивания.

• Пароль * — пароль пользователя для авторизации в сервисе Kafka.
  

   Требования к паролю

  1. Длина пароля — от 10 до 15 символов.
  2. Должен содержать прописные и строчные буквы латинского алфавита, цифры.

  Чтобы отобразить пароль, нажмите на кнопку .
  Чтобы скопировать пароль, нажмите на кнопку .
  Чтобы сгенерировать пароль, нажмите на кнопку .

Если нужно задать дополнительные параметры кластера, активируйте переключатель Дополнительные параметры кластера. После первой строки #cloud-config напишите параметры со значениями или загрузите текстовый файл. Например:

#cloud-config
default.replication.factor=1
min.insync.replicas=3
num.io.threads=8
num.network.threads=3
num.partitions=1
message.max.bytes=10485880
replica.fetch.max.bytes=10485880
auto.create.topics.enable=false
unclean.leader.election.enable=true