Документация

Создание кластера ClickHouse

Чтобы создать кластер:

  1. Выберите проект, в котором нужно создать кластер.
  2. В главном меню портала перейдите в раздел Ресурсы → Базы данных → Managed Service for ClickHouse.
  3. Нажмите на кнопку Подключить или на кнопку Создать кластер, если в проекте уже есть созданный кластер.
  4. Заполните поля:

    Базовые параметры:

    • Название кластера * — уникальное имя кластера в рамках проекта. Введите название или нажмите Сгенерировать название, чтобы сформировать название кластера вида clickhouse--<номер>, например, clickhouse--0001. Последующим кластерам будут присваиваться названия с увеличивающимся порядковым номером;

      1. Длина имени — от 3 до 64 символов.
      2. Может содержать прописные и строчные буквы латинского алфавита, цифры, дефисы и символы нижнего подчёркивания.
    • Описание кластера — заполняется при необходимости;
    • Версия ClickHouse * — доступная версия ClickHouse.
  5. Нажмите на кнопку Вперед. Заполните поля:
    Параметры виртуальной машины:
    • Количество нод в кластере * — 1;
    • Регион * — регион расположения кластера;
    • Зона доступности * — зона доступности, в которой будет находиться кластер;
    • Подсеть * — подсеть, к которой будет подключен кластер;
    • Включить Публичный IP-адрес — активируйте переключатель, если к кластеру нужен доступ из сети Интернет. После создания кластера публичный IP-адрес отображается на вкладке Информация;
    • Ограничение скорости, Мбит/сек — ограничение скорости интернет-трафика на подключаемом IP-адресе;
    • Выбрать группу безопасности из доступных — активируйте переключатель и выберите группу безопасности. Если нужной группы безопасности нет, создайте её. Если переключатель не активирован, новая группа безопасности создаётся автоматически;

    • Группа безопасности сетевого интерфейса * — правила для управления сетевым интерфейсом кластера.

      Важно

      Чтобы подключиться к кластеру, у группы безопасности должно быть правило, разрешающее входящий трафик по порту 9000 для протокола TCP. Подробнее см. раздел Доступ к кластеру ClickHouse.



    Вычислительные ресурсы:
    • Тип:
      • Публичные — для публичного облака;
      • Персональные — для частного облака;
    • Семейство — семейство процессоров:
      • General-purpose — процессоры с частотой 2.2 GHz с конфигурациями b2, с частотой 2.8 GHz с конфигурациями b5, с частотой 3.0 GHz с конфигурациями b3 и процессоры с частотой 4.05 GHz с конфигурациями b4. Подходит для решения большинства задач, например, выполнения кода для веб-сервисов и приложений, размещения интернет-магазинов, создания тестовых сред;
      • Advanced — процессоры с частотой 3.0 GHz с конфигурациями a1 и процессоры с частотой 2.8 GHz с конфигурациями a5. Подходит для работы высоконагруженных систем, например, CRM и баз данных;
    • Серия * — серия процессоров. Процессоры отличаются частотой, от которой зависят производительность сервера и скорость обработки данных:
      • Intel Cascade Lake 2.2 GHz — для небольшой нагрузки;
      • Intel Ice lake 2.8 GHz, Intel Ice lake 2.8 GHz, Intel Cascade Lake 3.0 GHz и Intel Cascade Lake 3.0 GHz — подходят для большинства задач;
      • AMD EPYC 9004 series 4.05 GHz — для обеспечения высокой скорости обработки данных. Например, при работе с Microsoft SQL и 1С;
    • vCPU, шт. — количество процессоров;
    • RAM, ГБ — объём оперативной памяти;
    • Выбрана конфигурация — конфигурация сервера определяется автоматически на основании выбранного количества процессоров (vCPU) и объёма оперативной памяти (RAM). Подробнее см. раздел Конфигурации сервера.


    Объём хранилища:
    • Размер диска, ГБ * — размер выделенной памяти, от 25 ГБ до 2048 ГБ;

    • Тип диска *:

      • Average cluster 1 - IOPS Read: 10000 IOPS Write: 3000;
      • Average cluster 2 - IOPS Read: 10000 IOPS Write: 3000;
      • Average cluster 3 - IOPS Read: 10000 IOPS Write: 3000;
      • High cluster 1 - IOPS Read: 15000 IOPS Write: 5000;
      • High cluster 2 - IOPS Read: 15000 IOPS Write: 5000;

      • High cluster 3 - IOPS Read: 15000 IOPS Write: 5000.
        IOPS — операции чтения и записи. Чем больше проводится операций чтения, тем меньше операций записи, и наоборот. При выполнении операций расходуется один и тот же дисковый ресурс.

        Примечание

        Типы дисков отличаются производительностью и количеством IOPS. Подробнее см. раздел Задержка и производительность дисков.

  6. Нажмите на кнопку Вперед.
  7. Заполните поля:

    Параметры базы данных:

    • Настроить СУБД — активируйте переключатель, если необходимо изменить параметры СУБД.

    Примечание

    Вы можете:

    • изменить значение параметра, заданного по умолчанию;

    • указать значение для незаданного параметра. Для этого удалите // перед параметром и присвойте ему значение. Например, чтобы установить максимальное время неактивности сессии — 1 час, удалите // перед параметром max_session_timeout и присвойте ему значение в секундах:

      3   max_session_timeout = 3600
    • указать дополнительные параметры, с которыми можно ознакомиться в официальной документации ClickHouse.

    • default_database — база данных, которая используется по умолчанию, если не указана явно в запросе;

      1. База данных должна быть в ClickHouse. Если указана несуществующая база данных, сервер может не запуститься или запросы будут завершаться с ошибкой.
      2. Значение чувствительно к регистру. Например, mydb и MyDB — это разные базы данных.
      3. Не может быть пустой строкой ("").
      4. Может быть задано значение системной базы данных, например, system, если это соответствует логике использования.

    • disableProtocols — отключение определённых сетевых протоколов (например, HTTP, TCP) для повышения безопасности:

      • "http" — отключение HTTP-интерфейса;
      • "tcp" — отключение TCP-интерфейса;
      • "interserver" — отключение межсерверного взаимодействия;
      • пустая строка, disableProtocols = "" — все протоколы включены;

    • max_session_timeout — максимальное время сессии в секундах. Примеры значений:

      • 0 — без ограничения;
      • 3600 — 1 час;

    • async_load_databases — включение асинхронной загрузки баз данных при старте сервера:

      • 0 — выключено;
      • 1 — включено;

    • max_thread_pool_size — максимальное количество потоков в пуле для выполнения запросов. Должно быть целым числом > 0. Примеры значений: 4, 16;

    • max_send_message_size — максимальный размер отправляемого сообщения в байтах. Должно быть целым числом > 0. Примеры значений:

      • 1048576 — 1 МБ;
      • 1073741824 — 1 ГБ;

    • max_concurrent_queries — максимальное количество одновременно выполняемых запросов. Должно быть целым числом > 0. Примеры значений: 50, 500;

    • default_session_timeout — время сессии по умолчанию в секундах. Должно быть меньше либо равно значению параметра max_session_timeout. Должно быть целым числом ≥ 0. Примеры значений:

      • 0 — без ограничения;
      • 3600 — 1 час;

    • max_server_memory_usage — максимальное использование оперативной памяти сервером в байтах. Должно быть целым числом ≥ 0. Примеры значений:

      • 0 — без ограничения;
      • 34359738368 — 32 ГБ;

    • uncompressed_cache_size — размер кеша для несжатых данных в байтах. Должно быть целым числом ≥ 0. Примеры значений:

      • 0 — кеш отключен;
      • 1073741824 — 1 ГБ;

    • max_receive_message_size — максимальный размер принимаемого сообщения в байтах. Должно быть целым числом > 0. Примеры значений:

      • 1048576 — 1 МБ;
      • 1073741824 — 1 ГБ;

    • total_memory_profiler_step — шаг для профилирования использования памяти в байтах. Должно быть целым числом > 0. Примеры значений:

      • 4194304 — 4 МБ;
      • 67108864 — 64 МБ;

    • validate_tcp_client_information — проверка информации о TCP-клиенте:

      • 0 — выключено;
      • 1 — включено;

    • concurrent_threads_soft_limit_num — мягкое ограничение на количество одновременно работающих потоков. Должно быть целым числом ≥ 0. Примеры значений:

      • 0 — без ограничения;
      • 32;

    • builtin_dictionaries_reload_interval — интервал перезагрузки встроенных словарей в секундах. Должно быть целым числом > 0. Примеры значений:

      • 3600 — 1 час;
      • 604800 — 1 неделя;

    • max_server_memory_usage_to_ram_ratio — отношение максимального использования памяти сервером к объёму оперативной памяти (RAM). Должно быть числом от 0 до 1. Примеры значений:

      • 0.5 — 50% от RAM;

      • 1.0 — всегда отслеживать;

        Примечание

        Обычно значение устанавливается в диапазоне от 0.5 до 0.9, чтобы оставить часть памяти для других процессов операционной системы и избежать исчерпания памяти.

        Например, если у вас 64 ГБ RAM, и вы установите значение 0.8, то ClickHouse будет использовать до 51,2 ГБ оперативной памяти.

    • total_memory_tracker_sample_probability — вероятность отслеживания использования памяти. Должно быть числом от 0 до 1. Примеры значений:

      • 0.0 — отключено;
      • 0.1 — 10% вероятность;
      • 1.0 — всегда отслеживать.
    • default_password_type — тип хеширования паролей по умолчанию. Примеры значений:
      • "plaintext" — пароль хранится в открытом виде (без хеширования);
      • "sha256" — хеширование с использованием SHA-256;
      • "double_sha1" — двойное хеширование SHA-1, используется для совместимости с MySQL;
    • custom_settings_prefixes — список префиксов для пользовательских настроек. Примеры значений:
      • "" — пользовательские настройки недоступны, кроме тех, что были явно зарегистрированы через конфигурацию сервера, роли или ограничения;

        Если администратор добавил настройки через конфигурацию сервера или роли, например:

        <t1cloud>
    <profiles>
        <default>
            <custom_timeout>30</custom_timeout>
            <custom_retries>5</custom_retries>
        </default>
    </profiles>
</t1cloud>

        то при custom_settings_prefixes = "" будут доступны только эти настройки:

        • custom_timeout;
        • custom_retries.

        Любые другие пользовательские настройки будут недоступны.

      • "custom_" — только настройки с префиксом custom_ считаются пользовательскими;
      • "custom_,test_" — разрешены настройки с префиксами custom_ и test_;

    • table_engines_require_grant — требование привилегии CREATE для использования определённых движков таблиц:

      • 0 — привилегия CREATE не требуется;
      • 1 — привилегия CREATE требуется;

    • select_from_system_db_requires_grant — требование привилегии SELECT для выполнения запросов к системным базам данных:

      • 0 — привилегия SELECT не требуется;
      • 1 — привилегия SELECT требуется;

    • settings_constraints_replace_previous — замена ограничений настроек:

      • 0 — новые ограничения добавляются к существующим (не заменяют их);
      • 1 — новые ограничения заменяют предыдущие;

    • on_cluster_queries_require_cluster_grant — требование привилегии CLUSTER для запросов ON CLUSTER:

      • 0 — привилегия CLUSTER не требуется;
      • 1 — привилегия CLUSTER требуется;

    • users_without_row_policies_can_read_rows — политики доступа к строкам:

      • 0 — требуются политики доступа; 
      • 1 — полный доступ (без политик);

    • select_from_information_schema_requires_grant — требование привилегии SELECT для выполнения запросов к information_schema:

      • 0 — привилегия SELECT не требуется;
      • 1 — привилегия SELECT требуется. 

    Важно

    При указании некорректных значений кластер может не развернуться.

  8. Нажмите на кнопку Вперед.
  9. Заполните поля:

    Дополнительные параметры:

    • День окна обслуживания * и Время обслуживания * — день недели и интервал времени (в вашем часовом поясе), когда специалисты Т1 Облако могут выполнять технические работы.

  10. Нажмите на кнопку Заказать. Кластер разворачивается около 10 минут.

Созданный кластер отображается на портале:

Чтобы посмотреть подробную информацию о кластере, нажмите на строку с нужным кластером. Откроется страница с информацией о кластере:

  • на вкладке Информация отображаются основные параметры кластера;
  • на вкладке Базы данных отображаются созданные базы данных;
  • на вкладке Пользователи отображается список пользователей;
  • на вкладке Настройки СУБД отображаются текущие параметры СУБД, которые можно изменить;
  • на вкладке История действий указаны действия пользователя с кластером.

В созданном кластере можно создать базу данных, создать пользователей, изменить параметры СУБД, изменить CPU/RAM, подключить/отключить публичный IP-адрес, увеличить размер диска и т.п. Подробнее см. раздел Действия с кластером ClickHouse.

Мы ответили на ваш вопрос?