РЕМОНТКА

Скрипты

Скрипт на bash для копирования данных с одного кластера Clickhouse на другой

В данном примере будет рассмотрен конкретный случай копирования данных с одного кластера Clickhouse на другой. С некоторыми модификациями, вы можете адаптировать сценарий под себя.

Мы будем выполнять задачу с помощью скрипта bash.

Работа скрипта и требования к запуску
Скрипт для импорта данных
Описание строк кода
Запуск скрипта
Как определить окончание процесса импорта
Дополнительные материалы

Как будет работать скрипт

Запускать данных сценарий необходимо на одной из нод кластера, куда будут импортироваться данные. Он будет выполнять удаленное подключения к источнику данных, читать список таблиц и создавать их на целевом кластере, а после переносить данные с помощью запросов INSERT + SELECT * FROM remote() .

В самом скрипте мы не будем хранить конкретных данных для подключения и указания источника. Все это будем передавать с аргументами.

Условия:

  • Использование таблиц типа Distributed. Именно они будет использоваться для перекачки данных.
  • В момент работы скрипта необходимо, чтобы с данными не происходило никаких изменений. Это важно для сохранения целостности информации.
  • Оба кластера должны быть настроены одинаково. А именно, иметь одинаковые названия, иметь то же число шард и реплик. Это важно, так как подразумевается использование таблиц типа Distributed, в которых хранятся настройки размещения данных между участниками кластера. С модификацией данных параметров вы можете изменить под себя перенос данных.

Предварительно необходимо:

  • Выбрать два сервера. Один на стороне кластера источника данных, второй — целевого, куда будем отправлять данные. Назовем их сервер-источник и сервер-цель.
  • С сервера-цели необходимо обеспечить сетевое подключение для клиента Clickhouse к серверу-источнику. При необходимости, создать учетную запись с соответствующими правами. Ссылки на дополнительные материалы приведены ниже.
  • На самом сервере-целе, где будет запускаться скрипт, настроить возможность беспарольного подключения к локальному серверу Clickhouse (поведение по умолчанию для системной записи root).

Ниже данные вопросы рассмотрим подробнее.

Пример скрипта

Напомним, что скрипт должен запускаться на сервере, куда будут импортироваться данные. Поэтому хорошей идеей будет создать сам скрипт на нем.

Создадим каталог, где будем хранить скрипт:

mkdir /scripts

Создадим bash-сценарий для копирования данных Clickhiuse:

vi /scripts/clickhouse-import-data.sh

  1. #!/bin/bash
  2. PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin
  4. while getopts :d::h::p::u::c: arg
  5. do
  6. case ${arg} in
  7. d)
  8. db=»${OPTARG}»
  9. ;;
  10. h)
  11. db_host=»${OPTARG}»
  12. ;;
  13. p)
  14. db_port=»${OPTARG}»
  15. ;;
  16. u)
  17. db_user=»${OPTARG}»
  18. ;;
  19. c)
  20. db_cluster=»${OPTARG}»
  21. ;;
  22. 🙂
  23. echo -e «33[0;31mОшибка: для опции -${OPTARG} требуется значение.33[0m»
  24. exit 1
  25. ;;
  26. *) exit 1
  27. esac
  28. done
  30. if [ -z «${db}» ] || [ -z «${db_host}» ] || [ -z «${db_user}» ] || [ -z «${db_cluster}» ]
  31. then
  32. echo -e «33[0;31mОшибка. Указаны не все обязательные аргументы.33[0m»
  33. echo «Синтаксис: $0 -d ‘Имя базы данных’ -h ‘Хост источника’ -u ‘Имя учетной записи для подключения к хосту clickhouse’ -c ‘Имя кластера clickhouse’ [ -p ‘Порт для подключения к хосту clickhouse’ ]»
  34. exit 1
  35. fi
  37. db_port=${db_port:-9000}
  39. echo -e «nВведите пароль для Clickhouse-пользователя ${db_user}:»
  40. read -s db_pass
  42. remote_connect_args=»-u${db_user} —password ${db_pass} -h${db_host} —port ${db_port}»
  44. clickhouse-client -q «SELECT 1» &>/dev/null
  45. if [ $? -ne 0 ]
  46. then
  47. echo -e «33[0;31mОшибка. Не удалось подключиться к локальному серверу баз данных.33[0m»
  48. echo «Проверьте подключение командой:»
  49. echo «clickhouse-client -q ‘SELECT 1′»
  50. exit 1
  51. fi
  53. clickhouse-client ${remote_connect_args} -q «SELECT 1» &>/dev/null
  54. if [ $? -ne 0 ]
  55. then
  56. echo -e «n33[0;31mОшибка. Не удалось подключиться к серверу-источнику. Проверьте введенные аргументы33[0m»
  57. echo «Используемые данные:»
  58. echo «Хост: ${db_host}»
  59. echo «Порт: ${db_port}»
  60. echo «Пользователь: ${db_user}»
  61. echo «Пароль: ${db_pass}»
  62. exit 1
  63. fi
  65. check_db=`clickhouse-client ${remote_connect_args} -q «SHOW databases LIKE ‘${db}'»`
  66. if [[ «${check_db}» != «${db}» ]]
  67. then
  68. echo -e «n33[0;31mОшибка. Базы ${db} не существует на удаленном хосте33[0m»
  69. exit 1
  70. fi
  72. clickhouse-client -q «CREATE DATABASE IF NOT EXISTS ${db} ON CLUSTER ‘${db_cluster}'» &>/dev/null
  74. for table in `clickhouse-client ${remote_connect_args} -nmq «USE ${db} ; SHOW tables;»`
  75. do
  76. create_table_query=`clickhouse-client ${remote_connect_args} -q «SHOW CREATE TABLE ${db}.${table}» —format=TSVRaw | sed -e «s/CREATE TABLE ${db}.${table}/CREATE TABLE IF NOT EXISTS ${db}.${table} ON CLUSTER ‘${db_cluster}’/»`
  77. echo -e «nВосстановление структуры таблицы ${table}»
  78. clickhouse-client -q «${create_table_query}» &>/dev/null
  79. done
  81. for table in `clickhouse-client -q «SELECT name FROM system.tables WHERE database=’${db}’ AND engine=’Distributed'»`
  82. do
  83. table_count=`clickhouse-client -q «SELECT COUNT(*) FROM ${db}.${table}»`
  84. if [ «${table_count}» != «0» ]
  85. then
  86. echo -e «n33[0;31mВнимание!33[0m Таблица ${table} содержит данные. Если желаете продолжить, введите ее имя:»
  87. read table_confirm
  88. if [ «${table_confirm}» != «${table}» ]
  89. then
  90. echo -e «Восстановление данных для таблицы ${table} прервано. Переходим к следующей.»
  91. continue
  92. fi
  93. fi
  95. echo -e «nВосстановление данных для таблицы ${table}»
  96. clickhouse-client -nmq «SET throw_on_max_partitions_per_insert_block = false; INSERT INTO ${db}.${table} SELECT * FROM remote(‘${db_host}:${db_port}’, ${db}, ${table}, ‘${db_user}’, ‘${db_pass}’);»
  97. [[ $? -ne 0 ]] && exit 1
  99. echo «Данные для таблицы ${table} скопированы.»
  100. done

Описание скрипта

Стоит обратить внимание на следующие пункты:

4 — 28 Указываем, как нужно обработать аргументы, передаваемые скрипту. Подразумевается использование следующих параметров:
d — имя базы данных, к которой мы подключимся для импорта информации.
h — адрес сервера-источника, куда нужно подключиться.
p — порт, на котором слушает clickhouse на сервере-источнике. Если не указать, будет использоваться порт по умолчанию 9000.
u — учетная запись пользователя, под которым мы будем подключаться к серверу-источнику.
c — имя кластера clickhouse, для которого будут выполняться действия.
Данные аргументы принимают значения, которые используются для объявления переменных.
30 — 35 Выполняем наличие обязательных аргументов. Если один из них не был передан, скрипт вернет ошибку.
39 — 40 Запрашиваем пароль у пользователя в момент запуска скрипта. Это пароль для подключения к clickhouse сервера-источника под пользователем, которого мы передаем с аргументом -u.
42 Создаем переменную с указанием параметров подключения к clickhouse-server. Она нам нужна для удобства.
44 — 51 Делаем проверку подключения к локальному серверу баз данных clickhouse. Если подключение не выполнено, завершаем работу скрипта.
53 — 63 Пытаемся подключиться к серверу-источнику clickhouse. Выдаем ошибку и завершаем работу, если данное подключение не вернуло корректный код.
65 — 70 Проверяем, есть ли база данных, которую мы передали аргументом -d на сервере-источнике.
72 На сервере-целе создаем базу данных, если ее нет.
74 — 79 Создаем таблицы на целевом сервере. Для этого мы подключаемся к серверу-источнику и получаем список таблиц, после в цикле для каждой таблицы получаем запрос на ее создание и немного его модифицируем, добавив IF NOT EXISTS и ON CLUSTER, чтобы создать таблицы не на конкретном хосте, а на всех нодах кластера.
81 — 100 Получаем список таблиц типа Distributed и копируем данные с сервера-источника с помощью запроса INSERT INTO + SELECT * FROM remote.
83 Обратите внимание, что в данной строке мы делаем проверку таблицы на сервере-целе. Если по каким-то причинам там есть данные, сценарий предложит пропустить импорт информации.

Запуск скрипта

Прежде чем начать перенос, стоит убедиться в сетевой доступности серверов Clickhouse. На одной из нод кластера, куда мы будем импортировать данные вводим:

clickhouse-client -h db_host —port db_port -u db_user —ask-password

* где:

  • db_host — адрес сервера, к которому мы будем подключаться. Это должен быть сервер-источник данных.
  • db_port — порт подключения. По умолчанию 9000.
  • db_user — имя пользователя, под которым мы будем подключаться к хосту db_host .

Система запроси пароль. Необходимо ввести секрет для пользователя db_user . Если подключение прошло успешно, можно переходить к переносу данных.

Разрешим запуск скрипта на выполнение:

chmod +x /scripts/clickhouse-import-data.sh

При запуске сценария нам нужно передать следующие аргументы:

  • d — имя базы данных, к которой мы подключимся для импорта информации.
  • h — адрес сервера-источника, куда нужно подключиться.
  • p — порт, на котором слушает clickhouse на сервере-источнике. Если не указать, будет использоваться порт по умолчанию 9000.
  • u — учетная запись пользователя, под которым мы будем подключаться к серверу-источнику.
  • c — имя кластера clickhouse, для которого будут выполняться действия.

Например:

/scripts/clickhouse-import-data.sh -d portal_db -h 192.168.1.10 -u click_usr -c dm_cluster -p 9000

* в данном примере мы будем подключаться к базе portal_db на сервере 192.168.1.10 под пользователем click_usr . Имя кластера dm_cluster , а порт подключения 9000 .

В консоли мы должны увидеть запрос пароля для подключения (пользователя click_usr, в нашем примере). Вводим его.

Должна начаться процедура копирования таблиц, а после — самих данных. В зависимости от объема, скрипт может работать долго.

    Проверка импорта данных

    Даже, завершение работы скрипта по переносу данных не является окончанием процесса импорта. Дело в том, что кластер заносит данные на keeper, после чего последний занимается перераспределением информации между его нодами. Чтобы понять, когда процесс завершился, можно сравнивать количество строк на целевом сервере и сервере-источнике.

    Для удобства, предлагаю небольшой скрипт. Сохраним его по тому же пути, где и скрипт импорта:

    vi /scripts/clickhouse-import-check.sh

    1. #!/bin/bash
    2. PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin
    4. while getopts :d::h::p::u::c: arg
    5. do
    6. case ${arg} in
    7. d)
    8. db=»${OPTARG}»
    9. ;;
    10. h)
    11. db_host=»${OPTARG}»
    12. ;;
    13. p)
    14. db_port=»${OPTARG}»
    15. ;;
    16. u)
    17. db_user=»${OPTARG}»
    18. ;;
    19. 🙂
    20. echo -e «33[0;31mОшибка: для опции -${OPTARG} требуется значение.33[0m»
    21. exit 1
    22. ;;
    23. *) exit 1
    24. esac
    25. done
    27. for table in `clickhouse-client -q «SELECT name FROM system.tables WHERE database=’${db}’ AND engine=’Distributed'»`
    28. do
    29. source_count=`clickhouse-client ${remote_connect_args} -q «SELECT COUNT(*) FROM ${db}.${table}»`
    30. target_count=`clickhouse-client -q «SELECT COUNT(*) FROM ${db}.${table}»`
    32. if [ ${source_count} -eq ${target_count} ]
    33. then
    34. color=»33[0;32m»
    35. else
    36. color=»33[0;31m»
    37. fi
    39. echo -e «nПроверка таблицы ${table}:»
    40. echo -e «Строк в источнике: ${color}${source_count}33[0m»
    41. echo -e «Строк в сервере назначения: ${color}${target_count}33[0m»
    42. done

    Также разрешим запуск скрипта на выполнение:

    chmod +x /scripts/clickhouse-import-check.sh

    При запуске сценария нам нужно передать аргументы:

    • d — имя базы данных, к которой мы подключимся для импорта информации.
    • h — адрес сервера-источника, куда нужно подключиться.
    • p — порт, на котором слушает clickhouse на сервере-источнике. Если не указать, будет использоваться порт по умолчанию 9000.
    • u — учетная запись пользователя, под которым мы будем подключаться к серверу-источнику.

    В нашем примере это:

    /scripts/clickhouse-import-check.sh -d portal_db -h 192.168.1.10 -u click_usr -p 9000

    Потребуется ввести пароль пользователя для подключения к базе данных.

    В результате мы получим информацию по количеству строк. Оно должно совпадать для новой и старой баз.

    Важно отметить, что кластер Clickhouse помещает данные в очередь, и окончательное копирование данных в базу назначения выполняется не сразу. Таким образом, запустив проверку мы можем увидеть несоответствие количества строк для множества таблиц. Такая ситуация является допустимой. Необходимо раз в 10 или более минут делать повторные проверки. Миграция данных может считаться законченной, когда все таблицы будут совпадать по количеству строк.

    Читайте также

    Другие инструкции, которые могут оказаться полезными:

    1. Установка и использование ClickHouse на Linux .

    2. Операторы сравнения в UNIX shell .

    Похожая запись

    Скрипты
    Скрипт для создания почтового ящика в iRedMail (MySQL)
    admin
    Скрипты
    Пример скрипта для создания резерва MySQL
    admin
    Скрипты
    Автоматическое формирование списка серверов в phpMyAdmin
    admin
    EnglishRussianUkrainian