- Установка Apache Kafka в Ubuntu 18.04
- Требования
- 1: Создание пользователя для Apache Kafka
- 2: Загрузка и извлечение Apache Kafka
- 3: Настройка сервера Kafka
- 4: Создание юнит-файла для Kafka
- 5: Тестирование установки
- 6: Установка KafkaT (опционально)
- 7: Настройка многоузлового кластера (опционально)
- 8: Ограничение прав пользователя Kafka
- Заключение
- Как установить Apache Kafka в Ubuntu 20.04 LTS
- Как установить Apache Kafka в Ubuntu 20.04 LTS
- Установите Apache Kafka на Ubuntu 20.04 LTS Focal Fossa
- Шаг 1. Во-первых, убедитесь, что все ваши системные пакеты обновлены, выполнив следующие apt команды в терминале.
- Шаг 2. Установка Java.
- Шаг 3. Установка Apache Kafka в Ubuntu 20.04.
- Шаг 4. Создайте файлы модулей Zookeeper и Kafka Systemd.
- Шаг 5. Создание темы в Kafka.
- Шаг 6. Подключить Kafka с удаленных машин.
- Установка Kafka в Unix/Linux
- Установка Kafka в Unix/Linux
- Установка Kafka на Debian/Ubuntu
- Установка Kafka на CentOS/Fedora/RHEL
- Установка Kafka на Mac OS X
Установка Apache Kafka в Ubuntu 18.04
Apache Kafka – это популярный распределённый брокер сообщений, предназначенный для обработки больших объемов данных в режиме реального времени. Кластер Kafka обладает не только высокой масштабируемостью и отказоустойчивостью, но также имеет гораздо более высокую пропускную способность по сравнению с другими брокерами сообщений (как ActiveMQ и RabbitMQ). Как правило, Apache Kafka используется в качестве системы обмена сообщениями pub/sub, однако многие организации используют его для логирования, потому что он обеспечивает постоянное хранение опубликованных сообщений.
Система обмена сообщениями pub/sub позволяет публиковать сообщения без учета количества подписчиков или способов их обработки. Подписанные клиенты автоматически уведомляются об обновлениях и появлении новых сообщений. Эта система более эффективна и масштабируема, чем те системы, в которых клиенты проводят периодическую проверку новых сообщений.
В данном мануале вы узнаете, как установить и использовать Apache Kafka 1.1.0 в Ubuntu 18.04.
Требования
Для выполнения руководства понадобится:
- Сервер Ubuntu 18.04, настроенный по этому мануалу.
- 4GB RAM как минимум. Нехватка объема RAM может привести к сбою сервера Kafka, при этом Java virtual machine (JVM) выдает «Out Of Memory» во время запуска.
- OpenJDK на сервере. Инструкции по установке можно найти в мануале Установка Java с помощью apt в Ubuntu 18.04. Kafka написан на Java, поэтому для его работы требуется JVM; однако в его сценарии запуска есть ошибка обнаружения версий, из-за которой он не работает с версиями JVM выше 8.
1: Создание пользователя для Apache Kafka
Apache Kafka может обрабатывать запросы по сети, потому необходимо создать для него специального пользователя. Это сводит к минимуму возможные повреждения машины Ubuntu, на которой будет установлен сервер Kafka.
Примечание: После установки Apache Kafka рекомендуется создать нового не-root пользователя для работы на сервере.
Как пользователь sudo запустите следующую команду, чтобы создать пользователя kafka:
sudo useradd kafka -m
Флаг -m создаст домашний каталог пользователя. Этот каталог, /home/kafka, будет в дальнейшем использоваться в качестве рабочего пространства для запуска команд.
sudo passwd kafka
Добавьте этого пользователя в группу sudo, чтобы иметь возможность установить все зависимости брокера сообщений.
sudo adduser kafka sudo
Пользователь kafka готов к работе. Перейдите в этот пользовательский аккаунт:
2: Загрузка и извлечение Apache Kafka
Теперь, когда зависимости установлены, можно переходить к загрузке бинарных файлов Apache Kafka.
Создайте каталог Downloads для хранения загруженных пакетов.
Затем используйте curl, чтобы загрузить бинарные файлы Apache Kafka.
curl «http://www-eu.apache.org/dist/kafka/1.1.0/kafka_2.12-1.1.0.tgz» -o
Создайте каталог по имени kafka и откройте его. Это базовый каталог сервера Kafka.
Извлеките загруженный архив в этот каталог:
/Downloads/kafka.tgz —strip 1
Флаг –strip 1 извлекает содержимое архива в каталог
/kafka/, а не в другой подкаталог (например,
Теперь можно перейти к настройке Kafka.
3: Настройка сервера Kafka
Теперь нужно настроить сервер Kafka. Kafka по умолчанию не позволяет удалять темы, категории и группы, в которых могут быть опубликованы сообщения. Чтобы изменить это, отредактируйте конфигурации. Откройте server.properties в текстовом редакторе.
Чтобы изменить стандартное поведение, добавьте в конец файла такую строку:
Сохраните и закройте файл.
4: Создание юнит-файла для Kafka
Теперь нужно создать юнит-файлы systemd для сервиса Kafka. Это позволит управлять сервисом Kafka – запускать, останавливать и перезапускать его в соответствии с другими сервисами Linux.
Zookeeper – это сервис, который Kafka использует для управления состоянием и конфигурацией кластера. Он широко используется как неотъемлемый компонент во многих распределенных системах. Больше можно узнать в официальной документации Zookeeper.
sudo nano /etc/systemd/system/zookeeper.service
Вставьте в него такое определение:
[Unit] Requires=network.target remote-fs.target
After=network.target remote-fs.target
[Service] Type=simple
User=kafka
ExecStart=/home/kafka/kafka/bin/zookeeper-server-start.sh /home/kafka/kafka/config/zookeeper.properties
ExecStop=/home/kafka/kafka/bin/zookeeper-server-stop.sh
Restart=on-abnormal
[Install] WantedBy=multi-user.target
В разделе [Unit] указано, что Zookeeper нужна сеть и файловая система, прежде чем сервис сможет начать работу.
Раздел [Service] указывает, что systemd должен использовать файлы оболочки zookeeper-server-start.sh и zookeeper-server-stop.sh для запуска и остановки сервиса. Он также указывает, что Zookeeper следует перезапускать автоматически, если он выходит из строя.
Теперь создайте юнит-файл для kafka:
sudo nano /etc/systemd/system/kafka.service
Вставьте в файл такое объявление:
[Unit] Requires=zookeeper.service
After=zookeeper.service
[Service] Type=simple
User=kafka
ExecStart=/bin/sh -c ‘/home/kafka/kafka/bin/kafka-server-start.sh /home/kafka/kafka/config/server.properties > /home/kafka/kafka/kafka.log 2>&1’
ExecStop=/home/kafka/kafka/bin/kafka-server-stop.sh
Restart=on-abnormal
[Install] WantedBy=multi-user.target
Раздел [Unit] сообщает, что этот юнит-файл зависит от zookeeper.service. Благодаря этой зависимости zookeeper будет всегда автоматически запускаться раньше, чем kafka.
Раздел [Service] указывает, что systemd должна использовать файлы оболочки kafka-server-start.sh и kafka-server-stop.sh для запуска и остановки сервиса. Он также указывает, что Kafka следует перезапускать автоматически, если он выходит из строя.
Теперь юнит-файлы готовы. Можно запустить Kafka:
sudo systemctl start kafka
Чтобы убедиться, что сервис запустился успешно, проверьте логи юнита:
journalctl -u kafka
Jul 17 18:38:59 kafka-ubuntu systemd[1]: Started kafka.service.
Теперь сервис Kafka запущен и прослушивает порт 9092.
Однако пока что этот сервис не будет запускаться автоматически вместе с сервером. Чтобы добавить kafka в автозагрузку, введите:
sudo systemctl enable kafka
5: Тестирование установки
Чтобы убедиться, что сервер Kafka работает правильно, попробуйте опубликовать тестовое сообщение «Hello World».
Для публикации сообщений необходимы:
- Издатель (producer), который позволяет публиковать записи и данные по темам.
- Подписчик (consumer), который читает сообщения.
Создайте тему TutorialTopic:
/kafka/bin/kafka-topics.sh —create —zookeeper localhost:2181 —replication-factor 1 —partitions 1 —topic TutorialTopic
Чтобы создать издателя, используйте в командной строке скрипт kafka-console-producer.sh. Ему нужны аргументы – имя хоста Kafka, порт и тема.
Опубликуйте строку “Hello, World” в теме TutorialTopic:
echo «Hello, World» |
/kafka/bin/kafka-console-producer.sh —broker-list localhost:9092 —topic TutorialTopic > /dev/null
Теперь можно создать подписчика с помощью скрипта kafka-console-consumer.sh. Ему в качестве аргументов нужны имя хоста и порт ZooKeeper, а также тема.
Следующая команда подпишется на сообщения из TutorialTopic. Обратите внимание на флаг –from-begin, который позволяет читать сообщения, которые были опубликованы до того, как состоялась подписка:
/kafka/bin/kafka-console-consumer.sh —bootstrap-server localhost:9092 —topic TutorialTopic —from-beginning
Если в конфигурации нет ошибок, вы получите в терминале вывод:
Сценарий будет продолжать работать, ожидая публикации новых сообщений в этой теме. Вы можете открыть новый терминал и с помощью издателя опубликовать еще несколько сообщений. Вы должны видеть все новые сообщения в терминале подписчика.
Когда вы закончите тестирование, нажмите CTRL + C, чтобы остановить скрипт подписчика.
6: Установка KafkaT (опционально)
KafkaT – это очень полезный инструмент, разработанный Airbnb, который позволяет просматривать подробную информацию о кластере Kafka и выполнять некоторые задачи по управлению из командной строки. Сам инструмент является gem-ом Ruby, потому для его работы нужно установить Ruby. Также понадобится пакет build-essential, позволяющий собрать необходимые gem-ы. Установите всё это при помощи команды:
sudo apt install ruby ruby-dev build-essential
Теперь установите KafkaT при помощи команды gem.
sudo gem install kafkat
Конфигурационный файл .kafkatcfg используется KafkaT для определения каталога установки и логов сервера Kafka. Также он настроит взаимодействие KafkaT и ZooKeeper. Создайте файл:
Добавьте в файл следующие строки:
/kafka»,
«log_path»: «/tmp/kafka-logs»,
«zk_path»: «localhost:2181»
>
Теперь инструмент KafkaT готов к работе. Чтобы просмотреть информацию обо всех разделах сервера Kafka, введите команду:
Вывод выглядит так:
Topic Partition Leader Replicas ISRs
TutorialTopic 0 0 [0] [0] __consumer_offsets 0 0 [0] [0] .
.
Вы увидите TutorialTopic, а также __consumer_offsets, внутреннюю тему, используемую Kafka для хранения информации, связанной с клиентом. Вы можете смело игнорировать строки, начинающиеся с __consumer_offsets.
Примечание: Чтобы узнать больше о KafkaT, посетите GitHub-репозиторий проекта.
7: Настройка многоузлового кластера (опционально)
Чтобы создать многоузловой кластер Kafka, состоящий из нескольких машин Ubuntu 18.04, повторите инструкции разделов 1-5 на каждой машине. Кроме того, на каждой машине нужно внести в server.properties такие изменения:
- Значение broker.id должно быть уникальным на каждом компоненте кластера (например, “server1”, “server2” и так далее).
- Значение параметра zookeeper.connect на каждой ноде должно указывать на один и тот же экземпляр ZooKeeper. Это свойство следует формату :
(например, “203.0.113.0:2181”, “203.0.113.1:2181”).
Чтобы установить несколько экземпляров ZooKeeper для одного кластера, значение zookeeper.connect на каждой ноде должно содержать IP-адреса и номера портов всех экземпляров ZooKeeper через запятую.
8: Ограничение прав пользователя Kafka
Теперь, когда установка завершена, можно отнять права администратора у пользователя kafka. Но прежде чем сделать это, нужно выйти из системы и снова войти как любой другой не-root пользователь с правами sudo.
Чтобы отнять root-права у пользователя kafka, удалите его из группы sudo:
sudo deluser kafka sudo
Чтобы повысить безопасность сервера Kafka, заблокируйте пароль пользователя kafka, чтобы никто не мог открыть этот аккаунт.
sudo passwd kafka -l
Теперь только пользователь с правами root или sudo может открыть аккаунт kafka при помощи команды:
Чтобы разблокировать пароль, используйте команду:
sudo passwd kafka -u
Заключение
Теперь сервер Apache Kafka запущен на сервере Ubuntu и защищён. Его можно использовать в различных проектах; клиенты Kafka совместимы с большинством языков программирования. Чтобы узнать больше об Apache Kafka, обратитесь к документации.
Источник
Как установить Apache Kafka в Ubuntu 20.04 LTS
Как установить Apache Kafka в Ubuntu 20.04 LTS
В этом руководстве мы покажем вам, как установить Apache Kafka в Ubuntu 20.04 LTS. Для тех из вас, кто не знал, Kafka — это самое популярное программное обеспечение с открытым исходным кодом, которое обеспечивает основу для хранения, чтения и анализа потоковых данных. Kafka изначально была разработана LinkedIn, а в начале 2011 года ее исходный код будет открыт в рамках Apache Software Foundation.
В этой статье предполагается, что у вас есть хотя бы базовые знания Linux, вы знаете, как использовать оболочку, и, что наиболее важно, вы размещаете свой сайт на собственном VPS. Установка довольно проста и предполагает, что вы работаете с учетной записью root, в противном случае вам может потребоваться добавить ‘ sudo ‘ к командам для получения привилегий root. Я покажу вам пошаговую установку Apache Kafka на Ubuntu 20.04 (Focal Fossa). Вы можете следовать тем же инструкциям для Ubuntu 18.04, 16.04 и любого другого дистрибутива на основе Debian, такого как Linux Mint.
Установите Apache Kafka на Ubuntu 20.04 LTS Focal Fossa
Шаг 1. Во-первых, убедитесь, что все ваши системные пакеты обновлены, выполнив следующие apt команды в терминале.
Шаг 2. Установка Java.
Apache Kafka требует, чтобы на вашем сервере была установлена Java. Выполните следующую команду, чтобы установить OpenJDK в системе Ubuntu:
Проверьте версию Java, выполнив следующую команду:
Шаг 3. Установка Apache Kafka в Ubuntu 20.04.
Теперь скачиваем последнюю версию Kafka на официальном сайте :
Затем разархивируйте архивный файл и перейдите в другое место:
Шаг 4. Создайте файлы модулей Zookeeper и Kafka Systemd.
Создайте файл модуля systemd для службы zookeeper:
Добавьте следующие строки:
Затем создайте файл модуля systemd для службы Kafka:
Добавьте следующие строки:
Перезагрузите демон, чтобы он вступил в силу:
Шаг 5. Создание темы в Kafka.
Теперь мы создадим тему с именем «idroot» с одним фактором репликации и разделом:
Чтобы отправить несколько сообщений для созданной темы:
Предлагается ввести сообщения:
Используя команду ниже, мы можем увидеть список сообщений:
Шаг 6. Подключить Kafka с удаленных машин.
Для подключения, создания темы и отправки сообщений с удаленного сервера. Пожалуйста, выполните следующие шаги:
Теперь найдите server.properties и внесите некоторые изменения в конфигурацию:
Поздравляю! Вы успешно установили Apache Kafka . Благодарим за использование этого руководства по установке Apache Kafka в системе Ubuntu 20.04 LTS Focal Fossa. Для получения дополнительной помощи или полезной информации мы рекомендуем вам посетить официальный сайт Apache Kafka .
Источник
Установка Kafka в Unix/Linux
Установка Kafka в Unix/Linux
Kafka (Apache Kafka) — Является популярным распределенным брокером сообщений, разработанным для эффективного управления большими объемами данных в режиме реального времени. Кластер Kafka не только хорошо масштабируется (настраивается отказоустойчивость), но также имеет гораздо более высокую пропускную способность по сравнению с другими подобными технологиями, — такими как ActiveMQ и RabbitMQ. Хотя он обычно используется в качестве системы обмена сообщениями pub/sub, многие организации также используют его для агрегирования логов, поскольку он обеспечивает постоянное хранение опубликованных сообщений.
Установка Kafka в Unix/Linux
В данной статье, я расскажу как можно установить kafka на различные Unix/Linux ОС.
Установка Kafka на Debian/Ubuntu
Создаем kafka пользователя
Поскольку Kafka может обрабатывать запросы через сеть, вам следует создать для нее выделенного пользователя.
Примечание. После настройки Apache Kafka рекомендуется создать другого пользователя без полномочий root для выполнения других задач на этом сервере.
В качестве пользователя root создайте пользователя с именем kafka с помощью команды:
Назначим пароль для созданного пользователя:
После этого, созданного юзера вносим в группу sudo( чтобы иметь привилегии, необходимые для установки зависимостей Кафки). Это можно сделать с помощью команды:
Теперь ваш пользователь готов. Залогинимся в него:
Если не знаете как выполнить установку Java, JRE — вот мануалы:
Установка JAVA 9 (JDK9) на Debian/Ubuntu/LinuxMint
Установка Java на Debian/Ubuntu/Mint
Узнать размер Java Heap Memory Size
Установка переменных JAVA_HOME / PATH в Linux
Если не знаете как выполнить установку ZooKeeper — вот мануал:
Установка ZooKeeper в Unix/Linux
По умолчанию он будет прослушивать 2181 порт. Чтобы убедиться, что он работает, подключитесь к нему через Telnet:
Вводим слово и нажимаем «enter»:
Если все работает, то должны получить:
После чего, сеанс сам завершиться.
Теперь, когда установлены Java и ZooKeeper, настало время загрузить и распаковать Kafka.
PS: Вышла новая версия ПО и ее можно скачать (на момент обновления статьи):
PS: Опция «—strip 1» дает возможность не создавать папку, а распаковать все содержимое в текущее место.
Переименуем папку для удобства использования:
Переходим к настройке.
По умолчанию, Kafka не позволяет удалять темы. Чтобы иметь возможность удалять темы, добавьте следующую строку в конец файла или, найдите и расскоментируйте данную строку (у меня это 24-я строка):
Сохраняем и закрываем файл.
Запускаем скрипт kafka-server-start.sh, используя nohup, чтобы запустить сервер Kafka (также называемый брокер Kafka) в качестве фонового процесса, который не зависит от сеанса оболочки:
Подождите несколько секунд и сервер запустится. Чтобы быть уверенным что сервер успешно запущен, проверим kafka.log лог-файл:
Теперь у вас есть сервер Kafka, который прослушивает 9092 порт.
Давайте теперь опубликуем и используем сообщение «Hello, man», чтобы убедиться, что сервер Kafka работает правильно.
Для публикации сообщений вы должны создать «продюсера» для Kafka. Вы можете легко создать это прямо из командной строки, используя скрипт kafka-console-producer.sh:
Поскольку темы не существует, Кафка создаст ее автоматически.
Чтобы потреблять сообщения, вы можете создать потребителя Kafka, используя kafka-console-consumer.sh скрипт.
Следующая команда использует сообщения из опубликованной темы. Обратите внимание на использование флага -from-beginning, который присутствует. Данный параметр покажет сообщение до запуска самого потребителя:
Т.к я запускал несколько раз kafka-console-producer.sh, то получил следующее:
Как видим, что все работает отлично!
KafkaT — это небольшой инструмент от Airbnb, который упрощает просмотр информации о вашем кластере Kafka, а также выполняет несколько административных задач из командной строки. Поскольку он написанный на Ruby, то для его использования вам понадобится Ruby. Вам также понадобится пакет build-essential. Установите все необходимое с помощью следующей команды:
И сейчас, выполняем установку KafkaT:
Установка Ruby (несколько версий Ruby) в Unix/Linux
Используйте текстовый редактор для создания нового файла:
Это файл конфигурации, который KafkaT использует для определения каталогов установки и папки, где находятся логи от Kafka. Соответственно, добавьте следующие строки:
Теперь вы готовы использовать KafkaT. Для начала рассмотрим, как вы будете использовать его для просмотра деталей всех разделов Kafka:
Вы должны увидеть следующий результат:
PS: Можно построить multi-broker кластер. Кроме того, вы должны внести следующие изменения в файл server.properties в каждом из них:
Значение свойства broker.id должно быть изменено таким образом, чтобы оно было уникальным во всем кластерах
Значение свойства zookeeper.connect должно быть изменено таким образом, чтобы все узлы указывали на тот же экземпляр ZooKeeper
Если вы хотите иметь несколько экземпляров ZooKeeper для вашего кластера, значение свойства zookeeper.connect на каждом узле должно быть идентичным, разделенным запятыми строкой, в которой перечислены IP-адреса и номера портов для всех экземпляров ZooKeeper.
Теперь, когда все установки сделаны, вы можете снять права администратора (суперпользователя) kafka. Для начала выйдите с оболочки или используйте другого пользователя чтобы сделать следующее действия. Удаляем пользователя kafka из группы sudo:
Чтобы еще больше повысить безопасность вашего сервера Kafka, заблокируйте пароль пользователя kafka с помощью команды passwd. Это гарантирует, что никто не сможет напрямую войти через данного пользователя:
На данный момент только root или пользователь sudo могут войти в систему под именем kafka, введя следующую команду:
В будущем, если вы хотите разблокировать его, используйте passwd с ключом «-u»:
Установка Kafka на CentOS/Fedora/RHEL
Поскольку Kafka может обрабатывать запросы через сеть, вам следует создать для нее выделенного пользователя.
Примечание. После настройки Apache Kafka рекомендуется создать другого пользователя без полномочий root для выполнения других задач на этом сервере.
В качестве пользователя root создайте пользователя с именем kafka с помощью команды:
Назначим пароль для созданного пользователя:
После этого, созданного юзера вносим в группу sudo( чтобы иметь привилегии, необходимые для установки зависимостей Кафки). Это можно сделать с помощью команды:
Теперь ваш пользователь готов. Залогинимся в него:
Если не знаете как выполнить установку Java, JRE — вот мануалы:
Установка JAVA (JDK) на CentOS/RHEL/Fedora
Узнать размер Java Heap Memory Size
Установка переменных JAVA_HOME / PATH в Linux
Если не знаете как выполнить установку ZooKeeper — вот мануал:
Установка ZooKeeper в Unix/Linux
По умолчанию он будет прослушивать 2181 порт. Чтобы убедиться, что он работает, подключитесь к нему через Telnet:
Вводим слово и нажимаем «enter»:
Если все работает, то должны получить:
После чего, сеанс сам завершиться.
Теперь, когда установлены Java и ZooKeeper, настало время загрузить и распаковать Kafka.
PS: Вышла новая версия ПО и ее можно скачать (на момент обновления статьи):
PS: Опция «—strip 1» дает возможность не создавать папку, а распаковать все содержимое в текущее место.
Переименуем папку для удобства использования:
Переходим к настройке.
По умолчанию, Kafka не позволяет удалять темы. Чтобы иметь возможность удалять темы, добавьте следующую строку в конец файла или, найдите и расскоментируйте данную строку (у меня это 24-я строка):
Сохраняем и закрываем файл.
Запускаем скрипт kafka-server-start.sh, используя nohup, чтобы запустить сервер Kafka (также называемый брокер Kafka) в качестве фонового процесса, который не зависит от сеанса оболочки:
Подождите несколько секунд и сервер запустится. Чтобы быть уверенным что сервер успешно запущен, проверим kafka.log лог-файл:
Теперь у вас есть сервер Kafka, который прослушивает 9092 порт.
Давайте теперь опубликуем и используем сообщение «Hello, man», чтобы убедиться, что сервер Kafka работает правильно.
Для публикации сообщений вы должны создать «продюсера» для Kafka. Вы можете легко создать это прямо из командной строки, используя скрипт kafka-console-producer.sh:
Поскольку темы не существует, Кафка создаст ее автоматически.
Чтобы потреблять сообщения, вы можете создать потребителя Kafka, используя kafka-console-consumer.sh скрипт.
Следующая команда использует сообщения из опубликованной темы. Обратите внимание на использование флага -from-beginning, который присутствует. Данный параметр покажет сообщение до запуска самого потребителя:
Т.к я запускал несколько раз kafka-console-producer.sh, то получил следующее:
Как видим, что все работает отлично!
KafkaT — это небольшой инструмент от Airbnb, который упрощает просмотр информации о вашем кластере Kafka, а также выполняет несколько административных задач из командной строки. Поскольку он написанный на Ruby, то для его использования вам понадобится Ruby. Вам также понадобится необходимые пакеты. Установите все необходимое с помощью следующей команды:
И сейчас, выполняем установку KafkaT:
Установка Ruby (несколько версий Ruby) в Unix/Linux
Используйте текстовый редактор для создания нового файла:
Это файл конфигурации, который KafkaT использует для определения каталогов установки и папки, где находятся логи от Kafka. Соответственно, добавьте следующие строки:
PS: Директория «/tmp/kafka-logs» должна быть созданной и иметь чтение-запись!
Теперь вы готовы использовать KafkaT. Для начала рассмотрим, как вы будете использовать его для просмотра деталей всех разделов Kafka:
Вы должны увидеть следующий результат:
PS: Можно построить multi-broker кластер. Кроме того, вы должны внести следующие изменения в файл server.properties в каждом из них:
Значение свойства broker.id должно быть изменено таким образом, чтобы оно было уникальным во всем кластерах
Значение свойства zookeeper.connect должно быть изменено таким образом, чтобы все узлы указывали на тот же экземпляр ZooKeeper
Если вы хотите иметь несколько экземпляров ZooKeeper для вашего кластера, значение свойства zookeeper.connect на каждом узле должно быть идентичным, разделенным запятыми строкой, в которой перечислены IP-адреса и номера портов для всех экземпляров ZooKeeper.
Теперь, когда все установки сделаны, вы можете снять права администратора (суперпользователя) kafka. Для начала выйдите с оболочки или используйте другого пользователя чтобы сделать следующее действия. Удаляем пользователя kafka из группы sudo:
Чтобы еще больше повысить безопасность вашего сервера Kafka, заблокируйте пароль пользователя kafka с помощью команды passwd. Это гарантирует, что никто не сможет напрямую войти через данного пользователя:
На данный момент только root или пользователь sudo могут войти в систему под именем kafka, введя следующую команду:
В будущем, если вы хотите разблокировать его, используйте passwd с ключом «-u»:
Установка Kafka на Mac OS X
Установка Homebrew на Mac OS X
Для поиска используем команду:
И, устанавливаем нужные пакеты. Я не использовал kafka на Mac OS X. По этому, не могу описать подробную инструкцию.
Статья «Установка Kafka в Unix/Linux» завершена. В следующих статьях, я планировал собрать кластер с Kafka. Но на все времени нет, напишу когда будет время 😉
Источник