[Confluent] Confluent Connector 설치 및 생성

Posted Dec 16, 2023

By Ingyung Park

2 min read

Confluent 커넥터 설치

Datagen Connector 및 FileStream Connector 설치 가이드

설치 방법

Connector를 설치하는 방법은 다양하다.

hosts.yml 파일에 넣어 Ansible로 설치
confluent-hub를 통해 설치
docker image에 설치
수동 설치

Datagen Source Connector 생성

Datagen Source Connector를 설치한 후, 아래와 같은 설정 파일을 사용하여 Kafka Connect에 연결할 수 있다.

confluent-hub install confluentinc/kafka-connect-datagen:latest

  
{
  "name": "datagen-users",
  "config": {
    "connector.class": "io.confluent.kafka.connect.datagen.DatagenConnector",
    "kafka.topic": "users",
    "quickstart": "users",
    "key.converter": "org.apache.kafka.connect.storage.StringConverter",
    "value.converter": "org.apache.kafka.connect.json.JsonConverter",
    "value.converter.schemas.enable": "false",
    "max.interval": 1000,
    "iterations": 10000000,
    "tasks.max": "1"
  }
}

위 설정은 datagen-users라는 이름으로 Datagen Source Connector를 설정하며, users 토픽에 데이터를 생성한다.

FileStream Sink Connector 생성

FileStream Connector 은 기본 설치가 되므로, 설치된 커넥터에 경로 설정을 해줘야 한다.

FileStream Connector를 사용하여 데이터를 파일로 저장할 수 있다.

버전 6.2.1부터 FileStream Sink 및 Source 커넥터 아티팩트가 Kafka Connect 외부로 이동되어, FileStream 커넥터를 실행하려면 plugin.path에 표시된 대로 구성 속성에 새 경로를 추가해야 한다.

FileStream Connector 관련 plugin path 수정

vi /app/confluent/etc/kafka/connect-distributed.properties

plugin.path=/app/confluent/confluent-7.5.0/share/filestream-connectors

FileStream Connector 설정

  
name=local-file-sink
connector.class=FileStreamSink
tasks.max=1
file=/tmp/test.sink.txt
topics=connect-test

위 설정은 connect-test 토픽의 데이터를 /tmp/test.sink.txt 파일에 저장하도록 한다.

  
{
  "name": "FileStreamSinkConnectorConnector_1",
  "config": {
    "value.converter.schemas.enable": "false",
    "name": "FileStreamSinkConnectorConnector_1",
    "connector.class": "org.apache.kafka.connect.file.FileStreamSinkConnector",
    "tasks.max": "1",
    "key.converter": "org.apache.kafka.connect.storage.StringConverter",
    "value.converter": "org.apache.kafka.connect.json.JsonConverter",
    "topics": "users",
    "file": "/tmp/users.txt"
  }
}