반응형
Kafka 공부4
Kafka Connect 작업 준비하기
Kafka Connect 작업 준비하기
1. Kafka Connect 작업이란?
Kafka Connect를 이용해서 Source에서 Target 시스템 쪽으로 데이터를 넘겨주는 작업.
= Kafka Connect란 데이터를 하나의 소스에서 Target으로 삼은 대상 쪽으로 데이터를 이관시켜주는 것.
(데이터를 import 하고, export 하는 기능이 포함이 되어 있음)
프로그래밍적 요소 없이 설정 만으로도 데이터 이동을 할 수 있다.
2. Kafka Connect 특징
특징
1) 데이터 import/export 가능
2) 프로그래밍적 요소 없이 설정 만으로도 데이터 이동을 할 수 있다.
3) 기본 모드로 kafka connect 설치가능 > 멀티 클러스터(distribution mode) 구축, 싱글 서버(standlone mode) 구축 가능
- restful api 통해 지원 : 데이터의 상태를 변경/지우기/추가/가져오기를 할 수 있다. (http 프로토콜을 이용)
* http method : GET, POST, PUT, DELETE
- stream 또는 batch 형태로 데이터 전송
- 커스텀 connector 통한 다양한 plugin 제공 (file, s3, hive, mysql, etc..)
3. kafka connect 종류
1) Source Connect
source system에서 데이터를 topic에 넣어주는 작업
2) Sink Connect
topic에 있는 데이터를 다른 쪽(target)에 넣어주는 작업
앞으로 할 작업!
source system > kafka cluster > target system
반응형
