반응형

kafka connect 2

Kafka Connect 사용성 검토

개요 - 데이터 파이프라인 생성 시 반복 작업을 줄이고 효율적인 전송을 이루기 위한 애플리케이션 - 반복작업에 대해서 매번 Producer, Consumer 애플리케이션의 배포/운영해야 하는 비효율 보완 - Connect 를 이용하면 특정한 작업 형태를 템플릿으로 만들어 놓은 Connector 를 실행함으로써 반복작업을 줄일 수 있음. - Kafka 브로커와 별도의 클러스터를 구성하며 Connector 가 실행되는 환경을 제공 장단점 장점 단점 관리 용이 모니터링 가능 개발 생산성 최적화 및 유지보수되는 pre-build connector 시스템 복잡성 증가 보안 문제 가능성 증가 (타 시스템 연동 때문) 제한된 기능 Confluent Platform 소개 Confluent Platform은 여러 소스 ..

개발 일지 2023.05.24

#5 와우 경매장 데이터 적재

개요 와우 경매장 데이터를 한 시간마다 데이터를 GET해서 kafka로 publish 하며, publish 된 데이터를 sink connector를 통해 MongoDB에 raw data를 적재하는 프로세스에 대한 설계 및 구현 project 소스: https://github.com/p-bear/data-collect-server 프로젝트 - spring boot project - spring-kafka를 통한 producer 구현 - Logback을 통한 로깅 - Java HttpClient를 통한 REST 통신 CI / CD - Jenkinsfile을 통한 빌드 관리 - Dockerfile을 통한 이미지 빌드 Connector - Kafka-connect를 통한 connector 추가 및 관리 - Mo..

반응형