Parallel Consumer란? Confulent.inc에서 개발한 Open Source로 consumer의 consume이 parallel 하게 동작하도록 구현했다. 주요 목적은 분산 Consume을 위해 partition이 과도하게 늘아나는 비합리성을 해결하기 위함이다. Before 기존 Consumer의 구조는 Consume의 주체는 Single Thread로 동작한다. 1. Consumer는 설정된 size 만큼 message를 읽는다(consume). 2. 설정된 offset 전략에 따라서 모든 message 처리가 완료될 때 까지 blocking 한다. 위 그림은 consume 프로세스 중 delay 될 수 있는 상황을 도식화했다. 4번 message가 web request 이슈로 dela..
