아무거나

컨슈머 주요 옵션 bootstrap.servers: 카프카 클러스터에 연결을 하기 위한 호스트와 포트정보를 입력 ex) 127.0.0.1:9092,127.0.0.2:9092 ... fetch.min.bytes: 한번에 가져올 수 있는 최소 데이터 사이즈 만약, 지정한 사이즈보다 작은 경우, 요청에 대해 응답하지 않고 데이터가 누적될 때까지 기다린다. group.id: 컨슈머가 속한 컨슈머 그룹을 식별하는 식별자. (중요) enable.auto.commit: 백그라운드로 주기적으로 오프셋을 커밋한다. auto.offset.reset: 카프카에서 초기 오프셋이 없거나 현재 오프셋이 더 이상 존재하지 않은 경우에 다음 옵션으로 리셋한다. auto.offset.reset=earliest: 가장 초기의 오프셋값으..

프로듀서 주요 옵션 bootstrap.servers: 카프카 클러스터에 연결을 하기 위한 호스트와 포트정보를 입력 ex) 127.0.0.1:9092,127.0.0.2:9092 ... acks: 프로듀서가 카프카 토픽의 리더에게 메세지를 보낸 후 요청을 완료하기 전 ack(승인)의 수 해당 옵션의 수가 작으면 성능이 좋지만 메세지 손실 가능성이 있고, 반대로 수가 크면 성능이 좋지 않지만 메세지 손실 가능성도 줄어들거나 없어진다. acks=0: 프로듀서는 서버로부터 어떠한 ack도 기다리지 않습니다. 그러므로 메세지 손실 가능성이 있으며 결과를 알지 못하므로 재요청 설정도 적용되지 않는다. acks=1: 리더는 데이터를 기록하지만, 모든 팔로워는 확인하지 않는다. 즉, 일부 데이터의 손실이 발생할 수 있다..

이전글은 https://bkjeon1614.tistory.com/638 를 참고하도록 하자. 콘솔 프로듀서로 메세지 보내기예시 토픽 생성 // kafka 1번 서버에서 카프카 명령을 실행하자 // 토픽이름: bkjeon-topic // 파티션: 1 // 리플리케이션 팩터: 3 $ /home/bkjeon/app/kafka/bin/kafka-topics.sh --zookeeper 192.168.0.200:2181,192.168.0.201:2181,192.168.0.202:2181/bkjeon-kafka --replication-factor 3 --partitions 1 --topic bkjeon-topic --create // 하기 명령으로 토픽의 리플리케이션, ISR, 리더와 팔로워 등의 상세 정보를 확인..

이전글은 https://bkjeon1614.tistory.com/634 를 참고하도록 하자. getting started 카프카에서 제공해주는 가장 기본적인 명령어를 시작 토픽생성 // bkjeon-topic 이라는 토픽을 생성하고 생성이 완료되면 Created topic "bkjeon-topic" 라고 출력된다. $ /home/bkjeon/app/kafka/bin/kafka-topics.sh --zookeeper 192.168.0.200:2181,192.168.0.201:2181,192.168.0.202:2181/bkjeon-kafka --replication-factor 1 --partitions 1 --topic bkjeon-topic --create 토픽삭제 // 브로커 환경설정에서 delete...

Zookeeper 및 Kafka 설치(Centos7) Zookeeper 클러스터 설치 (과반수 방식이라 홀수로 운영이 구성되야함) Java 설치 $ sudo yum -y install java-1.8.0-openjdk https://zookeeper.apache.org/ 접속하여 하위 메뉴에 Getting Started의 2번 Download 링크를 클릭한다. (=2. Download ZooKeeper from the release page.) 그 다음 Download 에서 3.4.14 버전의 확장자 tar.gz으로 다운받는다 아래 명령으로 압축을 해제한다. // 경로이동 및 설치폴더 생성 mkdir /home/bkjeon/app // 다운 $ wget https://archive.apache.org/d..