컨슈머 주요 옵션

컨슈머 주요 옵션

• bootstrap.servers: 카프카 클러스터에 연결을 하기 위한 호스트와 포트정보를 입력 ex) 127.0.0.1:9092,127.0.0.2:9092 ...
• fetch.min.bytes: 한번에 가져올 수 있는 최소 데이터 사이즈 만약, 지정한 사이즈보다 작은 경우, 요청에 대해 응답하지 않고 데이터가 누적될 때까지 기다린다.
• group.id: 컨슈머가 속한 컨슈머 그룹을 식별하는 식별자. (중요)
• enable.auto.commit: 백그라운드로 주기적으로 오프셋을 커밋한다.
• auto.offset.reset: 카프카에서 초기 오프셋이 없거나 현재 오프셋이 더 이상 존재하지 않은 경우에 다음 옵션으로 리셋한다.
  • auto.offset.reset=earliest: 가장 초기의 오프셋값으로 설정
  • auto.offset.reset=latest: 가장 마지막의 오프셋값으로 설정
  • auto.offset.reset=none: 이전 오프셋값을 찾지 못하면 에러를 나타냄
• fetch.max.bytes: 한번에 가져올 수 있는 최대 데이터 사이즈
• request.timeout.ms: 요청에 대해 응답을 기다리는 최대 시간
• session.timeout.ms: 컨슈머와 브로커사이의 세션 타임 아웃 시간(기본값 10초)
• heartbeat.interval.ms: session.timeout.ms보다 낮아야 하며 일반적으로 3분의 1정도로 설정한다. (기본값 3초)
• max.poll.records: 단일 호출 poll()에 대한 최대 레코드 수를 조정 즉, 애플리케이션이 폴링 루프에서 데이터 양을 조정할 수 있음
• max.poll.interval.ms: 컨슈머가 살아있는지를 체크하기 위해 하트비트를 주기적으로 보내는데, 컨슈머가 계속해서 하트비트만 보내고 실제로 메세지를 가져가지 않을 경우, 주기적으로 poll을 호출하지 않으면 장애라고 판단하고 컨슈머 그룹에서 제외
• auto.commit.interval.ms: 주기적으로 오프셋을 커밋하는 시간
• fetch.max.wait.ms: fetch.min.bytes에 의해 설정된 데이터보다 적은 경우 요청에 응답을 기다리는 최대 시간