아무거나

프로세스 systemd에 등록 및 서버 재부팅시에 자동 실행하게 등록 1. systemd에 service 파일 생성 [test.service] $ sudo vi /usr/lib/systemd/system/test.service // 내용 [Unit] // systemctl status 명령어에 표시되는 상세 설명 Description=test // 유닛이 시작되는 순서를 조정하여 After에 지정된 유닛이 실행된 이후 시작된다. After=network.target [Service] // ExecStart에 영향을 주는 유닛 프로세스가 시작되며, simple, forking, oeshot, idle 등이 있다. Type=forking User=bkjeon Group=bkjeon // syslog에서 구분..

컨슈머 주요 옵션 bootstrap.servers: 카프카 클러스터에 연결을 하기 위한 호스트와 포트정보를 입력 ex) 127.0.0.1:9092,127.0.0.2:9092 ... fetch.min.bytes: 한번에 가져올 수 있는 최소 데이터 사이즈 만약, 지정한 사이즈보다 작은 경우, 요청에 대해 응답하지 않고 데이터가 누적될 때까지 기다린다. group.id: 컨슈머가 속한 컨슈머 그룹을 식별하는 식별자. (중요) enable.auto.commit: 백그라운드로 주기적으로 오프셋을 커밋한다. auto.offset.reset: 카프카에서 초기 오프셋이 없거나 현재 오프셋이 더 이상 존재하지 않은 경우에 다음 옵션으로 리셋한다. auto.offset.reset=earliest: 가장 초기의 오프셋값으..

프로듀서 주요 옵션 bootstrap.servers: 카프카 클러스터에 연결을 하기 위한 호스트와 포트정보를 입력 ex) 127.0.0.1:9092,127.0.0.2:9092 ... acks: 프로듀서가 카프카 토픽의 리더에게 메세지를 보낸 후 요청을 완료하기 전 ack(승인)의 수 해당 옵션의 수가 작으면 성능이 좋지만 메세지 손실 가능성이 있고, 반대로 수가 크면 성능이 좋지 않지만 메세지 손실 가능성도 줄어들거나 없어진다. acks=0: 프로듀서는 서버로부터 어떠한 ack도 기다리지 않습니다. 그러므로 메세지 손실 가능성이 있으며 결과를 알지 못하므로 재요청 설정도 적용되지 않는다. acks=1: 리더는 데이터를 기록하지만, 모든 팔로워는 확인하지 않는다. 즉, 일부 데이터의 손실이 발생할 수 있다..

이전글은 https://bkjeon1614.tistory.com/638 를 참고하도록 하자. 콘솔 프로듀서로 메세지 보내기예시 토픽 생성 // kafka 1번 서버에서 카프카 명령을 실행하자 // 토픽이름: bkjeon-topic // 파티션: 1 // 리플리케이션 팩터: 3 $ /home/bkjeon/app/kafka/bin/kafka-topics.sh --zookeeper 192.168.0.200:2181,192.168.0.201:2181,192.168.0.202:2181/bkjeon-kafka --replication-factor 3 --partitions 1 --topic bkjeon-topic --create // 하기 명령으로 토픽의 리플리케이션, ISR, 리더와 팔로워 등의 상세 정보를 확인..

이전글은 https://bkjeon1614.tistory.com/634 를 참고하도록 하자. getting started 카프카에서 제공해주는 가장 기본적인 명령어를 시작 토픽생성 // bkjeon-topic 이라는 토픽을 생성하고 생성이 완료되면 Created topic "bkjeon-topic" 라고 출력된다. $ /home/bkjeon/app/kafka/bin/kafka-topics.sh --zookeeper 192.168.0.200:2181,192.168.0.201:2181,192.168.0.202:2181/bkjeon-kafka --replication-factor 1 --partitions 1 --topic bkjeon-topic --create 토픽삭제 // 브로커 환경설정에서 delete...

Zookeeper 및 Kafka 설치(Centos7) Zookeeper 클러스터 설치 (과반수 방식이라 홀수로 운영이 구성되야함) Java 설치 $ sudo yum -y install java-1.8.0-openjdk https://zookeeper.apache.org/ 접속하여 하위 메뉴에 Getting Started의 2번 Download 링크를 클릭한다. (=2. Download ZooKeeper from the release page.) 그 다음 Download 에서 3.4.14 버전의 확장자 tar.gz으로 다운받는다 아래 명령으로 압축을 해제한다. // 경로이동 및 설치폴더 생성 mkdir /home/bkjeon/app // 다운 $ wget https://archive.apache.org/d..

해당 글은 CentOS7 기준으로 작성되었다. 고정 IP 할당 CentOS7 아래 이미지와 같이 네트워크 설정을 "어댑터에 브리지"로 변경한다. IP설정 파일 수정 sudo vi /etc/sysconfig/network-scripts/ifcfg-enp0s3 [ifcfg-enp0s3] ... # 고정IP 사용 BOOTPROTO="static" ... # 원하는 고정 아이피 추가 IPADDR=192.168.0.200 # 넷마스크 디폴트 설정 NETMASK = 255.255.255.0 # 게이트 웨이 주소 GATEWAY=192.168.0.1 # 기본DNS, 보조DNS -> KT로 맞춤 DNS1=168.126.63.1 DNS2=168.126.63.2 # 부팅시 자동 활성화 여부 ONBOOT="yes" netwo..

작업도중 임시로 저장해 두고 다른 branch에서 작업하고 싶을때 사용하는 명령(git stash) 하던 작업 stash 저장 $ git stash stash 목록을 확인 $ git stash list stash 적용 // 최근 저장된 stash 으로 적용 $ git stash apply // 원하는 stash의 버전으로 적용 $ git stash apply {stash 버전명} // index 옵션을 적용하면 staged 상태였던 파일들까지 자동으로 다시 staged 상태까지 복원시켜준다. $ git stash apply --index 임시 저장된 stash 제거 // 최근 저장된 stash 제거 $ git stash drop // 원하는 stash의 버전으로 제거 $ git stash drop {st..

특정 url path에 접근할 때 서버 경로에 있는 파일 불러오기 [nginx.conf] ... server { ... # 해당 http://localhost/upLoadFile/file.jpg 에 접근하면 해당 file.jpg 파일로 접근할 수 있다. location /upLoadFile { alias /home/bkjeon/files; } ... } ...

Git Commit Template란 Commit 작성법을 규칙으로 정하고 그 규칙을 Template으로 가이드하는 파일을 만들어서 적용 Git Commit Template 설정 프로젝트 최상위 경로에 git-commit-template.txt 생성 [git-commit-template.txt] # Insert 를 클릭하여 해당 글을 수정한단 (vi와 동일) # 제목의 길이는 최대 40글자까지 # 제목에 .(마침표) 금지 # 리스트 # feature: 신규 기능 및 유지보수 건 # bug: 버그 수정 # etc: 기타 변경 # : 지우고 입력 -> ex: feature:제목 : # 지우고 설명 입력 -> 설명 테스트 # 지우고 연관된 이슈들을 입력 -> (ex: feature #321, bug #211)..