아무거나

Soft Limit, Hard Limit 각 계정 마다 하나의 프로세스가 가질 수 있는 file descriptor에 제한이 있다. Soft limit 는 새로운 프로그램이 생성되면 디폴트로 적용되는 제한 값 Hard limit 는 Soft limit 부터 늘릴 수 있는 최대 값 (root만 조정 가능) aws ec2 기준으로는 인스턴스 타입에 따라 limit가 조정된다. 즉, 서버 사양에 따라 limit를 증가시킬 수 있다. Java는 hard 옵션까지 파일오픈이되고 Python에서는 soft옵션까지만 file이 오픈되는 이유 openjdk에서는 -XX:+MaxFDLimit 옵션이 true 인 경우 setrlimit 으로 limit를 증가시키므로 hard 옵션까지 파일이 오픈된다. 설치된 java의 M..

로컬세팅시 자주 사용하는 명령들을 귀찮아서 한 번에 저장하였다. Docker 설치(CentOS8) sudo yum install -y yum-utils device-mapper-persistent-data lvm2 sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo sudo yum install docker-ce Elasticsearch + Kibana + Cerebro 설치 (Docker Compose 또는 Docker 중 선택) Docker Compose [docker-compose.yml] version: '3.6' services: elasticsearch: image: 'docker.e..

우분투에 Visual Studio Code 설치 및 쿠버네티스 플러그인 활용 설치// 마스터 노드에서 VS Code 설치 $ sudo snap install --classic code --classic // 실행명령 $ code kubernetes 플러그인 활용 좌측의 블럭모양을 클릭하거나, Ctrl + Shift + X 로 실행 kubernetes 플러그인 설치 kubernetes로 검색 후 설치하면 좌측 메뉴에 쿠버네티스 아이콘이 표시된다. 그것을 클릭해보자. 그러면 로컬에 있는 쿠버네티스 정보들을 가져온다. 그리고 외부에서 가져올때는 CLUSTERS 메뉴의 우측에 ''' 을 클릭하고 Add Existing Cluster 을 클릭하면 외부로 연동할 수 있지만 해당 포스팅 작성일 기준 Azure 또는 ..

tcp_max_tw_buckets 값 설정 tcp_max_tw_buckets 는 시스템이 동시에 가질 수 있는 timewait 소켓의 최대 갯수 해당 값을 초과하면 time-wait 소켓을 즉시 파괴하고 경고 출력 기본값 보다 낮추면 안됨 현재 수치 확인 명령 $ cat /proc/sys/net/ipv4/tcp_max_tw_buckets 적용 // 적용 $ echo "net.ipv4.tcp_max_tw_buckets=2000000" >> /etc/sysctl.conf // 영구적용시 하기 명령 실행 $ sysctl -p Soft Limit, Hard Limit 영구 설정 일반적으론 soft limit과 hard limit을 동일하게 적용한다 [/etc/security/limits.conf] ... # "..

커널 파라미터 튜닝 예시: Nginx가 9091 포트로 연결하는 과정에서 문제가 발생(하나의 서버에 Nginx + app 이 있을 때 Nginx가 Client 기준으로 되므로 포트 고갈 이슈 발생) 소켓 상태 확인 (만약 timewait가 20xxx개면 timewait 소켓이 2만개나 되는것이다) // 소켓 상태 확인 $ ss -s // 소켓 상태 확인(자세히) $ netstat -napo | grep -i time_wait // 9091 포트가 목적지인 timeout 소켓 개수 확인 $ netstat -napo | grep -ic 9091 해결방법 Local Port 범위 증가 (일시적으론 대체가 가능하나 결국 지속적인 요청으로 인하여 포트의 고갈이 다시 발생) $ echo "10240 65535" >..

프로세스 systemd에 등록 및 서버 재부팅시에 자동 실행하게 등록 1. systemd에 service 파일 생성 [test.service] $ sudo vi /usr/lib/systemd/system/test.service // 내용 [Unit] // systemctl status 명령어에 표시되는 상세 설명 Description=test // 유닛이 시작되는 순서를 조정하여 After에 지정된 유닛이 실행된 이후 시작된다. After=network.target [Service] // ExecStart에 영향을 주는 유닛 프로세스가 시작되며, simple, forking, oeshot, idle 등이 있다. Type=forking User=bkjeon Group=bkjeon // syslog에서 구분..

이전글은 https://bkjeon1614.tistory.com/638 를 참고하도록 하자. 콘솔 프로듀서로 메세지 보내기예시 토픽 생성 // kafka 1번 서버에서 카프카 명령을 실행하자 // 토픽이름: bkjeon-topic // 파티션: 1 // 리플리케이션 팩터: 3 $ /home/bkjeon/app/kafka/bin/kafka-topics.sh --zookeeper 192.168.0.200:2181,192.168.0.201:2181,192.168.0.202:2181/bkjeon-kafka --replication-factor 3 --partitions 1 --topic bkjeon-topic --create // 하기 명령으로 토픽의 리플리케이션, ISR, 리더와 팔로워 등의 상세 정보를 확인..

이전글은 https://bkjeon1614.tistory.com/634 를 참고하도록 하자. getting started 카프카에서 제공해주는 가장 기본적인 명령어를 시작 토픽생성 // bkjeon-topic 이라는 토픽을 생성하고 생성이 완료되면 Created topic "bkjeon-topic" 라고 출력된다. $ /home/bkjeon/app/kafka/bin/kafka-topics.sh --zookeeper 192.168.0.200:2181,192.168.0.201:2181,192.168.0.202:2181/bkjeon-kafka --replication-factor 1 --partitions 1 --topic bkjeon-topic --create 토픽삭제 // 브로커 환경설정에서 delete...

Zookeeper 및 Kafka 설치(Centos7) Zookeeper 클러스터 설치 (과반수 방식이라 홀수로 운영이 구성되야함) Java 설치 $ sudo yum -y install java-1.8.0-openjdk https://zookeeper.apache.org/ 접속하여 하위 메뉴에 Getting Started의 2번 Download 링크를 클릭한다. (=2. Download ZooKeeper from the release page.) 그 다음 Download 에서 3.4.14 버전의 확장자 tar.gz으로 다운받는다 아래 명령으로 압축을 해제한다. // 경로이동 및 설치폴더 생성 mkdir /home/bkjeon/app // 다운 $ wget https://archive.apache.org/d..

E: Could not get lock /var/lib/dpkg/lock frontend - open (11: Resource temporarily unavailable) E: Unable to acquire the dpkg frontend lock (/var/lib/dpkg/lock-frontend), is another process using it? apt-get 관련 기능을 사용할 때 위와 같은 오류가 표시된다. 그럴떈 아래와 같이 해결하자. $ sudo killall apt apt-get $ sudo rm /var/lib/apt/lists/lock $ sudo rm /var/cache/apt/archives/lock $ sudo rm /var/lib/dpkg/lock* $ sudo dpkg --..