아무거나

로컬세팅시 자주 사용하는 명령들을 귀찮아서 한 번에 저장하였다. Docker 설치(CentOS8) sudo yum install -y yum-utils device-mapper-persistent-data lvm2 sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo sudo yum install docker-ce Elasticsearch + Kibana + Cerebro 설치 (Docker Compose 또는 Docker 중 선택) Docker Compose [docker-compose.yml] version: '3.6' services: elasticsearch: image: 'docker.e..

성능 최적화 H/W 세팅 CPU: 8 Core, RAM: 30GB, Disk: 80GB (SSD) 정도로 세팅하여 리소스에 따라 세팅하자. (AWS EC2 기준 m3.2xlarge 부터 추천) Elasticsearch JVM Heap Memory는 32GB 이상 지정할 수 없다. 따라서 64GB 이상을 사용하는 서버를 사용할 이유가 없다. JVM Option은 -Xms와 -Xmx 설정값을 동일하게 설정한다. CPU 사용률이 60% 이상이면 CPU 확장 필요 Document 세팅 Shard Shard 개수는 데이터 크기가 작으면 default 값으로 유지하는게 좋고 데이터 크기가 클수록 응답속도 성능에 맞춰 증가시키는 것이 좋다. Shard의 물리적인 크기는 20GB ~ 40GB 정도의 사이즈가 적절하다...

[springboot] elasticsearch 5.x 사용(transportClient) elasticsearch는 자바로 개발되었다. 그래서 9300 포트는 자바 네이티브로 API개발이 가능하다. 자바 관점에서 API 분류 - 자바 네이티브 API - TransportClient, NodeClient - HTTP Rest API - restTemplate/Apache HttpClient와 같은 툴로 직접 연결, Jest **** 해당 내용은 NodeClient와 TransportClient로 개발이 쉽게 가능하다는 장점이 있다. 그러나 공식적으로 쓰지 않기를 권고 하고 있다. 기능이 추가되어 버전이 올라갈 때 모델이 바뀌고 있다는 점을 현재 강조하고 있으며, 9200포트를 이용하여 REST API로 ..

[elasticsearch] 타입 매핑 관련.. 일반적으로 elasticsearch는 오토매핑이라 넘어오는 데이터순으로 필드들이 생성되어진다. 그럴경우에 데이터 형태가 맞지않는 경우 예를들어 1 or 2 등의 데이터를 string값으로 인식하여 내려주는경우. 즉, 이 값을 int값으로 사용하고 싶을 떄 타입매핑을 사용한다.(데이터 형식을 정해줌.) 보통 인덱스 최초생성때 타입매핑을 해준다. 그 이유는 인덱스별로 alias를 사용하는경우 alias가 변경될때마다 계속 인덱스를 생성하므로 직접 타입매핑 api를 날려도 소용이없는 상황이 생기기 때문이다. 또한 이런 의문이 생길수도있다. "난 데이터형식에 대한 정의가 명시적인게 좋다" 이럴 경우에 최초에 생성하면되는데 속도가 매우 느려진다고 한다. --> 자세..

[logstash를 이용한 db에서 es로 데이터 전송 5.5.0 기준] # 스펙 # tar.gz 형태 # logstash 5.5.0 # mysql-connector-java-5.1.36.jar 1. logstash를 설치한다. ex) wget https://artifacts.elastic.co/downloads/logstash/logstash-5.5.0.tar.gz 2. logstash 압축을 푼다 ex) tar -xvzf logstash-5.5.0.tar.gz 3. mysql-connector-java-5.1.38.jar 다운 * 참조 : https://mvnrepository.com/artifact/mysql/mysql-connector-java/5.1.38 - wget http://central...

[elasticsearch] 검색쿼리 요청시 count(size) 10000이 넘을 경우 에러 elasticsearch 기본 count 세팅값은 10000으로 되어있다. 이 부분을 수정하려면 2가지 방법이 있다. 1. elasticsearch.yml에 아래 값을 지정하여 준다. [elasticsearch.yml] index.max_result_window {count} 2. api를 호출하여 수정한다. - curl -XPUT "http://localhost:9200/my_index/_settings" -d '{ "index" : { "max_result_window" : 200000 } }'

[AWS S3를 활용한 ELK 스택 로그 백업 및 복원] 1. 설치(S3 repository plugin) - elasticsearch 와 같은 서버에 설치한다. - cd /usr/share/elasticsearch - sudo bin/elasticsearch-plugin install repository-s3 - sudo service elasticsearch restart 2. s3 백업을 등록(aws IAM 기준) - curl -XPUT 'http://127.0.0.1:9200/_snapshot/s3_elk_backup' -d '{ "type":"s3", "settings":{ "access_key":"[YOUR_ACCESS_KEY]", "secret_key":"[YOUR_SECRET_KEY]", ..

[큐레이터 - qurator] ELK 스택을 장기간 운용하게 되면 과거의 많은 로그가 디스크 공간을 차지하게 된다. 매번 운영자가 오래된 데이터를 삭제하는 것보다, 이를 자동화해서 관리하는게 시스템을 보다 안정적으로 운용할 수 있다. 큐레이터는 기간 및 디스크 사이즈 기준으로 오래된 로그를 지워주는 프로그램이다. ex) 한달 이상된 인덱스를 지워라.. 1. 설치 - pip install elasticsearch-curator - 명령어에 curator라고 치면 관련에러를 볼 수 있다. 2. curator config 설정 # [curator.yml] --- # Remember, leave a key empty if there is no value. None will be a string, # not a ..

[filebeat 설치] 1. https://www.elastic.co/downloads/beats/filebeat 접속하여 다운 - wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add - - sudo apt-get install apt-transport-https - echo "deb https://artifacts.elastic.co/packages/5.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-5.x.list - sudo apt-get update && sudo apt-get install filebeat 2. filebeat conf..

[logstash] 실전 주식 분석 1. https://finance.yahoo.com/ 접속하여 FB라고 검색(facebook) 그러면 주식정보가 나온다. 2. 탭중 Historical Data를 클릭하면 이 주식이 어떤 가격이었는지 모든 정보가 표시된다. - Time Period 에서 5Y를 클릭하고 Done를 클릭한다음 우측에 Apply를 클릭 그리고 Download Data를 클릭하여 다운받는다(5년 동안의 주식정보) 3. logstash의 conf파일을 생성하고 설정해주자. // 해당 내용의 설명은 https://bkjeon1614.tistory.com/312 참고 # [logstash_stock.conf] input { file { path => "/home/ubuntu/table.csv" s..