아무거나

[logstash를 이용한 db에서 es로 데이터 전송 5.5.0 기준] # 스펙 # tar.gz 형태 # logstash 5.5.0 # mysql-connector-java-5.1.36.jar 1. logstash를 설치한다. ex) wget https://artifacts.elastic.co/downloads/logstash/logstash-5.5.0.tar.gz 2. logstash 압축을 푼다 ex) tar -xvzf logstash-5.5.0.tar.gz 3. mysql-connector-java-5.1.38.jar 다운 * 참조 : https://mvnrepository.com/artifact/mysql/mysql-connector-java/5.1.38 - wget http://central...

[elasticsearch] 검색쿼리 요청시 count(size) 10000이 넘을 경우 에러 elasticsearch 기본 count 세팅값은 10000으로 되어있다. 이 부분을 수정하려면 2가지 방법이 있다. 1. elasticsearch.yml에 아래 값을 지정하여 준다. [elasticsearch.yml] index.max_result_window {count} 2. api를 호출하여 수정한다. - curl -XPUT "http://localhost:9200/my_index/_settings" -d '{ "index" : { "max_result_window" : 200000 } }'

[AWS S3를 활용한 ELK 스택 로그 백업 및 복원] 1. 설치(S3 repository plugin) - elasticsearch 와 같은 서버에 설치한다. - cd /usr/share/elasticsearch - sudo bin/elasticsearch-plugin install repository-s3 - sudo service elasticsearch restart 2. s3 백업을 등록(aws IAM 기준) - curl -XPUT 'http://127.0.0.1:9200/_snapshot/s3_elk_backup' -d '{ "type":"s3", "settings":{ "access_key":"[YOUR_ACCESS_KEY]", "secret_key":"[YOUR_SECRET_KEY]", ..

[큐레이터 - qurator] ELK 스택을 장기간 운용하게 되면 과거의 많은 로그가 디스크 공간을 차지하게 된다. 매번 운영자가 오래된 데이터를 삭제하는 것보다, 이를 자동화해서 관리하는게 시스템을 보다 안정적으로 운용할 수 있다. 큐레이터는 기간 및 디스크 사이즈 기준으로 오래된 로그를 지워주는 프로그램이다. ex) 한달 이상된 인덱스를 지워라.. 1. 설치 - pip install elasticsearch-curator - 명령어에 curator라고 치면 관련에러를 볼 수 있다. 2. curator config 설정 # [curator.yml] --- # Remember, leave a key empty if there is no value. None will be a string, # not a ..

[filebeat 설치] 1. https://www.elastic.co/downloads/beats/filebeat 접속하여 다운 - wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add - - sudo apt-get install apt-transport-https - echo "deb https://artifacts.elastic.co/packages/5.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-5.x.list - sudo apt-get update && sudo apt-get install filebeat 2. filebeat conf..

[logstash] 실전 주식 분석 1. https://finance.yahoo.com/ 접속하여 FB라고 검색(facebook) 그러면 주식정보가 나온다. 2. 탭중 Historical Data를 클릭하면 이 주식이 어떤 가격이었는지 모든 정보가 표시된다. - Time Period 에서 5Y를 클릭하고 Done를 클릭한다음 우측에 Apply를 클릭 그리고 Download Data를 클릭하여 다운받는다(5년 동안의 주식정보) 3. logstash의 conf파일을 생성하고 설정해주자. // 해당 내용의 설명은 https://bkjeon1614.tistory.com/312 참고 # [logstash_stock.conf] input { file { path => "/home/ubuntu/table.csv" s..

[logstash] 실전 인구분석 1. 데이터는 catalog.data.gov/dataset 에서 직접 다운받도록 한다. ( 해당 사이트는 데이터가 많으므로 알아놓으면 좋다. ) - 세계 인구에 대한 dataset을 다운받는다. 검색어에 population by country(1980 - 2010) 로 검색한다. - csv클릭하여 직접 다운받자(데이터가 NA나 --로 되어있는걸 지우는 작업을 하자. -> 해당 변경된 파일 첨부해놓음) 2. sudo vi logstash.conf 생성하자 // 파일에서 input을 받을 것이고 path는 절대경로로 지정하고 start_position을 beginning로 설정 // 현재 logstash 버전에서는 end가 기본설정이다 하지만 우리는 파일에서 받기 때문에 처..

[logstash] data -> logstash(input담당) -> elasticsearch -> kibana logstash는 많은 유형의 데이터를 자기한테 흡수시켜서 변환시킨후 elasticsearch로 보낼수가 있다. 예1) mysql, mongoDB 등.. 많은 종류의 데이터를 흡수할 수 있다. 이렇게 흡수된 데이터들을 자기가 원하는 데이터 포맷으로 변경이 가능하다. 예2) csv와 같은 파일은 모두 text파일인데 우리가 그 값을 수치적으로 더하고 빼고 하려면 text를 수치로 변환시킬수 있다. -> elasticsearch 1. https://www.elastic.co 에서 logstash 최신버전을 받는다. - java 설치여부 확인 - wget -qO - https://artifacts..

1. Visualize에서 생성된 차트를 우측 상단에 save버튼을 선택하여 저장한다. 2. 좌측메뉴에 Dashboard 탭 선택 -> create a Dashboard선택 -> Add 선택하면 1번에 save한 차트가 목록에 표시된다. 그것들을 선택하면 표시가 되는데 그것들의 크기 등 변경할 수 있다 이것들을 꾸며준 후 저장하면 나만의 dashboard가 저장된다.

[키바나 비주얼라이즈(Kibana Visualize) - 타일맵, 지도에 표시] 1. curl -XPUT 'http://localhost:9200/classes' // 인덱스생성 2. curl -XPUT 'http://localhost:9200/classes/class/_mapping' -d @classesRating_mapping.json # [classesRating_mapping.json] { "class" : { "properties" : { "title" : { "type" : "string" }, "professor" : { "type" : "string" }, "major" : { "type" : "string" }, "semester" : { "type" : "string" }, "stud..