아무거나

[logstash를 이용한 db에서 es로 데이터 전송 5.5.0 기준] # 스펙 # tar.gz 형태 # logstash 5.5.0 # mysql-connector-java-5.1.36.jar 1. logstash를 설치한다. ex) wget https://artifacts.elastic.co/downloads/logstash/logstash-5.5.0.tar.gz 2. logstash 압축을 푼다 ex) tar -xvzf logstash-5.5.0.tar.gz 3. mysql-connector-java-5.1.38.jar 다운 * 참조 : https://mvnrepository.com/artifact/mysql/mysql-connector-java/5.1.38 - wget http://central...

[logstash] 실전 주식 분석 1. https://finance.yahoo.com/ 접속하여 FB라고 검색(facebook) 그러면 주식정보가 나온다. 2. 탭중 Historical Data를 클릭하면 이 주식이 어떤 가격이었는지 모든 정보가 표시된다. - Time Period 에서 5Y를 클릭하고 Done를 클릭한다음 우측에 Apply를 클릭 그리고 Download Data를 클릭하여 다운받는다(5년 동안의 주식정보) 3. logstash의 conf파일을 생성하고 설정해주자. // 해당 내용의 설명은 https://bkjeon1614.tistory.com/312 참고 # [logstash_stock.conf] input { file { path => "/home/ubuntu/table.csv" s..

[logstash] 실전 인구분석 1. 데이터는 catalog.data.gov/dataset 에서 직접 다운받도록 한다. ( 해당 사이트는 데이터가 많으므로 알아놓으면 좋다. ) - 세계 인구에 대한 dataset을 다운받는다. 검색어에 population by country(1980 - 2010) 로 검색한다. - csv클릭하여 직접 다운받자(데이터가 NA나 --로 되어있는걸 지우는 작업을 하자. -> 해당 변경된 파일 첨부해놓음) 2. sudo vi logstash.conf 생성하자 // 파일에서 input을 받을 것이고 path는 절대경로로 지정하고 start_position을 beginning로 설정 // 현재 logstash 버전에서는 end가 기본설정이다 하지만 우리는 파일에서 받기 때문에 처..

[logstash] data -> logstash(input담당) -> elasticsearch -> kibana logstash는 많은 유형의 데이터를 자기한테 흡수시켜서 변환시킨후 elasticsearch로 보낼수가 있다. 예1) mysql, mongoDB 등.. 많은 종류의 데이터를 흡수할 수 있다. 이렇게 흡수된 데이터들을 자기가 원하는 데이터 포맷으로 변경이 가능하다. 예2) csv와 같은 파일은 모두 text파일인데 우리가 그 값을 수치적으로 더하고 빼고 하려면 text를 수치로 변환시킬수 있다. -> elasticsearch 1. https://www.elastic.co 에서 logstash 최신버전을 받는다. - java 설치여부 확인 - wget -qO - https://artifacts..