아무거나

[logstash] 실전 인구분석 1. 데이터는 catalog.data.gov/dataset 에서 직접 다운받도록 한다. ( 해당 사이트는 데이터가 많으므로 알아놓으면 좋다. ) - 세계 인구에 대한 dataset을 다운받는다. 검색어에 population by country(1980 - 2010) 로 검색한다. - csv클릭하여 직접 다운받자(데이터가 NA나 --로 되어있는걸 지우는 작업을 하자. -> 해당 변경된 파일 첨부해놓음) 2. sudo vi logstash.conf 생성하자 // 파일에서 input을 받을 것이고 path는 절대경로로 지정하고 start_position을 beginning로 설정 // 현재 logstash 버전에서는 end가 기본설정이다 하지만 우리는 파일에서 받기 때문에 처..

[logstash] data -> logstash(input담당) -> elasticsearch -> kibana logstash는 많은 유형의 데이터를 자기한테 흡수시켜서 변환시킨후 elasticsearch로 보낼수가 있다. 예1) mysql, mongoDB 등.. 많은 종류의 데이터를 흡수할 수 있다. 이렇게 흡수된 데이터들을 자기가 원하는 데이터 포맷으로 변경이 가능하다. 예2) csv와 같은 파일은 모두 text파일인데 우리가 그 값을 수치적으로 더하고 빼고 하려면 text를 수치로 변환시킬수 있다. -> elasticsearch 1. https://www.elastic.co 에서 logstash 최신버전을 받는다. - java 설치여부 확인 - wget -qO - https://artifacts..

1. Visualize에서 생성된 차트를 우측 상단에 save버튼을 선택하여 저장한다. 2. 좌측메뉴에 Dashboard 탭 선택 -> create a Dashboard선택 -> Add 선택하면 1번에 save한 차트가 목록에 표시된다. 그것들을 선택하면 표시가 되는데 그것들의 크기 등 변경할 수 있다 이것들을 꾸며준 후 저장하면 나만의 dashboard가 저장된다.

[키바나 비주얼라이즈(Kibana Visualize) - 타일맵, 지도에 표시] 1. curl -XPUT 'http://localhost:9200/classes' // 인덱스생성 2. curl -XPUT 'http://localhost:9200/classes/class/_mapping' -d @classesRating_mapping.json # [classesRating_mapping.json] { "class" : { "properties" : { "title" : { "type" : "string" }, "professor" : { "type" : "string" }, "major" : { "type" : "string" }, "semester" : { "type" : "string" }, "stud..

[키바나 비주얼라이즈(Kibana Visualize) - 막대그래프, 파이차트] 1. 좌측 메뉴중 Visualize탭을 선택한다.(Vertical bar chart) - Create a Visualizeation선택하고 여러 메뉴들중 Vertical bar chart를 선택해보자. - 그러면 name쪽에 생성한 인덱스가 표시된다(=basketball). 그것을 클릭하자 - 이제 평균 점수를 구할것이다. 먼저 Add metrics를 선택해서 Y축인 Y-Axis를 선택하자 그리고 Y-Axis(Count)를 제거하자. - 그 다음 Aggregation에서(select box) Metric Aggregations 에서 Average를 선택 - 그리고 Field는 points를 선택(우리가 원하는 결과는 선수별 ..

1. 좌측메뉴중에 Discover를 선택한다. - 그럼 no results found라고 뜨는데 그 이유는 데이터가 15분동안 없었기 때문이다. 2. 우측 상단에 Last 15 minutes를 선택하여 Last 6 months 로 변경. 그러면 바 차트가 보일것이다. 3. 바 차트에 바에다가 마우스온을하면 그 바 차트에 있는 도큐먼트의 개수가 나온다. 4. 또 다르게 검색하려면 2번처럼 우측 상단을 클릭 후 Relative기능을 사용하여 조건을 변경할 수 있다. 그리고 Absolute를 선택하면 달력에서 시간을 지정할 수 있다. 5. 하단 데이터 목록의 row별 왼쪽 화살표를 클릭하면 table과 json형식을 선택하여 볼 수 있다. - 만약 예를 들어 name이라는 필드에서 Stephen Curry에 ..

키바나 매니지먼트(kibana management) 1. curl -XDELETE localhost:9200/basketball // 이전 basketball 인덱스를 삭제(새로 작업하기 위함) 2. curl -XPUT localhost:9200/basketball // basketball 인덱스를 생성 3. curl -XPUT 'localhost:9200/basketball/record/_mapping' -d @basketball_mapping.json # [basketball_mapping.json] { "record" : { "properties" : { "team" : { "type" : "string", "fielddata" : true }, "name" : { "type" : "string",..

[kibana 설치] ​# kibana 5.x​ 1. wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add - 2. sudo apt-get install apt-transport-https 3. echo "deb https://artifacts.elastic.co/packages/5.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-5.x.list 4. sudo apt-get update && sudo apt-get install kibana 5. config kibana(/etc/kibana/kibana.yml) - elasticsearch.url..

[모든 인덱스 삭제 및 방어] - curl -XDELETE 'http://localhost:9200/*' // 모든 인덱스 삭제 - 방어설정은 elasticsearch.yml에서 action.destructive_requires_name: true 로 바꿔놓자.​

버킷 어그리게이션(Bucket Aggregation) * 메트릭 어그리게이션과는 다르게 버킷 어그리게이션은 group by라고 보면 된다. 예를 들어 그룹별로 결과값을 도출할때 사용한다. 1. curl -XPUT localhost:9200/basketball // 인덱스생성 2. sudo vi basketball_mapping.json // 매핑 데이터 생성 # [basketball_mapping.json] { "record" : { "properties" : { "team" : { "type" : "string", "fielddata" : true }, "name" : { "type" : "string", "fielddata" : true }, "points" : { "type" : "long" }, ..