아무거나

[filebeat 설치] 1. https://www.elastic.co/downloads/beats/filebeat 접속하여 다운 - wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add - - sudo apt-get install apt-transport-https - echo "deb https://artifacts.elastic.co/packages/5.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-5.x.list - sudo apt-get update && sudo apt-get install filebeat 2. filebeat conf..

[logstash] 실전 주식 분석 1. https://finance.yahoo.com/ 접속하여 FB라고 검색(facebook) 그러면 주식정보가 나온다. 2. 탭중 Historical Data를 클릭하면 이 주식이 어떤 가격이었는지 모든 정보가 표시된다. - Time Period 에서 5Y를 클릭하고 Done를 클릭한다음 우측에 Apply를 클릭 그리고 Download Data를 클릭하여 다운받는다(5년 동안의 주식정보) 3. logstash의 conf파일을 생성하고 설정해주자. // 해당 내용의 설명은 https://bkjeon1614.tistory.com/312 참고 # [logstash_stock.conf] input { file { path => "/home/ubuntu/table.csv" s..

[logstash] 실전 인구분석 1. 데이터는 catalog.data.gov/dataset 에서 직접 다운받도록 한다. ( 해당 사이트는 데이터가 많으므로 알아놓으면 좋다. ) - 세계 인구에 대한 dataset을 다운받는다. 검색어에 population by country(1980 - 2010) 로 검색한다. - csv클릭하여 직접 다운받자(데이터가 NA나 --로 되어있는걸 지우는 작업을 하자. -> 해당 변경된 파일 첨부해놓음) 2. sudo vi logstash.conf 생성하자 // 파일에서 input을 받을 것이고 path는 절대경로로 지정하고 start_position을 beginning로 설정 // 현재 logstash 버전에서는 end가 기본설정이다 하지만 우리는 파일에서 받기 때문에 처..

[logstash] data -> logstash(input담당) -> elasticsearch -> kibana logstash는 많은 유형의 데이터를 자기한테 흡수시켜서 변환시킨후 elasticsearch로 보낼수가 있다. 예1) mysql, mongoDB 등.. 많은 종류의 데이터를 흡수할 수 있다. 이렇게 흡수된 데이터들을 자기가 원하는 데이터 포맷으로 변경이 가능하다. 예2) csv와 같은 파일은 모두 text파일인데 우리가 그 값을 수치적으로 더하고 빼고 하려면 text를 수치로 변환시킬수 있다. -> elasticsearch 1. https://www.elastic.co 에서 logstash 최신버전을 받는다. - java 설치여부 확인 - wget -qO - https://artifacts..

1. Visualize에서 생성된 차트를 우측 상단에 save버튼을 선택하여 저장한다. 2. 좌측메뉴에 Dashboard 탭 선택 -> create a Dashboard선택 -> Add 선택하면 1번에 save한 차트가 목록에 표시된다. 그것들을 선택하면 표시가 되는데 그것들의 크기 등 변경할 수 있다 이것들을 꾸며준 후 저장하면 나만의 dashboard가 저장된다.

[키바나 비주얼라이즈(Kibana Visualize) - 타일맵, 지도에 표시] 1. curl -XPUT 'http://localhost:9200/classes' // 인덱스생성 2. curl -XPUT 'http://localhost:9200/classes/class/_mapping' -d @classesRating_mapping.json # [classesRating_mapping.json] { "class" : { "properties" : { "title" : { "type" : "string" }, "professor" : { "type" : "string" }, "major" : { "type" : "string" }, "semester" : { "type" : "string" }, "stud..

[키바나 비주얼라이즈(Kibana Visualize) - 막대그래프, 파이차트] 1. 좌측 메뉴중 Visualize탭을 선택한다.(Vertical bar chart) - Create a Visualizeation선택하고 여러 메뉴들중 Vertical bar chart를 선택해보자. - 그러면 name쪽에 생성한 인덱스가 표시된다(=basketball). 그것을 클릭하자 - 이제 평균 점수를 구할것이다. 먼저 Add metrics를 선택해서 Y축인 Y-Axis를 선택하자 그리고 Y-Axis(Count)를 제거하자. - 그 다음 Aggregation에서(select box) Metric Aggregations 에서 Average를 선택 - 그리고 Field는 points를 선택(우리가 원하는 결과는 선수별 ..

1. 좌측메뉴중에 Discover를 선택한다. - 그럼 no results found라고 뜨는데 그 이유는 데이터가 15분동안 없었기 때문이다. 2. 우측 상단에 Last 15 minutes를 선택하여 Last 6 months 로 변경. 그러면 바 차트가 보일것이다. 3. 바 차트에 바에다가 마우스온을하면 그 바 차트에 있는 도큐먼트의 개수가 나온다. 4. 또 다르게 검색하려면 2번처럼 우측 상단을 클릭 후 Relative기능을 사용하여 조건을 변경할 수 있다. 그리고 Absolute를 선택하면 달력에서 시간을 지정할 수 있다. 5. 하단 데이터 목록의 row별 왼쪽 화살표를 클릭하면 table과 json형식을 선택하여 볼 수 있다. - 만약 예를 들어 name이라는 필드에서 Stephen Curry에 ..

함께 자라기 애자일로 가는 길(김창준 지음)을 읽고 나서 이전 회사들에서 추구한 개발방법론이였던 애자일에 대해 실제 사용하는 애자일에 대한 실무적인 성격의 내용보다는 학술적으로 내용이 이루어져 있던 책이다. 책의 내용중 인상깊었던 내용들을 정리해본다. 달인이 되는 비결 1장 자라기 일반적으로 전문성 획득에 있어 반복의 중요성을 이야기하곤 한다. 그러나 한 가지 예를 들어서 다른 시선에서 본다면, 우리는 평생 세수와 양치질을 꾸준하게 반복했지만 왜 세수와 양치의 달인이 될 수 없다. 이빨이 썩고 병원에 가서도 의사에게 이빨을 제대로 못 닦는 소리를 듣곤 한다. 맞는말이다. 별생각 없이 10년 20년 아무리 해봐야 전문가가 될 수 없다. 전문가가 되기 위해서는 실력을 개선하려는 동기가 있어야 한다. 구체적인..

키바나 매니지먼트(kibana management) 1. curl -XDELETE localhost:9200/basketball // 이전 basketball 인덱스를 삭제(새로 작업하기 위함) 2. curl -XPUT localhost:9200/basketball // basketball 인덱스를 생성 3. curl -XPUT 'localhost:9200/basketball/record/_mapping' -d @basketball_mapping.json # [basketball_mapping.json] { "record" : { "properties" : { "team" : { "type" : "string", "fielddata" : true }, "name" : { "type" : "string",..