아무거나

메트릭 어그리게이션(Metric Aggregation) * elasticsearch안에있는 도큐먼트안에서 조합을 통해서 어떠한 값을 도출할때 쓰는 방법중 하나이다. 그중 메트릭 어그리게이션은 평균, 최소값, 최대값 등.. 산술값을 구할때 쓴다. 1. vi simple_basketball.json #[data내용] { "index" : { "_index" : "basketball", "_type" : "record", "_id" : "1" } } {"team" : "Chicago Bulls","name" : "Michael Jordan", "points" : 30,"rebounds" : 3,"assists" : 4, "submit_date" : "1996-10-11"} { "index" : { "_inde..

1. simple_basketball.json을 bulk로 데이터를 넣는다. - curl -XPOST 'localhost:9200/_bulk' --data-binary @simple_basketball.json # [json data 내용] { "index" : { "_index" : "basketball", "_type" : "record", "_id" : "1" } } {"team" : "Chicago Bulls","name" : "Michael Jordan", "points" : 30,"rebounds" : 3,"assists" : 4, "submit_date" : "1996-10-11"} { "index" : { "_index" : "basketball", "_type" : "record", "_..

매핑없이 데이터를 넣는것은 매우 위험한일이다 예를들어 도큐먼트에 date를 넣는다하면 elasticsearch가 날짜인지 아닌지 모르니까 단순히 문자열로 저장하는 경우가 있다. 또한 숫자를 넣을때 숫자일지 문자일지 구분이 안갈때 문자로 넣을 수도 있다. 이런 부분들은 예를들어 계산이나 데이터 시각화에 문제가 생긴다. 그러므로 매핑은 적극적으로 해야한다. [매핑할 json 파일] { "class":{ "properties":{ "title":{"type":"string"}, "professor":{"type":"string"}, "major":{"type":"string"}, "semester":{"type":"string"}, "student_count":{"type":"integer"}, "unit":..

[벌크(bulk)] - 여러개의 document를 한번에 elasticsearch에 삽입하는 방법을 bulk라한다. curl -XPOST 'http://localhost:9200/_bulk?pretty' --data-binary @classes.json [classes.json] { "index" : { "_index" : "classes", "_type" : "class", "_id" : "1" } } {"title" : "Machine Learning","Professor" : "Minsuk Heo","major" : "Computer Science","semester" : ["spring", "fall"],"student_count" : 100,"unit" : 3,"rating" : 5, "subm..

1. 테스트를 위한 도큐먼트 생성 - curl -XPOST http://localhost:9200/bongs/bong/1 -d '{"title":"bonggure", "professor":"bong"}' - curl -XGET http://localhost:9200/bongs/bong/1?pretty // 생성확인 2. 도큐먼트 업데이트 - curl -XPOST http://localhost:9200/bongs/bong/1/_update?pretty -d '{"doc":{"unit":1}}' - curl -XGET http://localhost:9200/bongs/bong/1?pretty // 업데이트확인 [결과] ubuntu@ip-172-31-7-4:~$ curl -XPOST http://localho..

1. 인덱스 생성 - curl -XGET http://localhost:9200/bongs // 인덱스 유무를 확인한다. - curl -XGET http://localhost:9200/bongs?pretty // ?pretty 를 파라미터로 주면 예쁘게 json 포맷으로 결과값이 나온다. - curl -XPUT http://localhost:9200/bongs // 인덱스 생성 {"acknowledged":true,"shards_acknowledged":true,"index":"bongs"} 2. 인덱스 삭제 - curl -XDELETE http://localhost:9200/bongs // 인덱스 삭제 {"acknowledged":true} - curl -XGET http://localhost:9200..

[ubuntu 16.04] 1. https://www.elastic.co/support/matrix 접속하여 설치가능한 os를 확인할 수 있다. 2. java8 설치 sudo add-apt-repository -y ppa:webupd8team/java sudo apt-get update sudo apt-get -y install oracle-java8-installer java -version 3. install elasticsearch [download deb file from https://www.elastic.co/downloads/elasticsearch] # wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.6.4..

* 아파치 루신(apache lucene)을 기반으로 개발된 오픈소스 분산 검색 엔진(서버)이다 특징 - 분산+확장성 : elasticsearch는 scale horizontally(규모가 수평적으로 늘어나도록) 하게 설계되어 있다. - 멀티 태넌시 : 클러스터는 여러개의 인덱스들을 저장하고 관리할 수 있으며, 독립된 하나의 쿼리 혹은 그룹 쿼리로 여러 인덱스의 데이터를 검색할 수 있다. - 전문 검색 : elasticsearch는 강력한 전문검색을 지원한다. - 문서 중심 : 복잡한 현실세계의 요소들을 구조화된 JSON 문서 형식으로 저장. 모든 필드는 기본적으로 인덱싱되며, 모든 인덱스들은 단일 쿼리로 빠르게 사용할 수 있다. - Schema Free : JSON문서 구조를 통해 데이터를 인덱싱하고 ..

logstash (https://www.elastic.co/kr/products/logstash) Logstash "Logstash는 오픈소스 서버측 데이터 처리 파이프라인으로, 다양한 소스에서 동시에 데이터를 수집(Ingest)하여 변환한 후 자주 사용하는 "스태쉬(Stash)-보관소"로 보냅니다. (여기서는 당연히 Elasticsearch입니다.)" 현재 설명하고자하는 기본 목적은 로그분석 [ CloudFront Access Log ]를 기반으로 합니다. Logstash보다 데이터 수집에 목적을 맞춰 경량화 및 다양한 제품으로 구성된 Beats가 있으며 Filebeat, Metricbeat, Packetbeat, Winlogbeat, Heartbeat가 있습니다. 파이프라인으로 Input plugin..

1. elasticsearch 에러 로그 2. 해결 방법