아무거나

[벌크(bulk)] - 여러개의 document를 한번에 elasticsearch에 삽입하는 방법을 bulk라한다. curl -XPOST 'http://localhost:9200/_bulk?pretty' --data-binary @classes.json [classes.json] { "index" : { "_index" : "classes", "_type" : "class", "_id" : "1" } } {"title" : "Machine Learning","Professor" : "Minsuk Heo","major" : "Computer Science","semester" : ["spring", "fall"],"student_count" : 100,"unit" : 3,"rating" : 5, "subm..

1. 테스트를 위한 도큐먼트 생성 - curl -XPOST http://localhost:9200/bongs/bong/1 -d '{"title":"bonggure", "professor":"bong"}' - curl -XGET http://localhost:9200/bongs/bong/1?pretty // 생성확인 2. 도큐먼트 업데이트 - curl -XPOST http://localhost:9200/bongs/bong/1/_update?pretty -d '{"doc":{"unit":1}}' - curl -XGET http://localhost:9200/bongs/bong/1?pretty // 업데이트확인 [결과] ubuntu@ip-172-31-7-4:~$ curl -XPOST http://localho..

1. 인덱스 생성 - curl -XGET http://localhost:9200/bongs // 인덱스 유무를 확인한다. - curl -XGET http://localhost:9200/bongs?pretty // ?pretty 를 파라미터로 주면 예쁘게 json 포맷으로 결과값이 나온다. - curl -XPUT http://localhost:9200/bongs // 인덱스 생성 {"acknowledged":true,"shards_acknowledged":true,"index":"bongs"} 2. 인덱스 삭제 - curl -XDELETE http://localhost:9200/bongs // 인덱스 삭제 {"acknowledged":true} - curl -XGET http://localhost:9200..

[ubuntu 16.04] 1. https://www.elastic.co/support/matrix 접속하여 설치가능한 os를 확인할 수 있다. 2. java8 설치 sudo add-apt-repository -y ppa:webupd8team/java sudo apt-get update sudo apt-get -y install oracle-java8-installer java -version 3. install elasticsearch [download deb file from https://www.elastic.co/downloads/elasticsearch] # wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.6.4..

* 아파치 루신(apache lucene)을 기반으로 개발된 오픈소스 분산 검색 엔진(서버)이다 특징 - 분산+확장성 : elasticsearch는 scale horizontally(규모가 수평적으로 늘어나도록) 하게 설계되어 있다. - 멀티 태넌시 : 클러스터는 여러개의 인덱스들을 저장하고 관리할 수 있으며, 독립된 하나의 쿼리 혹은 그룹 쿼리로 여러 인덱스의 데이터를 검색할 수 있다. - 전문 검색 : elasticsearch는 강력한 전문검색을 지원한다. - 문서 중심 : 복잡한 현실세계의 요소들을 구조화된 JSON 문서 형식으로 저장. 모든 필드는 기본적으로 인덱싱되며, 모든 인덱스들은 단일 쿼리로 빠르게 사용할 수 있다. - Schema Free : JSON문서 구조를 통해 데이터를 인덱싱하고 ..

logstash (https://www.elastic.co/kr/products/logstash) Logstash "Logstash는 오픈소스 서버측 데이터 처리 파이프라인으로, 다양한 소스에서 동시에 데이터를 수집(Ingest)하여 변환한 후 자주 사용하는 "스태쉬(Stash)-보관소"로 보냅니다. (여기서는 당연히 Elasticsearch입니다.)" 현재 설명하고자하는 기본 목적은 로그분석 [ CloudFront Access Log ]를 기반으로 합니다. Logstash보다 데이터 수집에 목적을 맞춰 경량화 및 다양한 제품으로 구성된 Beats가 있으며 Filebeat, Metricbeat, Packetbeat, Winlogbeat, Heartbeat가 있습니다. 파이프라인으로 Input plugin..

1. elasticsearch 에러 로그 2. 해결 방법

UPDATE ~ SELECT: JOIN을 통하여 조건에 맞게 SELECT 한 후 UPDATE 실행 Desc - 1번 코드는 조건에 맞게 SELECT 한 후 UPDATE를 시킨것이다. - 2번 코드는 1번에서 b에서 null경우에 update가 되지 않을 때, 이러한 경우에 LEFT JOIN을 걸어주는 예제이다. Example Query1 UPDATE table1 a, ( SELECT column1, column2 FROM table2 WHERE column1 = 1 ) b SET a.column1 = b.column2 a.column2 = b.column2 WHERE a.column1 = 111 Example Query2 UPDATE table1 a, LEFT JOIN ( SELECT column1, c..

동일한 조건으로 update시에 처음 실행만 반영되고 그 다음부터는 반영이 안되는 현상 작업 중 다량의 데이터를 Update 쿼리를 실행할 과정이 필요하였습니다. 한번의 많은 양의 데이터를 Update 한다면 DB의 커넥션이 끊어진다거나. 메모리 이슈가 생겨 증분으로 업데이트 시도하였습니다. 코드는 아래와 같습니다. [method] int changeCntSum = 0; // 업데이트된 데이터의 총 개수 while (true) { int changCnt = 0; // 업데이트된 데이터 개수 changeCnt = updateMapper.updateData(...매개변수..); changeCntSum += changeCnt; // 업데이트할 데이터의 개수가 없을 때 while문 break if (change..

BINARY: 데이터 조회 시 대소문자 구분(VARCHAR 기준) // AS-IS (대소문자 구분 안하는 조회) SELECT * FROM test_table WHERE searchField = 'test'; // TO-BE (대소문자 구분 조회) SELECT * FROM test_table WHERE searchField = BINARY('test');