일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- it
- jsp
- jenkins
- ubuntu
- laravel
- docker
- Design Patterns
- Spring Boot
- java
- 맛집
- redis
- javascript
- devops
- springboot
- Oracle
- Web Server
- IntelliJ
- ReactJS
- elasticsearch
- tool
- JPA
- db
- Spring
- linux
- Git
- AWS
- php
- Gradle
- 요리
- MySQL
- Today
- Total
목록Data Store (71)
아무거나
1. 테스트를 위한 도큐먼트 생성 - curl -XPOST http://localhost:9200/bongs/bong/1 -d '{"title":"bonggure", "professor":"bong"}' - curl -XGET http://localhost:9200/bongs/bong/1?pretty // 생성확인 2. 도큐먼트 업데이트 - curl -XPOST http://localhost:9200/bongs/bong/1/_update?pretty -d '{"doc":{"unit":1}}' - curl -XGET http://localhost:9200/bongs/bong/1?pretty // 업데이트확인 [결과] ubuntu@ip-172-31-7-4:~$ curl -XPOST http://localho..
1. 인덱스 생성 - curl -XGET http://localhost:9200/bongs // 인덱스 유무를 확인한다. - curl -XGET http://localhost:9200/bongs?pretty // ?pretty 를 파라미터로 주면 예쁘게 json 포맷으로 결과값이 나온다. - curl -XPUT http://localhost:9200/bongs // 인덱스 생성 {"acknowledged":true,"shards_acknowledged":true,"index":"bongs"} 2. 인덱스 삭제 - curl -XDELETE http://localhost:9200/bongs // 인덱스 삭제 {"acknowledged":true} - curl -XGET http://localhost:9200..
[ubuntu 16.04] 1. https://www.elastic.co/support/matrix 접속하여 설치가능한 os를 확인할 수 있다. 2. java8 설치 sudo add-apt-repository -y ppa:webupd8team/java sudo apt-get update sudo apt-get -y install oracle-java8-installer java -version 3. install elasticsearch [download deb file from https://www.elastic.co/downloads/elasticsearch] # wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.6.4..
* 아파치 루신(apache lucene)을 기반으로 개발된 오픈소스 분산 검색 엔진(서버)이다 특징 - 분산+확장성 : elasticsearch는 scale horizontally(규모가 수평적으로 늘어나도록) 하게 설계되어 있다. - 멀티 태넌시 : 클러스터는 여러개의 인덱스들을 저장하고 관리할 수 있으며, 독립된 하나의 쿼리 혹은 그룹 쿼리로 여러 인덱스의 데이터를 검색할 수 있다. - 전문 검색 : elasticsearch는 강력한 전문검색을 지원한다. - 문서 중심 : 복잡한 현실세계의 요소들을 구조화된 JSON 문서 형식으로 저장. 모든 필드는 기본적으로 인덱싱되며, 모든 인덱스들은 단일 쿼리로 빠르게 사용할 수 있다. - Schema Free : JSON문서 구조를 통해 데이터를 인덱싱하고 ..
logstash (https://www.elastic.co/kr/products/logstash) Logstash "Logstash는 오픈소스 서버측 데이터 처리 파이프라인으로, 다양한 소스에서 동시에 데이터를 수집(Ingest)하여 변환한 후 자주 사용하는 "스태쉬(Stash)-보관소"로 보냅니다. (여기서는 당연히 Elasticsearch입니다.)" 현재 설명하고자하는 기본 목적은 로그분석 [ CloudFront Access Log ]를 기반으로 합니다. Logstash보다 데이터 수집에 목적을 맞춰 경량화 및 다양한 제품으로 구성된 Beats가 있으며 Filebeat, Metricbeat, Packetbeat, Winlogbeat, Heartbeat가 있습니다. 파이프라인으로 Input plugin..
1. elasticsearch 에러 로그 2. 해결 방법
UPDATE ~ SELECT: JOIN을 통하여 조건에 맞게 SELECT 한 후 UPDATE 실행 Desc - 1번 코드는 조건에 맞게 SELECT 한 후 UPDATE를 시킨것이다. - 2번 코드는 1번에서 b에서 null경우에 update가 되지 않을 때, 이러한 경우에 LEFT JOIN을 걸어주는 예제이다. Example Query1 UPDATE table1 a, ( SELECT column1, column2 FROM table2 WHERE column1 = 1 ) b SET a.column1 = b.column2 a.column2 = b.column2 WHERE a.column1 = 111 Example Query2 UPDATE table1 a, LEFT JOIN ( SELECT column1, c..
동일한 조건으로 update시에 처음 실행만 반영되고 그 다음부터는 반영이 안되는 현상 작업 중 다량의 데이터를 Update 쿼리를 실행할 과정이 필요하였습니다. 한번의 많은 양의 데이터를 Update 한다면 DB의 커넥션이 끊어진다거나. 메모리 이슈가 생겨 증분으로 업데이트 시도하였습니다. 코드는 아래와 같습니다. [method] int changeCntSum = 0; // 업데이트된 데이터의 총 개수 while (true) { int changCnt = 0; // 업데이트된 데이터 개수 changeCnt = updateMapper.updateData(...매개변수..); changeCntSum += changeCnt; // 업데이트할 데이터의 개수가 없을 때 while문 break if (change..
BINARY: 데이터 조회 시 대소문자 구분(VARCHAR 기준) // AS-IS (대소문자 구분 안하는 조회) SELECT * FROM test_table WHERE searchField = 'test'; // TO-BE (대소문자 구분 조회) SELECT * FROM test_table WHERE searchField = BINARY('test');
UPDATE ~ CASE 문: 한번의 UPDATE로 여러 작업을 할 수 있다. Desc - WHEN과 THEN은 하나의 조건이다. - WHEN과 THEN은 다수가 존재할 수 있습니다. - ELSE는 모든 조건에 부합하지 않을경우가 조건이다. Example Query 아래 그림과 같은 데이터를 기준으로 쿼리를 날려봅니다. UPDATE recursive_test_table SET parent_id = CASE WHEN parent_id = 1 THEN 10 WHEN parent_id = 2 THEN 20 WHEN parent_id = 3 THEN 30 WHEN parent_id = 6 THEN 60 ELSE parent_id END; 위의 3 Line을 예로 들면 parent_id가 1일 때 10으로 변경하..