[Web] ElasticSearch nori & Bulk API 활용

📍 ElasticSearch 및 nori 설치

설치는 아래 블로그를 참고했습니다.

ElasticSearch 설치하기 (윈도우 10) (tistory.com)

ElasticSearch 설치하기 (윈도우 10)

ElasticSearch 로컬 설치하기 — 창슈 Area (tistory.com)

ElasticSearch 로컬 설치하기

윈도우 엘라스틱서치 + 노리설치(window elasticsearch nori) (tistory.com)

윈도우 엘라스틱서치 + 노리설치(window elasticsearch nori)

 

💡 테스트

성공적으로 설치를 마쳤다면 먼저 ElasticSearch 배치 파일을 실행한 뒤,

아래와 같은 요청으로 nori 형태소 분석기까지 테스트가 가능하다.

 

💡 nori란?

nori는 ElasticSearch에서 제공하는 한글 형태소 분석기이다.

 

이전에는 ElasticSearch가 한글 형태소 분석을 지원하지 않아서

'은전한닢' 혹은 '아리랑' 등의 형태소 분석기를 사용해야 했지만,

ElasticSearch 6.4 버전부터는 기본으로 nori 한글 형태소 분석기를 제공해주기 시작했다.

(형태소 분석이라 함은, 영어로 보면 ed, s와 같이 단어에 붙여 쓸 수 있는 문자나

어미로 쓰이는 단어 등을 분석하여 키워드 검색을 돕는 것이다.)

 

nori의 경우 mecab-ko-dic 사전을 이용하지만, 사전을 압축하여 사용하므로

기존 형태소 분석기와 비교하여 메모리를 훨씬 적게 쓰고 빠른 성능을 보인다.

 

---

📍 Bulk API 활용

진행중인 프로젝트에서는 여러 이유로 ELK를 사용하지 않고, Bulk API를 활용하기로 결정했다. 

ElasticSearch 적용 방안 탐색 ↗

 

오늘은 우리 프로젝트에서 Bulk API를 활용한 방법에 대해 정리해보려 한다.

 

💡 MySQL 데이터 변환

기존에 사용하던 MySQL에 저장된 데이터를 Bulk 형식으로 변환하여

ElasticSearch에 저장하는 과정을 서술한다.

 

1️⃣ SQL 쿼리 작성

아래와 같이 원하는 테이블에서 원하는 컬럼만 선택하여 Bulk 형식 변환을 위한 쿼리를 작성해주었다.

select
	group_concat(concat("{'index':{'_id':", drink_id, "}}", '\n'),
	concat("{'drink_id':",drink_id,",'drink_name':'", drink_name,"','drink_image':'", drink_image,"'}") separator '\n')
as json from sulnaeeum.drink;

 

2️⃣ group_concat 길이 제한 변경

group_concat의 경우 기본 길이 제한이1024로 설정되어있으므로

위 SQL 쿼리로 바로 select 할 시, 1024개 문자 이상의 결과는 잘려서 조회되는 문제가 발생한다.

(Lost Connection 오류 메시지 발생)

 

따라서 아래와 같이 group_concat의 길이 제한을 늘려준 뒤 select를 실행시켜야 한다.

# 현재 group_concat의 제한 길이 확인
SHOW VARIABLES LIKE '%GROUP_CONCAT%';

# group_concat의 길이 제한 늘려주기
SET SESSION group_concat_max_len = 150000000000;

 

3️⃣ copy field

출력된 select 결과를 우클릭하여 Copy Field 옵션을 선택한다.

 

4️⃣ Bulk 데이터 형식으로 변환

위의 방식으로 필드를 복사해오면, 아래와 같은 형식으로 반환되는 것을 확인할 수 있다.

'{''index'':{''_index'':''1''}}
{''drink_id'':1,''drink_name'':''애피소드호프'',''drink_image'':''https://sulnaeeum.s3.ap-northeast-2.amazonaws.com/drink/1.jpg''}
{''index'':{''_index'':''2''}}
{''drink_id'':2,''drink_name'':''애피소드 상그리아'',''drink_image'':''https://sulnaeeum.s3.ap-northeast-2.amazonaws.com/drink/2.jpg''}
{''index'':{''_index'':''3''}}
{''drink_id'':3,''drink_name'':''애피소드 애플'',''drink_image'':''https://sulnaeeum.s3.ap-northeast-2.amazonaws.com/drink/3.jpg''}
{''index'':{''_index'':''4''}}
{''drink_id'':4,''drink_name'':''심술 알쓰'',''drink_image'':''https://sulnaeeum.s3.ap-northeast-2.amazonaws.com/drink/4.jpg''}
{''index'':{''_index'':''5''}}
{''drink_id'':5,''drink_name'':''아이싱 자몽'',''drink_image'':''https://sulnaeeum.s3.ap-northeast-2.amazonaws.com/drink/5.jpg''}'

 

여기서 추가로 아래 3가지 작업을 해주면 Bulk 데이터 형식으로 완벽히 변환된다.

1. 맨 첫 번째와 마지막에 있는 따옴표 하나씩을 삭제
2. VisualStudio에서 따옴표 두 개를 검색한 뒤 쌍따옴표로 replaceAll
3. 맨 마지막 행에 줄 바꿈 한 번 추가해주기

 

✔ 완성된 Bulk 데이터 형식

{"index":{"_id":"1"}}
{"drink_id":1,"drink_name":"애피소드호프","drink_image":"https://sulnaeeum.s3.ap-northeast-2.amazonaws.com/drink/1.jpg"}
{"index":{"_id":"2"}}
{"drink_id":2,"drink_name":"애피소드 상그리아","drink_image":"https://sulnaeeum.s3.ap-northeast-2.amazonaws.com/drink/2.jpg"}
{"index":{"_id":"3"}}
{"drink_id":3,"drink_name":"애피소드 애플","drink_image":"https://sulnaeeum.s3.ap-northeast-2.amazonaws.com/drink/3.jpg"}
{"index":{"_id":"4"}}
{"drink_id":4,"drink_name":"심술 알쓰","drink_image":"https://sulnaeeum.s3.ap-northeast-2.amazonaws.com/drink/4.jpg"}
{"index":{"_id":"5"}}
{"drink_id":5,"drink_name":"아이싱 자몽","drink_image":"https://sulnaeeum.s3.ap-northeast-2.amazonaws.com/drink/5.jpg"}

 

💥 주의사항

위에서 했던 것처럼 id 값을 지정해주지 않고,

위 이미지처럼 "_index" : "drink" 와 같이 해주면 자동으로 index가 생성되어 저장된다.

 

나도 처음엔 이와 같은 방식으로 데이터를 저장했는데,

이렇게 할 경우 추후 nori를 적용이 잘 안되는 오류가 발생했다.

 

따라서 미리 인덱스를 만들어주면서, nori를 적용시켜준 뒤 데이터를 저장해주는 것을 추천한다.

 

💡 index 생성

아래의 PUT 요청과 함께 Body에 해당 JSON 내용을 넣어주면

nori tokenizer를 적용한 index 생성이 가능하다.

http://localhost:9200/drink

{
  "settings": {
    "analysis": {
      "analyzer": {
        "nori": {
          "tokenizer": "nori_tokenizer"
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "drink_name": {
        "type": "text",
        "fields": {
          "nori": {
            "type": "text",
            "analyzer": "nori"
          }
        }
      }
    }
  }
}

 

💡 Bulk API를 사용한 데이터 삽입, 삭제, 조회, 검색

인덱스를 생성했으니 이제 데이터를 넣고 API를 사용하기만 하면 된다.

 

1️⃣ 데이터 삽입

아래 요청에, 위에서 만든 Bulk 데이터를 Binary로 넣어주면 된다.

curl -XPOST http://localhost:9200/drink/_bulk?pretty -H 'Content-Type: application/json' --data-binary @data.json

 

2️⃣ 조회하여 데이터 확인

curl -XPOST 'localhost:9200/auto_complete/_search?pretty' -H 'Content-Type: application/json' -d'{
  "query": {
      "match_all": {}
  }
}'

 

3️⃣ index 삭제

curl -XDELETE http://localhost:9200/auto_complete?pretty -H 'Content-Type: application/json'

 

4️⃣ nori tokenizer를 적용한 키워드 검색

아래 GET 요청과 함께 JSON으로 검색 내용을 보내주면 된다.

https://j8a707.p.ssafy.io/es/_search

{
  "query": {
      "match": {
          "drink_name.nori": "호랑이막걸리"
      }
  }
}

 

검색 결과

{ "took": 6, "timed_out": false, "_shards": { "total": 1, "successful": 1, "skipped": 0, "failed": 0 }, "hits": { "total": { "value": 114, "relation": "eq" }, "max_score": 7.305012, "hits": [ { "_index": "drink", "_type": "_doc", "_id": "54", "_score": 7.305012, "_source": { "drink_id": 54, "drink_name": "호랑이 생 막걸리", "drink_image": "https://sulnaeeum.s3.ap-northeast-2.amazonaws.com/drink/54.jpg" } }, { "_index": "drink", "_type": "_doc", "_id": "139", "_score": 6.4983244, "_source": { "drink_id": 139, "drink_name": "매화마름 호랑이 막걸리", "drink_image": "https://sulnaeeum.s3.ap-northeast-2.amazonaws.com/drink/139.jpg" } }, { "_index": "drink", "_type": "_doc", "_id": "126", "_score": 5.499996, "_source": { "drink_id": 126, "drink_name": "호랑이배꼽", "drink_image": "https://sulnaeeum.s3.ap-northeast-2.amazonaws.com/drink/126.jpg" } }, { "_index": "drink", "_type": "_doc", "_id": "8", "_score": 2.0608451, "_source": { "drink_id": 8, "drink_name": "인생막걸리", "drink_image": "https://sulnaeeum.s3.ap-northeast-2.amazonaws.com/drink/8.jpg" } }, { "_index": "drink", "_type": "_doc", "_id": "39", "_score": 2.0608451, "_source": { "drink_id": 39, "drink_name": "송명섭 막걸리", "drink_image": "https://sulnaeeum.s3.ap-northeast-2.amazonaws.com/drink/39.jpg" } }, { "_index": "drink", "_type": "_doc", "_id": "43", "_score": 2.0608451, "_source": { "drink_id": 43, "drink_name": "김포 막걸리", "drink_image": "https://sulnaeeum.s3.ap-northeast-2.amazonaws.com/drink/43.jpg" } }, { "_index": "drink", "_type": "_doc", "_id": "55", "_score": 2.0608451, "_source": { "drink_id": 55, "drink_name": "도구막걸리", "drink_image": "https://sulnaeeum.s3.ap-northeast-2.amazonaws.com/drink/55.jpg" } }, { "_index": "drink", "_type": "_doc", "_id": "58", "_score": 2.0608451, "_source": { "drink_id": 58, "drink_name": "영탁막걸리", "drink_image": "https://sulnaeeum.s3.ap-northeast-2.amazonaws.com/drink/58.jpg" } }, { "_index": "drink", "_type": "_doc", "_id": "70", "_score": 2.0608451, "_source": { "drink_id": 70, "drink_name": "미생 막걸리", "drink_image": "https://sulnaeeum.s3.ap-northeast-2.amazonaws.com/drink/70.jpg" } }, { "_index": "drink", "_type": "_doc", "_id": "79", "_score": 2.0608451, "_source": { "drink_id": 79, "drink_name": "DOK막걸리", "drink_image": "https://sulnaeeum.s3.ap-northeast-2.amazonaws.com/drink/79.jpg" } } ] } }

 

인덱스 생성 시 작성했던 Body 내용에 의해

해당 단어에 가장 가까운 결과부터 차례대로 보여주는 것을 확인할 수 있다.

 

➕ ElasticSearch에서 기본으로 제공하는 tokenizer를 사용하여 검색하는 방법

https://j8a707.p.ssafy.io/es/_search?q=drink_name:막걸리

 

---

오늘은 로컬 환경에서 ElasticSearch의 nori와 Bulk API를 활용하는 방법에 대해 정리했다.

다음 글에서는 EC2 환경에서 ElasticSearch를 적용하는 방안에 대하여 정리해보겠다.