Elasticsearch써보자(1)

🔍 엘라스틱서치(Elasticsearch)란?

Elasticsearch는 오픈소스 기반의 분산 검색 및 분석 엔진입니다. 대량의 데이터를 거의 실시간으로 저장하고 검색하는 데 강점을 가지고 있으며, JSON 기반의 RESTful API를 통해 다양한 언어 및 시스템과 연동이 가능합니다.

📌 주요 특징

• 고속 검색 및 분석: 정형, 비정형 데이터를 빠르게 검색하고 시각화할 수 있음
• 분산 구조: 수평 확장이 가능하여 수많은 데이터를 안정적으로 처리할 수 있음
• RESTful API: 간단한 HTTP 요청으로 데이터 삽입, 조회, 삭제 등 수행 가능
• ELK 스택의 핵심 구성요소 (Elasticsearch, Logstash, Kibana 중 E)

📦 어디에 쓰일까?

• 로그 수집 및 분석 (ex. 서버 로그)
• 검색 엔진 (ex. 쇼핑몰, 블로그 검색)
• 데이터 시각화 (Kibana와 연동)
• 모니터링 시스템 (APM, 시스템 상태 체크)

---

🛠 설정 시작하기

이번 포스트에서는 Elasticsearch를 Docker를 통해 구성해보겠습니다.
이미지를 직접 커스터마이징하여 nori 형태소 분석기를 포함시키고, 이후 docker-compose로 컨테이너를 실행합니다.

---

🧱 Step 1: Dockerfile로 Elasticsearch 커스텀 이미지 만들기

 

ARG ELK_VERSION
FROM docker.elastic.co/elasticsearch/elasticsearch:${ELK_VERSION}
# nori 형태소 분석기 플러그인 설치
RUN elasticsearch-plugin install analysis-nori --batch

이 Dockerfile은 ELK_VERSION을 환경변수로 받아 해당 버전의 Elasticsearch 이미지를 베이스로 사용하고,
한국어 분석에 특화된 nori 플러그인을 설치해주는 역할을 합니다.

---

🧩 Step 2: docker-compose로 Elasticsearch + Kibana 구성하기

version: '3.8'

services:
  elasticsearch:
    build:
      context: .
      dockerfile: Dockerfile
      args:
        ELK_VERSION: ${ELK_VERSION}  # .env에서 읽은 환경변수 전달
    container_name: elasticsearch
    environment:
      - discovery.type=single-node
      - ES_JAVA_OPTS=${ES_JAVA_OPTS}
      - xpack.security.enabled=false
      - ELASTIC_PASSWORD=${ELASTIC_PASSWORD}
      - ELASTICSEARCH_PLUGINS=analysis-nori  # 플러그인 설치 명시
    volumes:
      - ./elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml:ro
      - ./elasticsearch/data:/usr/share/elasticsearch/data
    ports:
      - "${ELASTIC_PORT}:9200"
      - "9300:9300"
    networks:
      - elk-network
    healthcheck:
      test: ["CMD-SHELL", "curl -s http://localhost:9200 || exit 1"]
      interval: 30s
      timeout: 10s
      retries: 5

  kibana:
    image: kibana:${ELK_VERSION}
    container_name: kibana
    depends_on:
      - elasticsearch
    ports:
      - "${KIBANA_PORT}:5601"
    networks:
      - elk-network
    environment:
      ELASTICSEARCH_HOSTS: http://elasticsearch:9200

networks:
  elk-network:
    driver: bridge

🧾 Docker Compose 구성 요소 설명

Docker Compose 파일에서 정의된 각 항목은 다음과 같은 역할을 합니다:

---

🔹 services

Docker에서 실행할 컨테이너들을 정의하는 영역입니다.
이번 설정에서는 elasticsearch와 kibana 두 개의 서비스가 정의되어 있습니다.

---

🔸 Elasticsearch

• build
  • 현재 디렉토리(.)를 빌드 컨텍스트로 사용합니다.
  • Dockerfile을 기반으로 이미지를 빌드하며, .env에서 설정한 ELK_VERSION을 버전으로 사용합니다.
• container_name
  • 컨테이너 이름을 elasticsearch로 지정합니다.
• environment
  • discovery.type=single-node: 클러스터 구성 없이 단일 노드로 실행
  • ES_JAVA_OPTS: 자바 힙 메모리 옵션을 .env에서 주입
  • xpack.security.enabled=false: 기본 보안 인증 비활성화
  • ELASTIC_PASSWORD: 환경변수에서 패스워드 설정
  • ELASTICSEARCH_PLUGINS=analysis-nori: nori 한국어 형태소 분석기 플러그인 설치
• volumes
  • 설정 파일(elasticsearch.yml)과 데이터 디렉토리를 컨테이너에 마운트
• ports
  • 호스트의 ${ELASTIC_PORT}를 컨테이너의 9200번 포트에 바인딩 (REST API용)
  • 9300 포트는 노드 간 통신용
• networks
  • 사용자 정의 네트워크 elk-network에 연결하여 Kibana와 통신 가능
• healthcheck
  • 주기적으로 Elasticsearch의 REST API에 curl을 날려 컨테이너의 상태를 확인

---

🔸 Kibana

• image
  • 공식 Kibana 이미지를 사용하며, ELK_VERSION에 따라 버전 고정이 가능합니다.
• depends_on
  • elasticsearch 서비스가 먼저 실행된 후 Kibana가 실행되도록 설정
• ports
  • 호스트의 ${KIBANA_PORT}를 컨테이너의 5601 포트(Kibana 기본 포트)에 바인딩
• environment
  • ELASTICSEARCH_HOSTS: Kibana가 연결할 Elasticsearch 주소를 http://elasticsearch:9200로 설정
• networks
  • Elasticsearch와 동일한 elk-network 브리지 네트워크를 사용하여 내부 통신 가능

---

🎯 마무리

이제 커스텀된 Elasticsearch와 Kibana를 컨테이너로 쉽게 실행할 수 있습니다. Kibana는 Elasticsearch에 저장된 데이터를 UI 상에서 쉽게 조회하고, 대시보드로 시각화할 수 있게 해주는 도구로, 이제 데이터 수집, 검색, 분석, 시각화를 위한 환경이 로컬에서 바로 준비되었습니다.

docker-compose up --build

브라우저에서 http://localhost:5601로 접속해 Kibana UI를 확인하고,
http://localhost:9200에서는 Elasticsearch 상태를 직접 확인할 수 있습니다.

 

처음 접하는 Elasticsearch와 Kibana를 함께 설정하고 연결해보긴 했지만, 아직 Kibana 화면에 특별히 보이는 데이터도 없고, 어떻게 활용할 수 있을지 쉽게 그려지진 않았습니다. 그래서 빠르게 사용 방법을 익히고, 직접 데이터를 넣어보며 체험해보고 싶습니다.
특히 Elasticsearch가 단순한 검색엔진을 넘어서 어떻게 데이터베이스처럼 활용될 수 있을지, 그 구조와 활용 가능성에 대해 더 깊이 이해해보고 싶어졌습니다. 앞으로의 실습과 경험을 통해 그 궁금증을 하나씩 풀어가보려 합니다.