최근에 개인적으로 진행하고 있는 팀 프로젝트에서 사용하는 Elasticsearch의 모든 인덱스가 알 수 없는 이유로 모두 삭제되었다.다행히 복구할 수 있는 방법을 찾게 되었지만, snapshot을 활용하여 복구할 수 없어서 불편한 경험을 했다. 이번 기회에 데이터 스토리지 복구에 대한 중요성을 몸소 깨닫고, elasticsearch의 스냅샷 설정에 대해 적어두려고 한다.단, 내가 사용하고 있는 elasticsearch 서버는 도커로 운영되지 않음을 밝힌다. snapshot 파일 저장 경로 설정파일 저장 경로 생성`sudo mkdir -p /mnt/elasticsearch-backup` 권한 할당`sudo chown -R elasticsearch:elasticsearch /mnt/elasticsearch..

Filebeat를 도입하기 전에 logstash.conf 파일의 input 섹션은은 다음과 같습니다.input { file { mode => "read" path => "/usr/share/logstash/ingest_data/**/*.log" exclude => [ "/usr/share/logstash/ingest_data/logstash_completed.log" ] exit_after_read => true file_completed_action => "log" file_completed_log_path => "/usr/share/logstash/ingest_data/logstash_completed.log" start_position => "beginning..

샘플 로그 파일이 kibana에서 시각화되기까지의 과정은 위의 그림과 같습니다.logstash가 로그 파일을 읽고 필터링을 거친 다음, elasticsearch에 저장kibana는 elasticsearch에 저장된 데이터를 바탕으로 시각화 실제로 elasticsearch에 저장된 데이터를 확인하기 위해 kibana의 Dev Tools Console에서 다음 쿼리를 실행했습니다.GET logstash-*/_search{ "query": { "match_all": {} }, "size": 10}그 결과, 크게 2가지 유형의 데이터가 나온 것을 확인할 수 있었습니다. { "_index": "logstash-2024.12.18", "_id": "_WPQ3JMBJySkpvXRWzOU", "_sco..

로그 파일 구조 본문docker-compose.yml 파일에서 logstash 부분을 보면 다음과 같습니다.logstash01: depends_on: es01: condition: service_healthy kibana: condition: service_healthy image: docker.elastic.co/logstash/logstash:${STACK_VERSION} labels: co.elastic.logs/module: logstash user: root volumes: - certs:/usr/share/logstash/certs - logstashdata01:/usr/share/logstash/..

https://github.com/elkninja/elastic-stack-docker-part-one위 URL에서 docker compose 파일과 바인드 마운트할 여러 파일을 다운로드 받습니다.docker compose 파일 실행docker compose up -d elasticsearch 확인docker cp [ES 컨테이너 이름]:/usr/share/elasticsearch/config/certs/ca/ca.crt /tmp/.curl --cacert /tmp/ca.crt -u elastic:changeme https://localhost:9200 kibana 확인http://localhost:5601에 접속 후 아래와 같은 정보 입력ID : elasticPW : changeme metricbeat..

아래 웹 페이지를 참고하여 문서를 작성했습니다.https://www.elastic.co/blog/getting-started-with-the-elastic-stack-and-docker-compose파일 구조기본적인 파일 구조는 위와 같지만, filebeat는 사용할 계획이 없습니다..env 파일# Project namespace (defaults to the current folder name if not set)#COMPOSE_PROJECT_NAME=myproject# Password for the 'elastic' user (at least 6 characters)ELASTIC_PASSWORD=changeme# Password for the 'kibana_system' user (at least 6..