회사에 A 서버의 내부망에서 돌아가는 Postgres 서버가 있다.우리에게 필요한 데이터는 매일 A 서번에 적재된다.하지만 웹 개발은 B 서버의 Postgres를 통해 진행된다. 따라서 웹 개발팀에서 최신 데이터를 사용하기 위해서 매일 A 서버로부터 데이터를 B 서버로 옮겨야한다.이를 해결하기 위해 Airflow와 Chunk를 사용하여 매일 새벽 3시에 두 서버의 Postgres를 동기화했다. Chunkchunk가 무엇일까?chunk는 데이터를 일정한 크기로 나눈 조각을 말한다.한 번에 전체 파일을 메모리에 올리지 않고, 작은 단위로 읽고 쓰거나 네트워크를 통해 전송하여 메모리 사용량을 줄인다. postgres의 특정 데이터베이스를 DUMP 하면 그 파일의 용량이 만만치 않다.이를 효율적으로 옮기기 위해..

Synology Active Backup for Business는 Synology NAS에서 제공하는 백업 솔루션으로, 기업 환경에서 데이터 보호와 복구를 위해 설계된 강력한 도구를 말한다.사내에서 Synology NAS를 사용하고 있어서, 백업 솔루션으로 선택하게 되었다. 1. 설치2. 활성화 및 기본 설정3. 연결 대상 선택나의 경우 Windows PC에 있는 여러 파일들을 증분 백업하기 위해 PC/Mac > Windows를 선택했다. 4. Agent 프로그램 Windows PC에 설치 및 설정만약 NAS IP 주소를 입력하고 연결을 시도할 때 다음과 같은 오류가 발생하면, 이 링크를 참고하여 해결하면 된다.인터넷 오류입니다. 인터넷 연결을 확인하십시오.문제가 계속 발생하면 관리자에게 문의하여 서버의..

얼마 전 회사에서 A 서버의 Docker 위에서 돌아가는 postgres를 B 서버로 마이그레이션하는 작업을 맡았다. 일단 덤프 파일을 만들기 위해 A 서버에서 다음과 같은 명령어를 실행해준다.docker exec -i pg_dumpall -U > .sql `pg_dumpall` 명령어는 postgres에 존재하는 모든 데이터베이스에 대한 덤프 파일을 만들 수 있는데, 만약 일부 데이터베이스의 덤프 파일이 필요하면 `pg_dump` 명령어를 사용하면 된다. 다음으로 A 서버의 덤프 파일을 B 서버로 옮겨줘야 하는데, 나는 Termius라는 멀티 SSH 플랫폼을 사용하여 쉽게 옮겼다. 이제 A 서버에서 사용하던 postgres docker-compose.yml 파일의 내용을 가져와서, B 서버에서 실행..

Filebeat를 도입하기 전에 logstash.conf 파일의 input 섹션은은 다음과 같습니다.input { file { mode => "read" path => "/usr/share/logstash/ingest_data/**/*.log" exclude => [ "/usr/share/logstash/ingest_data/logstash_completed.log" ] exit_after_read => true file_completed_action => "log" file_completed_log_path => "/usr/share/logstash/ingest_data/logstash_completed.log" start_position => "beginning..

샘플 로그 파일이 kibana에서 시각화되기까지의 과정은 위의 그림과 같습니다.logstash가 로그 파일을 읽고 필터링을 거친 다음, elasticsearch에 저장kibana는 elasticsearch에 저장된 데이터를 바탕으로 시각화 실제로 elasticsearch에 저장된 데이터를 확인하기 위해 kibana의 Dev Tools Console에서 다음 쿼리를 실행했습니다.GET logstash-*/_search{ "query": { "match_all": {} }, "size": 10}그 결과, 크게 2가지 유형의 데이터가 나온 것을 확인할 수 있었습니다. { "_index": "logstash-2024.12.18", "_id": "_WPQ3JMBJySkpvXRWzOU", "_sco..

로그 파일 구조 본문docker-compose.yml 파일에서 logstash 부분을 보면 다음과 같습니다.logstash01: depends_on: es01: condition: service_healthy kibana: condition: service_healthy image: docker.elastic.co/logstash/logstash:${STACK_VERSION} labels: co.elastic.logs/module: logstash user: root volumes: - certs:/usr/share/logstash/certs - logstashdata01:/usr/share/logstash/..

https://github.com/elkninja/elastic-stack-docker-part-one위 URL에서 docker compose 파일과 바인드 마운트할 여러 파일을 다운로드 받습니다.docker compose 파일 실행docker compose up -d elasticsearch 확인docker cp [ES 컨테이너 이름]:/usr/share/elasticsearch/config/certs/ca/ca.crt /tmp/.curl --cacert /tmp/ca.crt -u elastic:changeme https://localhost:9200 kibana 확인http://localhost:5601에 접속 후 아래와 같은 정보 입력ID : elasticPW : changeme metricbeat..

아래 웹 페이지를 참고하여 문서를 작성했습니다.https://www.elastic.co/blog/getting-started-with-the-elastic-stack-and-docker-compose파일 구조기본적인 파일 구조는 위와 같지만, filebeat는 사용할 계획이 없습니다..env 파일# Project namespace (defaults to the current folder name if not set)#COMPOSE_PROJECT_NAME=myproject# Password for the 'elastic' user (at least 6 characters)ELASTIC_PASSWORD=changeme# Password for the 'kibana_system' user (at least 6..