Stored Function은 SQL에서 사용하는 함수를 말한다.어떤 RDBMS를 사용하냐에 따라 사용법이 다르므로, 자신이 사용하는 RDBMS 문서를 참고하면 좋다.Stored Function은 언제 써야할까?오늘날 많은 회사가 3-Tier 아키텍처(프레젠테이션, 로직, 데이터)를 채택하고 있다.여기서 로직 티어는 보통 자바 + 스프링, 파이썬 + 장고로 구현되고, 비즈니스 로직을 담당한다.그리고 데이터 티어는 말 그대로 RDBMS, NoSQL 등 데이터를 담당한다.하지만 Stored Function을 사용하여 비즈니스 로직을 구현하게 되면, 두 개의 티어에 비즈니스 로직이 나뉘어지므로 관리하기 어려운 문제가 발생한다.따라서 Stored Function은 util 함수 정도로 사용하는 것이 좋다.

회사에 A 서버의 내부망에서 돌아가는 Postgres 서버가 있다.우리에게 필요한 데이터는 매일 A 서번에 적재된다.하지만 웹 개발은 B 서버의 Postgres를 통해 진행된다. 따라서 웹 개발팀에서 최신 데이터를 사용하기 위해서 매일 A 서버로부터 데이터를 B 서버로 옮겨야한다.이를 해결하기 위해 Airflow와 Chunk를 사용하여 매일 새벽 3시에 두 서버의 Postgres를 동기화했다. Chunkchunk가 무엇일까?chunk는 데이터를 일정한 크기로 나눈 조각을 말한다.한 번에 전체 파일을 메모리에 올리지 않고, 작은 단위로 읽고 쓰거나 네트워크를 통해 전송하여 메모리 사용량을 줄인다. postgres의 특정 데이터베이스를 DUMP 하면 그 파일의 용량이 만만치 않다.이를 효율적으로 옮기기 위해..

Synology Active Backup for Business는 Synology NAS에서 제공하는 백업 솔루션으로, 기업 환경에서 데이터 보호와 복구를 위해 설계된 강력한 도구를 말한다.사내에서 Synology NAS를 사용하고 있어서, 백업 솔루션으로 선택하게 되었다. 1. 설치2. 활성화 및 기본 설정3. 연결 대상 선택나의 경우 Windows PC에 있는 여러 파일들을 증분 백업하기 위해 PC/Mac > Windows를 선택했다. 4. Agent 프로그램 Windows PC에 설치 및 설정만약 NAS IP 주소를 입력하고 연결을 시도할 때 다음과 같은 오류가 발생하면, 이 링크를 참고하여 해결하면 된다.인터넷 오류입니다. 인터넷 연결을 확인하십시오.문제가 계속 발생하면 관리자에게 문의하여 서버의..

얼마 전 회사에서 A 서버의 Docker 위에서 돌아가는 postgres를 B 서버로 마이그레이션하는 작업을 맡았다. 일단 덤프 파일을 만들기 위해 A 서버에서 다음과 같은 명령어를 실행해준다.docker exec -i pg_dumpall -U > .sql `pg_dumpall` 명령어는 postgres에 존재하는 모든 데이터베이스에 대한 덤프 파일을 만들 수 있는데, 만약 일부 데이터베이스의 덤프 파일이 필요하면 `pg_dump` 명령어를 사용하면 된다. 다음으로 A 서버의 덤프 파일을 B 서버로 옮겨줘야 하는데, 나는 Termius라는 멀티 SSH 플랫폼을 사용하여 쉽게 옮겼다. 이제 A 서버에서 사용하던 postgres docker-compose.yml 파일의 내용을 가져와서, B 서버에서 실행..

Filebeat를 도입하기 전에 logstash.conf 파일의 input 섹션은은 다음과 같습니다.input { file { mode => "read" path => "/usr/share/logstash/ingest_data/**/*.log" exclude => [ "/usr/share/logstash/ingest_data/logstash_completed.log" ] exit_after_read => true file_completed_action => "log" file_completed_log_path => "/usr/share/logstash/ingest_data/logstash_completed.log" start_position => "beginning..

샘플 로그 파일이 kibana에서 시각화되기까지의 과정은 위의 그림과 같습니다.logstash가 로그 파일을 읽고 필터링을 거친 다음, elasticsearch에 저장kibana는 elasticsearch에 저장된 데이터를 바탕으로 시각화 실제로 elasticsearch에 저장된 데이터를 확인하기 위해 kibana의 Dev Tools Console에서 다음 쿼리를 실행했습니다.GET logstash-*/_search{ "query": { "match_all": {} }, "size": 10}그 결과, 크게 2가지 유형의 데이터가 나온 것을 확인할 수 있었습니다. { "_index": "logstash-2024.12.18", "_id": "_WPQ3JMBJySkpvXRWzOU", "_sco..

로그 파일 구조 본문docker-compose.yml 파일에서 logstash 부분을 보면 다음과 같습니다.logstash01: depends_on: es01: condition: service_healthy kibana: condition: service_healthy image: docker.elastic.co/logstash/logstash:${STACK_VERSION} labels: co.elastic.logs/module: logstash user: root volumes: - certs:/usr/share/logstash/certs - logstashdata01:/usr/share/logstash/..

https://github.com/elkninja/elastic-stack-docker-part-one위 URL에서 docker compose 파일과 바인드 마운트할 여러 파일을 다운로드 받습니다.docker compose 파일 실행docker compose up -d elasticsearch 확인docker cp [ES 컨테이너 이름]:/usr/share/elasticsearch/config/certs/ca/ca.crt /tmp/.curl --cacert /tmp/ca.crt -u elastic:changeme https://localhost:9200 kibana 확인http://localhost:5601에 접속 후 아래와 같은 정보 입력ID : elasticPW : changeme metricbeat..