요즘 백업 업무를 지속적으로 하다 보니, 두 폴더의 크기를 비교할 일이 많아졌다.근데 문득 다음과 같이 크기와 디스크 할당 크기가 왜 서로 다른 지 궁금해졌다.그 이유는 윈도우가 특정 파일을 저장할 때 클러스터 단위로 저장하기 때문이다.예를 들어 클러스터 단위가 4KB라면, 1KB 짜리 파일을 저장할 때도 최소 4KB를 사용한다. 이에 따라 자연스럽게 디스크 할당 크기가 더 커지는 상황이 발생한다.

A 노드 B 노드가 있다고 가정해보자.어떤 사용자는 TC(Transaction Coordinator)에게 자신이 하고자하는 메시지를 보낼 수 있다.메시지를 받은 TC는 A 노드와 B 노드에게 사용자가 하고자 하는 일을 전달하고 확인 메시지를 받을 수 있다. 이런 상황에서 TC 또는 노드들에 장애가 발생하면 어떻게 될까?예를 들면, TC가 A와 B에게 메시지를 보냈지만 A에게 메시지를 전송하자마자 알 수 없는 이유로 TC에 장애가 발생했다면?그럼 B는 A와 달리 어떤 메시지도 받지 못하게 된다.이런 상황을 안정성에 위반한다고 할 수 있다. 다른 예로, 사용자가 TC에게 하고자 하는 일을 전달했지만 TC에 장애가 발생하여 A 노드, B 노드 모두 무한정 기다리는 상황이라면?이런 상황은 라이브니스에 위반한다고..

분산 컴퓨팅에게 요구하는 두 가지 요건1. 안정성 - 잘못된 결과가 일어나서는 안됨2. 라이브니스 - 원하는 결과가 언젠가는 실현스트로우맨 프로토콜(Straw Man Protocol)1. 트랜잭션을 중계하는 코디네이터인 TC에게 A가 B에게 1,000원을 입금하겠다는 요청을 보낸다.2. TC는 A의 은행에게 A의 계좌에서 1,000원을 차감한다는 요청을 보내는 동시에 B의 은행에게 B의 계좌에서 1,000원을 증감한다는 요청을 보낸다.위 프로토콜이 문제가 되는 경우는 다음과 같다.1. A의 계좌에 돈이 없을 경우2. B의 계좌가 존재하지 않을 경우3. 은행 서버에 정전이 발생한 경우4. TC가 중단된 경우따라서 우리는 장애에 내성을 가지는 분산 컴퓨팅 시스템을 구축해야 한다.

분산 컴퓨팅은 네트워크로 연결된 다양한 기계들이 협의 과정을 거쳐 어떤 목적을 달성하는 것을 말한다.비동기적인 통신은 메시지의 전달 여부나 정해진 시각 안의 도달을 보장할 수 없는 통신을 말한다.분산 컴퓨팅에서 비동기적인 통신은 어려운 문제다.비동기적인 통신 방법으로는 분상 컴퓨팅에서 완전한 합의를 이룰 수 없다.

Stored Function은 SQL에서 사용하는 함수를 말한다.어떤 RDBMS를 사용하냐에 따라 사용법이 다르므로, 자신이 사용하는 RDBMS 문서를 참고하면 좋다.Stored Function은 언제 써야할까?오늘날 많은 회사가 3-Tier 아키텍처(프레젠테이션, 로직, 데이터)를 채택하고 있다.여기서 로직 티어는 보통 자바 + 스프링, 파이썬 + 장고로 구현되고, 비즈니스 로직을 담당한다.그리고 데이터 티어는 말 그대로 RDBMS, NoSQL 등 데이터를 담당한다.하지만 Stored Function을 사용하여 비즈니스 로직을 구현하게 되면, 두 개의 티어에 비즈니스 로직이 나뉘어지므로 관리하기 어려운 문제가 발생한다.따라서 Stored Function은 util 함수 정도로 사용하는 것이 좋다.

회사에 A 서버의 내부망에서 돌아가는 Postgres 서버가 있다.우리에게 필요한 데이터는 매일 A 서번에 적재된다.하지만 웹 개발은 B 서버의 Postgres를 통해 진행된다. 따라서 웹 개발팀에서 최신 데이터를 사용하기 위해서 매일 A 서버로부터 데이터를 B 서버로 옮겨야한다.이를 해결하기 위해 Airflow와 Chunk를 사용하여 매일 새벽 3시에 두 서버의 Postgres를 동기화했다. Chunkchunk가 무엇일까?chunk는 데이터를 일정한 크기로 나눈 조각을 말한다.한 번에 전체 파일을 메모리에 올리지 않고, 작은 단위로 읽고 쓰거나 네트워크를 통해 전송하여 메모리 사용량을 줄인다. postgres의 특정 데이터베이스를 DUMP 하면 그 파일의 용량이 만만치 않다.이를 효율적으로 옮기기 위해..

Synology Active Backup for Business는 Synology NAS에서 제공하는 백업 솔루션으로, 기업 환경에서 데이터 보호와 복구를 위해 설계된 강력한 도구를 말한다.사내에서 Synology NAS를 사용하고 있어서, 백업 솔루션으로 선택하게 되었다. 1. 설치2. 활성화 및 기본 설정3. 연결 대상 선택나의 경우 Windows PC에 있는 여러 파일들을 증분 백업하기 위해 PC/Mac > Windows를 선택했다. 4. Agent 프로그램 Windows PC에 설치 및 설정만약 NAS IP 주소를 입력하고 연결을 시도할 때 다음과 같은 오류가 발생하면, 이 링크를 참고하여 해결하면 된다.인터넷 오류입니다. 인터넷 연결을 확인하십시오.문제가 계속 발생하면 관리자에게 문의하여 서버의..

얼마 전 회사에서 A 서버의 Docker 위에서 돌아가는 postgres를 B 서버로 마이그레이션하는 작업을 맡았다. 일단 덤프 파일을 만들기 위해 A 서버에서 다음과 같은 명령어를 실행해준다.docker exec -i pg_dumpall -U > .sql `pg_dumpall` 명령어는 postgres에 존재하는 모든 데이터베이스에 대한 덤프 파일을 만들 수 있는데, 만약 일부 데이터베이스의 덤프 파일이 필요하면 `pg_dump` 명령어를 사용하면 된다. 다음으로 A 서버의 덤프 파일을 B 서버로 옮겨줘야 하는데, 나는 Termius라는 멀티 SSH 플랫폼을 사용하여 쉽게 옮겼다. 이제 A 서버에서 사용하던 postgres docker-compose.yml 파일의 내용을 가져와서, B 서버에서 실행..