Chunk를 사용하여 대용량 파일 전송하기

회사에 A 서버의 내부망에서 돌아가는 Postgres 서버가 있다.우리에게 필요한 데이터는 매일 A 서번에 적재된다.하지만 웹 개발은 B 서버의 Postgres를 통해 진행된다. 따라서 웹 개발팀에서 최신 데이터를 사용하기 위해서 매일 A 서버로부터 데이터를 B 서버로 옮겨야한다.이를 해결하기 위해 Airflow와 Chunk를 사용하여 매일 새벽 3시에 두 서버의 Postgres를 동기화했다. Chunkchunk가 무엇일까?chunk는 데이터를 일정한 크기로 나눈 조각을 말한다.한 번에 전체 파일을 메모리에 올리지 않고, 작은 단위로 읽고 쓰거나 네트워크를 통해 전송하여 메모리 사용량을 줄인다. postgres의 특정 데이터베이스를 DUMP 하면 그 파일의 용량이 만만치 않다.이를 효율적으로 옮기기 위해..