MinIO Site Replication

오늘은 MinIO의 고가용성을 챙길 수 있는 방법 중 하나인 Site Replication에 대해 알아보고 구축해보겠습니다.Site Replication은 여러 독립된 MinIO 클러스터(사이트)를 하나로 묶어 데이터뿐만 아니라 설정까지 통째로 동기화하는 기능입니다.주요 특징은 다음과 같습니다.전체 동기화: 데이터(Object)는 물론이고 IAM 사용자, 그룹, 정책(Policy), 버킷 설정까지 모든 사이트가 동일하게 유지됩니다.Active-Active 지원: 기본적으로 모든 사이트에서 읽기/쓰기가 가능하며, 한곳에서 변경된 내용은 다른 모든 사이트로 자동 전송됩니다. (질문하신 Active-Passive 구성도 이를 통해 구현됩니다.)자동 장애 복구: 특정 사이트가 다운되었다가 복구되면, 중단된 동안..

• format_list_bulleted 개발
• · 2025. 12. 29.

2025 ProfitLab Hackathon 참가

오후 8시부터 익일 오전 7시 30분까지 총 11시간 30분을 몰입하여 프로덕트에 대해 고민하고 개발하는 경험을 할 수 있었다.우리는 A라는 특정 인물의 불편함을 파악하고 문제를 해결하기 위해 다음과 같은 페르소나를 정의했다.커져가는 구독 시장, 다중 구독의 시대경제적이고 효율적으로 구독 서비스를 사용하기 위해 어떻게 할 수 있을까? 이에 따라 "구독 관리 서비스"를 제작하기로 결정했고, 경쟁 어플인 "왓섭"과의 차별점으로 총 2가지를 제시했다.2-30대가 더 경제적으로 구독 서비스를 이용할 수 있도록 "구독팸" 모집을 도와준다.서비스 이용자가 구독 서비스를 효율적으로 사용하고 있는지 판단을 도와주기 위해 연령대별, 직무별 구독 사용 현황을 알려준다. 나는 ERD 설계를 하면서 끊임없이 프로덕트가 더 나..

• format_list_bulleted 개발
• · 2025. 12. 28.

GitLab CI/CD 파이프라인 구축하기

1. GitLab Settings에서 필요한 정보 확인하기2. CI/CD를 적용할 서버에서 gitlab-runner 설치하고 등록하기# 1. GitLab 공식 패키지 레포 등록curl -LO https://packages.gitlab.com/install/repositories/runner/gitlab-runner/script.deb.shsudo bash script.deb.sh# 2. GitLab Runner 설치sudo apt-get install gitlab-runner -y# gitlab-runner 등록sudo gitlab-runner register gitlab-runner를 등록할 때 URL과 token은 위에서 얻은 정보를 기입합니다.Tag도 필수로 입력해줘야 합니다. 3. gitlab-r..

• format_list_bulleted 개발
• · 2025. 10. 29.

데이터 품질(Data Quality)

Databricks에서 데이터 품질에 대해 설명한 글을 읽다가, 데이터 품질을 보장하기 위해 IDA(INSTITUTE FOR DEFENSE ANALYSES)에서 정의한 프레임워크에 대해 알게 되었습니다. 영문으로 되어 있는 문서를 번역해서 정리해보도록 하겠습니다. 제목 - 지휘와 통제를 위한 데이터 큐레이션의 일곱 가지 요소들어가면서중요하고 복잡한 많은 C2 활동(지휘 & 통제)은 시간에 따라 변동하며, 다양한 수준의 품질(완결성, 정확성 등)을 지니고, 출처가 불분명한 이질적인 데이터 소스(구조화 & 비구조화)의 사용을 요구한다. 현재 이러한 이질적인 데이터를 처리하는 작업은 수작업이 많이 필요하고 비용이 많이 드는데, 이는 주로 데이터의 품질 문제와 신속한 처리 능력 부족 때문이다.데이터 큐레이션은 ..

• format_list_bulleted 개발
• · 2025. 9. 16.

YOLO 모델 서빙 코드 성능 향상 경험

이 글은 알고리즘 팀에서 작성한 모델 파일을 통해 이미지를 추론하여 그 결과를 가공하고 DB에 적재하는 업무를 하던 중 경험한 내용을 정리한 글입니다.먼저 알고리즘 팀으로부터 모델 파일과 추론 결과값 형식을 제공받은 후 서빙 코드를 작성했습니다.def inference_on_gpu(device_id: int, image_list: List[str]) -> None: try: # 모델 로드 model = load_model(model_path=model_path, device_id=device_id, save_dir=save_dir, save_folder="run") for jpg_filename in image_list: # 이미지 하나씩 모..

• format_list_bulleted 개발
• · 2025. 8. 6.

오픈 소스의 버그를 발견한 경험

회사에서 Superset이라는 오픈소스 BI 툴을 사용하던 중에 어이없는 오류를 발견했다.WITH user_cte AS ( SELECT name, age FROM test WHERE age > 20)SELECT name as "사람 이름", age as "나이", COUNT(*) as "something else"FROM user_cteGROUP BY name, age; 위 쿼리를 사용하면 아래와 같은 오류가 발생한다.Unexpected errorCustom SQL fields cannot contain sub-queries. 하지만 아래 쿼리를 사용하면 오류가 발생하지 않는다.WITH user_cte AS ( SELECT name, age FROM test ..

• format_list_bulleted 카테고리 없음
• · 2025. 7. 2.