Airflow 컨테이너를 새로운 우분투 유저로 올리면서 생긴 일

우분투 서버에 새로운 유저를 만들고, Airflow 컨테이너를 올리는 과정에 겪은 문제를 기록합니다. rootless-docker를 사용했고, 유저명은 niscom입니다. 먼저 Airflow 공식 홈페이지에서 docker-compose.yaml 파일을 다운로드 받습니다. 저는 2.9.1 버전을 선택했고, Playwright 라이브러리를 사용해야 했기 때문에 `build .` 주석 처리를 해제합니다. Airflow docker-compose.yaml 파일을 살펴보면 user와 관련된 설정이 있는데, Airflow UID:GID로 구성되어 있습니다. 새로운 유저로 아무런 설정 없이 `docker compose up -d`를 실행하면 다음과 같은 오류가 발생합니다. airflow-scheduler-1 | P..

• format_list_bulleted 개발
• · 2025. 5. 12.

뤼튼 캐릭터 크롤링

오늘은 뤼튼 홈페이지에서 캐릭터 데이터를 크롤링하면서 부딪혔던 문제들에 대해 글을 쓰려고 합니다. 기능 요구사항위 이미지처럼 뤼튼에는 여러 캐릭터가 있습니다.여기서 이름, 썸네일 이미지, 설명, 만든 사람을 추출합니다. 그리고 캐릭터를 클릭하면 볼 수 있는 첫 메시지 또한 가져오고 이를 MySQL에 저장하는 간단한 기능입니다. 사용한 기술언어 : Python크롤링 도구 : Playwright오케스트레이션 툴 : Docker패키징 : pyproject참고 사항뤼튼은 캐릭터를 가상 스크롤링 기술을 사용하여, 동적으로 렌더링합니다.크롤링보다 더 좋은 방법은 뤼튼이 웹 사이트에 데이터를 전달하는 API의 패턴을 찾아보는 것이 더 좋습니다.뤼튼은 next_cursor를 사용하여 캐릭터 정보를 담고 있는 API를 ..

• format_list_bulleted 개발
• · 2024. 10. 13.