# airflow\\configuration.pydef getboolean(self, section: str, key: str, **kwargs) -> bool: # type: ignore[override] val = str(self.get(section, key, _extra_stacklevel=1, **kwargs)).lower().strip() if "#" in val: val = val.split("#")[0].strip() if val in ("t", "true", "1"): return True elif val in ("f", "false", "0"): return False else: raise AirflowCon..

먼저 Airflow의 시작점인 __main__.py 파일의 main() 함수부터 살펴보자.# airflow\__main__.pydef main(): conf = configuration.conf if conf.get("core", "security") == "kerberos": os.environ["KRB5CCNAME"] = conf.get("kerberos", "ccache") os.environ["KRB5_KTNAME"] = conf.get("kerberos", "keytab") parser = cli_parser.get_parser() argcomplete.autocomplete(parser) args = parser.parse_args() ..

첫 번째 문제 - Small Instance에 Airflow 서버 구축개인 프로젝트를 하면서 5분 단위로 크롤링하여 데이터를 수집하고 싶었다.이를 위해 Lambda + EventBridge와 EC2 + Airflow를 고민하다가 비용적인 측면에서 후자가 유리할 거 같았다.이 링크를 참고하여 최대한 스펙이 낮은 EC2에 Airflow 서버를 구축했다. 처음에는 1GB RAM을 가진 인스턴스에서 Airflow 서버 구축을 시도했지만 메모리 부족 한계에 부딪혔다.이에 따라 아래와 같이 스왑 메모리도 설정해봤지만 역부족이었다.sudo fallocate -l 3G /swapfilesudo chmod 600 /swapfilesudo mkswap /swapfilesudo swapon /swapfileecho '/sw..