Filebeat를 도입하기 전에 logstash.conf 파일의 input 섹션은은 다음과 같습니다.input { file { mode => "read" path => "/usr/share/logstash/ingest_data/**/*.log" exclude => [ "/usr/share/logstash/ingest_data/logstash_completed.log" ] exit_after_read => true file_completed_action => "log" file_completed_log_path => "/usr/share/logstash/ingest_data/logstash_completed.log" start_position => "beginning..

샘플 로그 파일이 kibana에서 시각화되기까지의 과정은 위의 그림과 같습니다.logstash가 로그 파일을 읽고 필터링을 거친 다음, elasticsearch에 저장kibana는 elasticsearch에 저장된 데이터를 바탕으로 시각화실제로 elasticsearch에 저장된 데이터를 확인하기 위해 kibana의 Dev Tools Console에서 다음 쿼리를 실행했습니다.GET logstash-*/_search{ "query": { "match_all": {} }, "size": 10} 그 결과, 크게 2가지 유형의 데이터가 나온 것을 확인할 수 있었습니다. { "_index": "logstash-2024.12.18", "_id": "_WPQ3JMBJySkpvXRWzOU", "_sco..

로그 파일 구조docker-compose.yml 파일에서 logstash 부분을 보면 다음과 같습니다.logstash01: depends_on: es01: condition: service_healthy kibana: condition: service_healthy image: docker.elastic.co/logstash/logstash:${STACK_VERSION} labels: co.elastic.logs/module: logstash user: root volumes: - certs:/usr/share/logstash/certs - logstashdata01:/usr/share/logstash/dat..

https://github.com/elkninja/elastic-stack-docker-part-one위 URL에서 docker compose 파일과 바인드 마운트할 여러 파일을 다운로드 받습니다.docker compose 파일 실행docker compose up -delasticsearch 확인docker cp [ES 컨테이너 이름]:/usr/share/elasticsearch/config/certs/ca/ca.crt /tmp/.curl --cacert /tmp/ca.crt -u elastic:changeme https://localhost:9200kibana 확인http://localhost:5601에 접속 후 아래와 같은 정보 입력ID : elasticPW : changeme metricbeat 확인

아래 웹 페이지를 참고하여 문서를 작성했습니다.https://www.elastic.co/blog/getting-started-with-the-elastic-stack-and-docker-compose파일 구조기본적인 파일 구조는 위와 같지만, filebeat는 사용할 계획이 없습니다..env 파일# Project namespace (defaults to the current folder name if not set)#COMPOSE_PROJECT_NAME=myproject# Password for the 'elastic' user (at least 6 characters)ELASTIC_PASSWORD=changeme# Password for the 'kibana_system' user (at least 6..

# airflow\\configuration.pydef getboolean(self, section: str, key: str, **kwargs) -> bool: # type: ignore[override] val = str(self.get(section, key, _extra_stacklevel=1, **kwargs)).lower().strip() if "#" in val: val = val.split("#")[0].strip() if val in ("t", "true", "1"): return True elif val in ("f", "false", "0"): return False else: raise AirflowCon..

먼저 Airflow의 시작점인 __main__.py 파일의 main() 함수부터 살펴보자.# airflow\__main__.pydef main(): conf = configuration.conf if conf.get("core", "security") == "kerberos": os.environ["KRB5CCNAME"] = conf.get("kerberos", "ccache") os.environ["KRB5_KTNAME"] = conf.get("kerberos", "keytab") parser = cli_parser.get_parser() argcomplete.autocomplete(parser) args = parser.parse_args() ..

얼마 전에 식사를 하던 중, 지원한 회사로부터 최종 합격 전화를 받았다.대학교를 졸업하고 약 9개월 정도의 시간이 걸린 거 같다.주변에서나 매체를 통해서나 쉽게 접할 수 있었던 "개발자 붐" + "경제 상황 악화" = "얼어붙은 개발자 채용 시장"에 세뇌된 탓인지, 기쁨의 감정보다는 안도의 감정이 먼저 마중나왔다.우여곡절 끝에 회사에 출근한지 어엿 3주차로 접어든 이 시점에 앞으로 무엇을 할 지 생각해보려 한다.운이 좋게도 내가 원하는 직무로 취업하여 천천히 경력을 쌓을 수 있으리라 생각이 들지만, 남들과 같은 속도로 달려갈 생각은 없다.비교하는 삶을 살고 싶진 않지만, 시작점이 남들과 다른 것은 객관적인 사실이다.미래에 대한 걱정과 고민을 너무 깊게 할 생각은 없지만, 하루하루를 열심히 살아볼 생각이다..