최근에 회사에서 ETL 작업을 수행하면서, DB에 있는 테이블을 불러와 변환 작업을 한 뒤 새로운 테이블에 적재하는 일을 진행했다.변환 작업은 Pandas를 사용했고, 이 과정에서 성능 향상을 고민하면서 알게된 벡터 연산에 대해 정리하려고 한다. 데이터프레임을 다룰 때 여러 가지 방법이 존재한다.`for문`, `iterrows()` 메서드, `apply()` 메서드와 같이 레코드를 하나씩 다루는 방법과 벡터와 같이 모든 레코드를 한 번에 다루는 방법이 있다.당연하게도 처리 속도 측면에서 벡터 연산이 우월하며, `for문`, `iterrows()`, `apply()` 중에서는 `apply()`가 가장 빠르다. 레코드를 하나씩 다루는 방법을 스칼라라고 하는데, 다음과 같은 특징을 가지고 있다.`for문` :..

컴파일러컴파일러는 구문 분석을 통해 문자열로 이루어진 코드를 기계어로 변환함구분 분석은 의미 분석 -> 중간 코드 -> 어셈블리어 -> 기계어의 과정을 거침위 과정을 거치면 객체 파일(object file)이 생성됨 링커링커는 컴파일러가 생성한 여러 객체 파일을 묶어서 실행 파일을 생성함이 외에도 심벌 해석과 재배치도 진행함

천공에 구멍을 뚫어 CPU의 언어로 코드를 작성함기계어를 인간이 이해할 수 있는 단어와 대응시켜 어셈블리어를 만듦인간의 추상적인 표현을 기계가 자동으로 인식할 수 있도록 하기 위해서 조건문, 반복문, 구문, 함수 등과 재귀 + 트리 구조를 사용하여 컴파일러를 만듦서로 다른 기계어를 인식하는 CPU들을 위해 가상 머신(인터프리터)를 만들어서 영어와 같이 표준을 만듦

최근에 개인적으로 진행하고 있는 팀 프로젝트에서 사용하는 Elasticsearch의 모든 인덱스가 알 수 없는 이유로 모두 삭제되었다.다행히 복구할 수 있는 방법을 찾게 되었지만, snapshot을 활용하여 복구할 수 없어서 불편한 경험을 했다. 이번 기회에 데이터 스토리지 복구에 대한 중요성을 몸소 깨닫고, elasticsearch의 스냅샷 설정에 대해 적어두려고 한다.단, 내가 사용하고 있는 elasticsearch 서버는 도커로 운영되지 않음을 밝힌다. snapshot 파일 저장 경로 설정파일 저장 경로 생성`sudo mkdir -p /mnt/elasticsearch-backup` 권한 할당`sudo chown -R elasticsearch:elasticsearch /mnt/elasticsearch..

요즘 백업 업무를 지속적으로 하다 보니, 두 폴더의 크기를 비교할 일이 많아졌다.근데 문득 다음과 같이 크기와 디스크 할당 크기가 왜 서로 다른 지 궁금해졌다.그 이유는 윈도우가 특정 파일을 저장할 때 클러스터 단위로 저장하기 때문이다.예를 들어 클러스터 단위가 4KB라면, 1KB 짜리 파일을 저장할 때도 최소 4KB를 사용한다. 이에 따라 자연스럽게 디스크 할당 크기가 더 커지는 상황이 발생한다.

A 노드 B 노드가 있다고 가정해보자.어떤 사용자는 TC(Transaction Coordinator)에게 자신이 하고자하는 메시지를 보낼 수 있다.메시지를 받은 TC는 A 노드와 B 노드에게 사용자가 하고자 하는 일을 전달하고 확인 메시지를 받을 수 있다. 이런 상황에서 TC 또는 노드들에 장애가 발생하면 어떻게 될까?예를 들면, TC가 A와 B에게 메시지를 보냈지만 A에게 메시지를 전송하자마자 알 수 없는 이유로 TC에 장애가 발생했다면?그럼 B는 A와 달리 어떤 메시지도 받지 못하게 된다.이런 상황을 안정성에 위반한다고 할 수 있다. 다른 예로, 사용자가 TC에게 하고자 하는 일을 전달했지만 TC에 장애가 발생하여 A 노드, B 노드 모두 무한정 기다리는 상황이라면?이런 상황은 라이브니스에 위반한다고..

분산 컴퓨팅에게 요구하는 두 가지 요건1. 안정성 - 잘못된 결과가 일어나서는 안됨2. 라이브니스 - 원하는 결과가 언젠가는 실현스트로우맨 프로토콜(Straw Man Protocol)1. 트랜잭션을 중계하는 코디네이터인 TC에게 A가 B에게 1,000원을 입금하겠다는 요청을 보낸다.2. TC는 A의 은행에게 A의 계좌에서 1,000원을 차감한다는 요청을 보내는 동시에 B의 은행에게 B의 계좌에서 1,000원을 증감한다는 요청을 보낸다.위 프로토콜이 문제가 되는 경우는 다음과 같다.1. A의 계좌에 돈이 없을 경우2. B의 계좌가 존재하지 않을 경우3. 은행 서버에 정전이 발생한 경우4. TC가 중단된 경우따라서 우리는 장애에 내성을 가지는 분산 컴퓨팅 시스템을 구축해야 한다.

분산 컴퓨팅은 네트워크로 연결된 다양한 기계들이 협의 과정을 거쳐 어떤 목적을 달성하는 것을 말한다.비동기적인 통신은 메시지의 전달 여부나 정해진 시각 안의 도달을 보장할 수 없는 통신을 말한다.분산 컴퓨팅에서 비동기적인 통신은 어려운 문제다.비동기적인 통신 방법으로는 분상 컴퓨팅에서 완전한 합의를 이룰 수 없다.