Pandas의 벡터 연산

최근에 회사에서 ETL 작업을 수행하면서, DB에 있는 테이블을 불러와 변환 작업을 한 뒤 새로운 테이블에 적재하는 일을 진행했다.

변환 작업은 Pandas를 사용했고, 이 과정에서 성능 향상을 고민하면서 알게된 벡터 연산에 대해 정리하려고 한다.

 

데이터프레임을 다룰 때 여러 가지 방법이 존재한다.

for문, iterrows() 메서드, apply() 메서드와 같이 레코드를 하나씩 다루는 방법과 벡터와 같이 모든 레코드를 한 번에 다루는 방법이 있다.

당연하게도 처리 속도 측면에서 벡터 연산이 우월하며, for문, iterrows(), apply() 중에서는 apply()가 가장 빠르다.

 

레코드를 하나씩 다루는 방법을 스칼라라고 하는데, 다음과 같은 특징을 가지고 있다.

• for문 : 레코드를 하나씩 순회
• iterrows() : 데이터프레임의 구조에 맞게 설계되어 레코드를 하나씩 효율적으로 순회
• apply() : 원래는 데이터프레임에 함수를 적용하기 위해 설계된 것이지만, 속도 최적화도 가능

 

끝으로 내가 사용한 벡터 연산 코드의 예시를 보여주고 마무리하고자 한다.

# pixel_count에서 1,000을 나눠 KP 계산
df_to_insert["kkpn"] = df["pixel_count"] / 1000

 

더불어 numpy의 where 메서드도 벡터 연산이므로 참고하자.

df_to_insert["latitude"] = np.where(df["tsi_lat"].isna() & df["tsi_lon"].isna(), df["pds_lat"], df["tsi_lat"])

 

그리고 벡터 연산의 경우는 입력값의 데이터 개수와 출력값의 데이터 개수가 동일해야 한다는 점을 잊지말자!