삼일오일사
close
프로필 사진

삼일오일사

github: @zjacom

  • 분류 전체보기 (115)
    • Book (66)
      • Learning SQL (9)
      • SQL 레벨업 (8)
      • 견고한 데이터 엔지니어링 (5)
      • 운영체제 (2)
      • 스파크 완벽 가이드 (9)
      • 파이썬 코딩의 기술 (29)
      • 분산 컴퓨팅 (4)
    • 개발 (31)
    • 기타 (10)
      • 출퇴근 공부 간단 정리 (7)
    • ELK (6)
  • 홈
  • 태그
  • 방명록

Pandas의 벡터 연산

최근에 회사에서 ETL 작업을 수행하면서, DB에 있는 테이블을 불러와 변환 작업을 한 뒤 새로운 테이블에 적재하는 일을 진행했다.변환 작업은 Pandas를 사용했고, 이 과정에서 성능 향상을 고민하면서 알게된 벡터 연산에 대해 정리하려고 한다. 데이터프레임을 다룰 때 여러 가지 방법이 존재한다.`for문`, `iterrows()` 메서드, `apply()` 메서드와 같이 레코드를 하나씩 다루는 방법과 벡터와 같이 모든 레코드를 한 번에 다루는 방법이 있다.당연하게도 처리 속도 측면에서 벡터 연산이 우월하며, `for문`, `iterrows()`, `apply()` 중에서는 `apply()`가 가장 빠르다. 레코드를 하나씩 다루는 방법을 스칼라라고 하는데, 다음과 같은 특징을 가지고 있다.`for문` :..

  • format_list_bulleted 개발
  • · 2025. 3. 6.
  • navigate_before
  • 1
  • navigate_next
공지사항
  • 31514의 이전 블로그는 여기로!
전체 카테고리
  • 분류 전체보기 (115)
    • Book (66)
      • Learning SQL (9)
      • SQL 레벨업 (8)
      • 견고한 데이터 엔지니어링 (5)
      • 운영체제 (2)
      • 스파크 완벽 가이드 (9)
      • 파이썬 코딩의 기술 (29)
      • 분산 컴퓨팅 (4)
    • 개발 (31)
    • 기타 (10)
      • 출퇴근 공부 간단 정리 (7)
    • ELK (6)
인기 글
전체 방문자
오늘
어제
Copyright © 31514 모든 권리 보유.
SKIN: Copyright © 쭈미로운 생활 All rights reserved. Designed by JJuum.
and Current skin "dev-roo" is modified by Jin.

티스토리툴바