Jordan Tech Lab

  • 홈
  • 방명록
  • 매니지

데이터처리 1

Pandas Dataframe Type Casting 하기. (Feat. BigQuery)

Introduction 다른 데이터 Source에서 Pandas의 Dataframe으로 데이터를 Extract(추출)한 후에 Destination으로 데이터를 Load(적재)하는 경우에 데이터의 type을 casting해줘야 하는 경우가 많이 발생합니다. 타입에 관한 문제들을 겪다보면 단일 데이터베이스에서 ORM으로 DB에 CRUD를 하는 것이 얼마나 생산성이 높은지 느낄 수 있습니다. 특히, typing이 되어있는 데이터 소스가 아닌 경우(Web Page Crawling)하는 경우에 특히 이런 Needs들이 있습니다. 이런 경우에 Type casting이 필요한데 기본적인 Type casting과 나름의 시행착오를 겪은 부분들을 정리하려고 합니다. 특히, BigQuery에 Data를 load하는 경우에..

Computer Engineering/Data Engineering 2021.12.12
프로필사진

Jordan Tech Lab

Jordan's Tech Lab. (https://github.com/baidoosik)

  • 분류 전체보기 (137)
    • About (1)
      • Me (1)
    • Computer Engineering (92)
      • Design (3)
      • OS & Hardware (2)
      • System Programming (0)
      • ASP.NET CORE (2)
      • Network (2)
      • Algorithm (4)
      • Data Structure (1)
      • Python (5)
      • Fluent Python 정리 (22)
      • DB(DataBase) (4)
      • Data Analysis (4)
      • Data Engineering (18)
      • DataPlatform (5)
      • Django (10)
      • AWS (3)
      • GCP (0)
      • Crawling (1)
      • Tool (2)
      • My Stack Overflow (3)
      • 컨퍼런스 (1)
    • Project (0)
    • Traveling (12)
      • 한국 (3)
      • 베트남 (0)
      • 태국 (1)
      • 인도네시아 (1)
      • 말레이시아 (1)
      • 미국 (5)
      • 프랑스 (1)
    • 일상 (29)
      • 2022 남해워케이션 (7)
      • 책 (2)
      • 영화 (2)
      • 정보 (7)
      • 생각 (4)
      • 스타트업 (1)
    • 투자 (3)

Tag

Python, 서버, 워케이션, 장고, 파이썬, 기본문법, airflow, C#, 알고리즘, 개발, 개발자, 남해 워케이션, #코딩, 코딩, mysql, 프로그래밍, 남해, 데이터, 데이터엔지니어링, django,

최근글과 인기글

  • 최근글
  • 인기글

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/06   »
일 월 화 수 목 금 토
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30
Linkedin Github

Copyright © Kakao Corp. All rights reserved.

티스토리툴바