Jordan Tech Lab

  • 홈
  • 방명록
  • 매니지

AIrlfow #Data-engineering 1

Airflow KubernetesPodOperator 예제 코드 및 설명

KubernetesPodOperator는 Kuberntes cluster에서 Airflow가 실행중일 때 사용자가 원하는 docker image에서 task를 실행하는 task를 만드는 Operator입니다. Airflow는 여러 가지 서비스들을 Orchestration할 수 있다는 강점을 가지고 있습니다. 직접 데이터를 처리하는 서비스들을 여러 개 만들수도 있는데 이 때 각각의 서비스의 의존성이 다를 수 있는데 이 때 KubernetesPodOperator 를 사용하면 독립적인 컨테이너 환경에서 서비스를 실행할 수 있습니다. Install KubernetesPodOperator 를 위해 필요한 kubernetes provider 패키지 설치 pip install apache-airflow[cncf.ku..

Computer Engineering/Data Engineering 2023.07.22
프로필사진

Jordan Tech Lab

Jordan's Tech Lab. (https://github.com/baidoosik)

  • 분류 전체보기 (137)
    • About (1)
      • Me (1)
    • Computer Engineering (92)
      • Design (3)
      • OS & Hardware (2)
      • System Programming (0)
      • ASP.NET CORE (2)
      • Network (2)
      • Algorithm (4)
      • Data Structure (1)
      • Python (5)
      • Fluent Python 정리 (22)
      • DB(DataBase) (4)
      • Data Analysis (4)
      • Data Engineering (18)
      • DataPlatform (5)
      • Django (10)
      • AWS (3)
      • GCP (0)
      • Crawling (1)
      • Tool (2)
      • My Stack Overflow (3)
      • 컨퍼런스 (1)
    • Project (0)
    • Traveling (12)
      • 한국 (3)
      • 베트남 (0)
      • 태국 (1)
      • 인도네시아 (1)
      • 말레이시아 (1)
      • 미국 (5)
      • 프랑스 (1)
    • 일상 (29)
      • 2022 남해워케이션 (7)
      • 책 (2)
      • 영화 (2)
      • 정보 (7)
      • 생각 (4)
      • 스타트업 (1)
    • 투자 (3)

Tag

Python, 장고, django, 개발, 데이터, mysql, 개발자, 남해, 코딩, 남해 워케이션, 데이터엔지니어링, 파이썬, 워케이션, C#, 프로그래밍, 알고리즘, 서버, airflow, 기본문법, #코딩,

최근글과 인기글

  • 최근글
  • 인기글

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/06   »
일 월 화 수 목 금 토
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30
Linkedin Github

Copyright © Kakao Corp. All rights reserved.

티스토리툴바