Jordan Tech Lab

  • 홈
  • 방명록
  • 매니지

2023/04/06 1

Airflow Task 우선순위 설정하기(Priority weights)

Task Priority Weights 이 글은 Airflow Task의 우선순위를 priority_weight 파라미터와 weight_rule 을 이용해서 관리하는 방법을 설명합니다. 최근에 많은 양의 DAG을 rerun해야하는 경우가 발생했는데 우선순위가 높은 DAG의 스케쥴이 뒤로 밀려서 불편함을 겪어서 Task우선순위를 설정하는 방법에 대해서 찾아보게 됐습니다. Airflow는 task의 우선순위를 결정하기 위해 task의 priority_weights를 사용합니다. priority_weight는 각 task에 대해 정의되어 있으며, Airflow scheduler가 task를 실행할 때 사용되고, weight_rule는 priority_weight을 계산하는 방법에 대한 설정 값입니다. 해당 값..

Computer Engineering/Data Engineering 2023.04.06
이전
1
다음
더보기
프로필사진

Jordan Tech Lab

Jordan's Tech Lab. (https://github.com/baidoosik)

  • 분류 전체보기 (137)
    • About (1)
      • Me (1)
    • Computer Engineering (92)
      • Design (3)
      • OS & Hardware (2)
      • System Programming (0)
      • ASP.NET CORE (2)
      • Network (2)
      • Algorithm (4)
      • Data Structure (1)
      • Python (5)
      • Fluent Python 정리 (22)
      • DB(DataBase) (4)
      • Data Analysis (4)
      • Data Engineering (18)
      • DataPlatform (5)
      • Django (10)
      • AWS (3)
      • GCP (0)
      • Crawling (1)
      • Tool (2)
      • My Stack Overflow (3)
      • 컨퍼런스 (1)
    • Project (0)
    • Traveling (12)
      • 한국 (3)
      • 베트남 (0)
      • 태국 (1)
      • 인도네시아 (1)
      • 말레이시아 (1)
      • 미국 (5)
      • 프랑스 (1)
    • 일상 (29)
      • 2022 남해워케이션 (7)
      • 책 (2)
      • 영화 (2)
      • 정보 (7)
      • 생각 (4)
      • 스타트업 (1)
    • 투자 (3)

Tag

서버, 파이썬, airflow, 알고리즘, mysql, 워케이션, #코딩, 남해 워케이션, 코딩, 남해, Python, django, 장고, 개발자, 프로그래밍, 개발, 기본문법, 데이터, 데이터엔지니어링, C#,

최근글과 인기글

  • 최근글
  • 인기글

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2023/04   »
일 월 화 수 목 금 토
1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30
Linkedin Github

Copyright © Kakao Corp. All rights reserved.

티스토리툴바