Jordan Tech Lab

최근 팀에서 엔지니어링팀을 어떻게 확장할지에 대한 논의도 많고, 관련해서 멘토링도 받고 있다. 팀 구축 그리고 구축 과정에서 고려해야 할 부분에 대해서 자료를 찾는 중에 일본에 Ubie라는 AI 헬스케어 스타트업 CTO께서 작성하신 The Evolution of an Early-Stage Startup Engineering Team 라는 엔지니어링 팀이 3명에서 19명이되기까지 여정에 대한 포스팅을 읽고, 인상깊었던 부분은 아래와 같다.- 초기 팀원 바는 절대 타협하지 말아라. 초기 팀이 구축한 시스템은 변경하기 굉장히 어렵고 이는 비즈니스가 성장했을 때 채용/제품 개발에서 큰 병목이 된다. -> 맞다. 비즈니스가 성장할 때 엔지니어링 부채를 해결하기 위해서 일정시간 보장 받는것도 굉장히 어렵고, 이 과..

오픈소스 문화는 소프트웨어 산업을 빠르게 성장시켰다. 오픈소스로 여러 소프트웨어들을 사용하면서 생산성이 폭발적으로 향상됐기 때문이다. 개발자들도 오픈소스를 사용함으로써 회사를 옮겨도 쉽게 기술을 도입할 수 있게 됐다. 이런 영향으로 업계 자체가 자유롭고 개방적인것 같다. 책을 읽으면서 몇 가지 공통적인 부분을 정리해봤다. - 전반적으로 개발을 어릴 때 부터 접해서 직업보다는 취미로 시작한 분들이 많다. 오픈소스에 기여하는 분들은 프로그래밍을 한 가지 취미로 하는 경우가 많다.- 인터뷰 하신 분들 중 절반이상이 해외 근무 중이시다. 오픈소스 개발 중 스카우트를 받아서 넘어간 분들이 많다.- 프로젝트에 익숙해지기 위해서는 꽤 긴 시간이 필요한 것 같다. 인터뷰이 몇 분은 회사를 그만두고 일정기간동안 오픈소스..

요즘 ‘나는 왜 일하는가?’, ‘무엇을 하며 살고 싶은가?’에 대한 고민을 하고 있다. 고민을 하면서 파고들어 가다 보면 ‘나는 누구이고, 어떤 사람인가'라는 질문을 맞닥뜨린다.나에 대해서 알 수 있는 방법 중 하나가 ‘나는 언제 행복할까?’라는 질문에 답변을 하는 것이라는 생각이 들어 생각하던 도중에 ‘ENTP는 언제 행복할까’라는 생각이 들어서 ChatGPT에 물어봤다.나: ENTP는 대체적으로 언제 행복을 느낄까?ChatGPT: ENTP(외향형, 직관형, 사고형, 탐색형) 성격 유형은 대체적으로 새로운 아이디어, 도전, 자유로운 사고에서 행복을 느끼는 경향이 있습니다. 이들은 MBTI 성격 유형 중 하나로, 창의적이고 토론을 좋아하며, 지적인 자극과 변화에 강하게 끌리는 성향을 가지고 있습니다. E..

ETL과 ELT의 차이 ETL과 ELT의 차이는 데이터를 소스에서 타켓으로Ingestion하는 과정에서 Transafrom을 언제 하는지에 대한 차이입니다. ETL은 Extract-Transfrom-Load 순으로 진행됩니다. 반면에 ELT는 Extract-Load-Transform순으로 진행됩니다. 많은 글에서 ELT가 데이터를 Transform하지 않은 상태로 DataLake 또는 Data Warehouse에 데이터를 적재하지 않기 때문에 원시 데이터로 부터 다양한 가공이 가능해서 더 데이터를 잘 활용할 수 있다고 설명하는 부분에 집중합니다. 하지만, ELT의 패러다임은 단순히 Transformation 순서만 바뀐 것이 아니라 Ingestion layer와 Transformation layer를 나..

데이터 엔지니어의 가장 중요한 역할 중 하나는 데이터플랫폼을 구축하는 일이라고 생각합니다. 데이터 플랫폼은 기존의 데이터웨어하우스 중심의 시스템에서 벗어나 다양한 데이터를 다루고, 확장 가능하고 더 데이터를 잘 활용할 수 있는 종합적인 플랫폼을 의미합니다. 참고: 데이터 웨어하우스와 데이터플랫폼의 차이 이 글은 데이터 플랫폼의 구성에 대해서 계속 공부하면서 업데이트해나갈 예정입니다. 그리고 각각의 구성요소들을 다른 글에서 계속해서 업데이트를 해나가려고 합니다. 데이터 플랫폼은 다양한 구성요소가 있고, 각각의 구성요소 또한 다양한 서비스와 기술스택으로 구성할 수 있어서 경험을 하고 공부를 하면서 계속 글을 업데이트할 예정입니다. 데이터플랫폼이란? Data Platform은 다양한 대규모의 데이터를 수집, ..

Kafka의 Consumer Application 사용 목적으로 몇 가지 Library를 살펴보다가 Faust라는 라이브러리를 발견했다. Consumer 안에서 Django ORM을 사용해보려고 했는데 다양한 Python Package와 integration을 지원한다고 해서 관심을 가지게 됐고, POC 해보면서 느낀 점을 정리해보려고 한다. 처음 살펴보는 라이브러리이고 아직 Kafka에 대한 지식이 많지 않아서 기록 목적으로 남기는 점 참고 부탁드립니다! 주요 살펴볼 부분은 아래와 같았다. 로컬 셋팅 및 간단한 예제 Django와 Integration 오프셋 관리 및 자동 재시도 및 오류 복구 Consumer Group 관리 및 배포 편의성 커뮤니티&사용사례 Local Setup 및 기본 테스트 로컬에..

Publish/Subscribe(이하 Pub/Sub) 메시징 시스템과 Producer/Consumer 메시징 시스템에 대해서는 대부분 Kafka나 RabbitMQ 등 여러 메시징 시스템을 리서치 후 선택할 때 자주 본 개념일 것입니다. 하지만, Kafka 도입을 위해서 살펴볼 때 Pub/Sub 메시징 시스템인데도 불구하고 Producer와 Consumer라는 개념을 맞닥뜨리게 될 때 '내가 잘 못 알고 있었나?'라는 생각이 들면서 다시 찾아보게 됩니다. 결론부터 얘기하면 Kafka의 기본 아키텍처와 데이터 처리 모델에 주안해서 네이밍을 했기 때문입니다. Kafka는 본질적으로 Publish-Subscribe 모델을 기반으로 하지만, 그 구현 방식과 사용 사례가 전통적인 Publish-Subscribe ..

이번 글에서는 Merge 쿼리에 대한 설명과 Merge문의 대표적 사용 사례인 Merge쿼리를 사용해서 MySQL BigQuery 간에 데이터 웨어하우징에 사용하는 사례를 함께 기록해 보려고 합니다. 계속 변경되는 데이터 소스를 기존의 데이터셋에 정기적으로 통합해야 할 때 자주 사용됩니다. Merge 쿼리 BigQuery에서 MERGE 쿼리는 SQL의 MERGE 문을 기반으로 하며, 두 개의 테이블을 결합하여 대상 테이블에 소스 테이블의 데이터를 삽입, 업데이트, 또는 삭제하는데 사용됩니다. 이것은 일종의 "upsert" 작업으로 보일 수 있으며, 즉 존재하지 않는 행은 삽입하고 존재하는 행은 업데이트하는 기능을 제공합니다. 위에서 설명한 것처럼 조건에 따라 삽입, 업데이트, 또는 삭제가 가능하기 때문에..

! 이 글은 Django 5.0을 기준으로 작성됐습니다. 내부 코드를 분석한 부분은 저의 해석으로 잘못 이해한 부분이 있을 수 있습니다. DB Connection in Django Django를 사용하다가 다른 Framework를 사용하면 귀찮은 부분 중 하나가 명시적으로 DB Connection을 관리하는 부분입니다 예를 들어, Flask를 사용하여 SQLAlchemy를 적용할 때는 다음과 같이 데이터베이스 연결을 생성하고 관리해야 합니다. app.config['SQLALCHEMY_DATABASE_URI'] = 'sqlite:///example.db' db = SQLAlchemy(app) # 사용자 추가 API @app.route('/user', methods=['POST']) def add_user(..

웹 보안에 있어서 중요한 공격 유형 중 하나인 CSRF(Cross-Site Request Forgery)는 사용자의 의도와 무관하게 공격자가 준비한 악의적인 요청을 보내게 만드는 기법입니다. 사용자가 로그인 상태에서 공격자가 조작한 웹페이지에 접속할 경우, 그 페이지는 사용자가 인지하지 못하는 사이에 위조된 요청을 보내게 됩니다. 이를 통해 공격자는 사용자의 인증을 악용할 수 있습니다. Django는 이러한 CSRF 공격을 방지하기 위한 강력한 메커니즘을 기본적으로 제공합니다. 그 핵심 중 하나는 'CSRF 토큰'이 있습니다. (또 다른 방법은 CORS와 관련된 설정으로 궁금하신 분은 이 포스팅을 보셔도 좋을 것 같습니다.) CSRF 토큰이란? CSRF 토큰은 클라이언트가 서버로 요청을 보낼 때마다 서버..

웹 개발을 하다보면 CORS(Cross-Origin Resource Sharing)와 같은 보안 이슈들이 흔히 발생합니다. 이는 브라우저가 서로 다른 호스트(도메인) 간의 자원 공유를 제한함으로써, 웹 애플리케이션의 보안을 강화하는 중요한 기능입니다. 이러한 제한의 근본적인 이유는 보안 취약점을 방지하기 위함인데, 예를 들어, CSRF(Cross-Site Request Forgery)와 같은 공격에서는 악의적인 웹사이트가 사용자의 브라우저에 저장된 인증 정보를 이용하여 다른 사이트에 요청을 보내는 행위를 막기 위함입니다. 데이터 엔지니어로 전향한 후에 오랜만에 서버 개발을 하려고 했더니 개념이 정확히 기억도 안 나고 사실 오랜만에 세션으로 인증을 구현할 일이 있어서 조금 헤맸습니다. CORS, CSRF,..

Introduction Docstring은 파이썬에서 코드 문서화의 중심에 있는 기능입니다. 코드 문서화는 좋은 프로그램의 필수적 요소입니다. 아무리 성능이 훌륭한 코드여도 문서를 잘 갖추지 않는다면 사람들은 사용하지 않을 것 이기 때문입니다. Commenting vs Documenting Code Comment: 주석은 코드를 개발자들에게 설명하기 위해서 사용. "코드는 '어떻게'를 알려주고, 주석은 '왜'를 알려줍니다.” - Jeff Atwood 코드 주석을 작성하는 목적은 계획 및 검토, 코드 설명, 알고리즘 설명, 태깅 등 여러 가지 주석은 구체적인 코드 라인이나 블록 바로 근처에 존재. PEP 8에 따르면 주석은 최대 72자까지여야 합니다. Documenting Code: 코드를 문서화하는 것은..

파이썬에서 import time과 runtime은 코드가 실행되는 시점에 대한 개념입니다. import time은 파이썬 모듈이 import 될 때 실행되는 코드들을 의미하고, run time은 실제 해당 함수나 클래스가 호출됐을 때 실행되는 것을 의미합니다. 이 두 개념을 이해하는 것은 코드를 작성할 때 runtime에 결정되는 변수를 import time에 실행되는 코드에 포함하면 에러가 발생할 수 있는데 이를 이해하는데 도움이 되고, 마찬가지인 개념에서 circular import 문제를 이해하는데도 도움이 됩니다. import time (임포트 타임) import time에 실행되는 코드 임포트 타임(import time)은 해당 모듈을 임포트하는 동안에 실행되는 코드로, 주로 모듈 초기화 작업이..

영문 글 링크(Link of English version post) Introduction 안녕하세요. 10월 14일부터 10월 21일까지 뉴올리언스에서 열린 Coalesce 2022 - The Analytics Engineering Conference 행사를 다녀왔습니다. Coalesce 2022는 dbt Labs에 주최한 Analytics Engineering Conference입니다. Analytics Engineering에 대해서 아직 알고 계시지 못하신다면 제가 작성한 글인 Analytics Engineer 란? (Feat. Modern Data Stack) 을 한 번 먼저 읽어보셔도 좋을 것 같습니다. 행사는 크게 3가지 방식으로 운영됐습니다. Coalesce New Orleans Coales..

최근 팀에서 엔지니어링팀을 어떻게 확장할지에 대한 논의도 많고, 관련해서 멘토링도 받고 있다. 팀 구축 그리고 구축 과정에서 고려해야 할 부분에 대해서 자료를 찾는 중에 일본에 Ubie라는 AI 헬스케어 스타트업 CTO께서 작성하신 The Evolution of an Early-Stage Startup Engineering Team 라는 엔지니어링 팀이 3명에서 19명이되기까지 여정에 대한 포스팅을 읽고, 인상깊었던 부분은 아래와 같다.- 초기 팀원 바는 절대 타협하지 말아라. 초기 팀이 구축한 시스템은 변경하기 굉장히 어렵고 이는 비즈니스가 성장했을 때 채용/제품 개발에서 큰 병목이 된다. -> 맞다. 비즈니스가 성장할 때 엔지니어링 부채를 해결하기 위해서 일정시간 보장 받는것도 굉장히 어렵고, 이 과..

오픈소스 문화는 소프트웨어 산업을 빠르게 성장시켰다. 오픈소스로 여러 소프트웨어들을 사용하면서 생산성이 폭발적으로 향상됐기 때문이다. 개발자들도 오픈소스를 사용함으로써 회사를 옮겨도 쉽게 기술을 도입할 수 있게 됐다. 이런 영향으로 업계 자체가 자유롭고 개방적인것 같다. 책을 읽으면서 몇 가지 공통적인 부분을 정리해봤다. - 전반적으로 개발을 어릴 때 부터 접해서 직업보다는 취미로 시작한 분들이 많다. 오픈소스에 기여하는 분들은 프로그래밍을 한 가지 취미로 하는 경우가 많다.- 인터뷰 하신 분들 중 절반이상이 해외 근무 중이시다. 오픈소스 개발 중 스카우트를 받아서 넘어간 분들이 많다.- 프로젝트에 익숙해지기 위해서는 꽤 긴 시간이 필요한 것 같다. 인터뷰이 몇 분은 회사를 그만두고 일정기간동안 오픈소스..

요즘 ‘나는 왜 일하는가?’, ‘무엇을 하며 살고 싶은가?’에 대한 고민을 하고 있다. 고민을 하면서 파고들어 가다 보면 ‘나는 누구이고, 어떤 사람인가'라는 질문을 맞닥뜨린다.나에 대해서 알 수 있는 방법 중 하나가 ‘나는 언제 행복할까?’라는 질문에 답변을 하는 것이라는 생각이 들어 생각하던 도중에 ‘ENTP는 언제 행복할까’라는 생각이 들어서 ChatGPT에 물어봤다.나: ENTP는 대체적으로 언제 행복을 느낄까?ChatGPT: ENTP(외향형, 직관형, 사고형, 탐색형) 성격 유형은 대체적으로 새로운 아이디어, 도전, 자유로운 사고에서 행복을 느끼는 경향이 있습니다. 이들은 MBTI 성격 유형 중 하나로, 창의적이고 토론을 좋아하며, 지적인 자극과 변화에 강하게 끌리는 성향을 가지고 있습니다. E..