Jordan Tech Lab

  • 홈
  • 방명록
  • 매니지

spark 1

IntelliJ로 Spark 개발 환경 구축하기

Introduction 여러 클라우드 환경이나 컨테이너 환경에서 간단하게 Spark를 사용할 수 있지만 local 환경에서도 Spark를 실행시킬수 있는 환경을 만들어두면 가볍게 테스트 할 수 있는 것들이 많아서 Local 환경에서도 Spark application을 build하고 실행시킬수 있는 환경을 구축하는 과정을 기록해 두려고 합니다. Spark의 개발 환경을 셋팅하기 위해서 Scala 및 JDK를 설치해야합니다. Spark는 scala로 작성되었고, scala는 JVM위에서 동작하기 때문입니다. 그렇기 때문에 JDK, Scala를 먼저 설치해야 합니다. 1. JDK 설치하기 JDK는 Java를 사용하기 위해 필요한 모든 기능을 갖춘 Java용 SDK로 javac(컴파일러), jdb, javado..

Computer Engineering/Data Engineering 2022.07.01
프로필사진

Jordan Tech Lab

Jordan's Tech Lab. (https://github.com/baidoosik)

  • 분류 전체보기 (137)
    • About (1)
      • Me (1)
    • Computer Engineering (92)
      • Design (3)
      • OS & Hardware (2)
      • System Programming (0)
      • ASP.NET CORE (2)
      • Network (2)
      • Algorithm (4)
      • Data Structure (1)
      • Python (5)
      • Fluent Python 정리 (22)
      • DB(DataBase) (4)
      • Data Analysis (4)
      • Data Engineering (18)
      • DataPlatform (5)
      • Django (10)
      • AWS (3)
      • GCP (0)
      • Crawling (1)
      • Tool (2)
      • My Stack Overflow (3)
      • 컨퍼런스 (1)
    • Project (0)
    • Traveling (12)
      • 한국 (3)
      • 베트남 (0)
      • 태국 (1)
      • 인도네시아 (1)
      • 말레이시아 (1)
      • 미국 (5)
      • 프랑스 (1)
    • 일상 (29)
      • 2022 남해워케이션 (7)
      • 책 (2)
      • 영화 (2)
      • 정보 (7)
      • 생각 (4)
      • 스타트업 (1)
    • 투자 (3)

Tag

개발, #코딩, mysql, 알고리즘, 개발자, 기본문법, 워케이션, airflow, 데이터엔지니어링, C#, 파이썬, 장고, 남해 워케이션, Python, 프로그래밍, 코딩, django, 데이터, 서버, 남해,

최근글과 인기글

  • 최근글
  • 인기글

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/06   »
일 월 화 수 목 금 토
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30
Linkedin Github

Copyright © Kakao Corp. All rights reserved.

티스토리툴바