Jordan Tech Lab

pandas에서 데이터를 다루다보면 시간 데이터를 자주 변환하고 다루게 됩니다. 데이터를 여러 resolution으로 분석해야 하기 때문입니다. 즉, 연도/월/일/시간/요일등 별로 데이터를 분석합니다. 항상 필요할 때 마다 구글에서 변환하는 방법을 찾는게 귀찮아서 한 번에 정리하고, cheetsheet로 활용해보려고 합니다. 이번 Posting에서 변환해보려고 하는 경우는 아래와 같습니다. 1) unix time -> datetime 으로 변환 2) datetime -> 년/월/일 만 추출하고 3) datetime -> 요일로 변환 4) datetime -> unix time - Pandas 에서 Series의 날짜 데이터를 다루는 방법 정리 Unix time - > date time pandas.to_..

캐글을 통해 입문하는 사람들은 보통 타이타닉의 예제를 통해 입문하는 경우가 많습니다. 최근에 몇 가지 강의에서도 타이타닉 예제를 사용하고 있는 것으로 알고 있습니다. 타이타닉 예제를 통해서 데이터 사이언티스트(Data scientist) 들이 어떤 일을 하는지 데이터 분석에서 어떤 일을 하는지 조금 이해할 수 있게 됐습니다. 간단하게 flow를 정리해봤습니다. 1. 정확하게 문제를 정의해야 합니다. 어떤 데이터로 어떤 문제를 해결하고 싶은지 정의 해야 합니다. 타이타닉 문제를 예로 들자면, 타이타닉에 탑승했던 승객들의 정보를 통해 미래에 어떤 배를 타는 승객들이 배가 침몰했을 때 죽을지 죽지 않을지 예측합니다. 2. 데이터를 processing하여 정리해서 모으는 과정이 필요합니다. 데이터를 분석 할 수..

AWS Lambda는 기본적으로 파이썬의 기본 모듈만 지원하므로 추가적으로 라이브러리들을 사용하기 위해서는 패키징 후 업로드하여 사용하여야 합니다. 배포 패키지를 생성하는 방법. 패키지의 root directory를 생성.Root 디렉토리에 필요한 라이브러리들을 설치. pip install requests -t path/root directory -t 옵션으로 원하는 디렉토리에 설치할 수 있습니다. 3. 그런 다음 zip -r sample.zip path/root directory + 최근에 Lambda에서 패키징해서 올린 파일도 인라인 수정이 가능하도록 기능이 추가됐습니다. 한 번 올린 이후에 간단한 수정은 Lambda inline으로 수정할 수 있습니다. 감사합니다.

오늘부터 기본 리스트의 정렬 알고리즘들에 대하여 정리해보도록 하겠습니다. Python 을 이용하여 구현 하도록 하겠습니다. 가장 먼저, 버블 정렬 입니다. 버블 정렬은 시간 복잡도 O(N^2) 공간 복잡도 O(1) 으로 성능이 떨어지는 알고리즘입니다. 옆 인덱스의 수들과 비교해서 버블 정렬 이라고 합니다. N - 1 번 첫 인덱스 부터 끝에서 두 번째 인덱스의 수까지 옆에 인덱스의 값과 비교하면서 정렬해 나가면됩니다. 코드입니다. 감사합니다.

https://programmers.co.kr/ 의 모든 파이썬 알고리즘 문제를 푸는 것을 목표로 삼고, 문제를 풀고 있습니다. 파이썬으로 1부터 N 사이의 소수의 개수 구하기 언제든지 조언은 감사히 듣겠습니다. 감사합니다.

프로그래밍을 시작한 지 얼마 되지 않다보니 간단한 에러로 보이는데 기본적인 개념이 부족해서 ImportError: attempted relative import with no known parent package 에러가 발생해서 많은 시간을 소모해서 해결과정을 기록하게 됐습니다. 구글링을 열심히 했지만, stackoverflow 내용이 잘 이해가 되지 않았습니다. 왜 이렇게 해결이 안 되는 건지 도저히 이해가 가지 않아서 하루가 지나고 천천히 정리하다보니 조금 씩 정리가 되었습니다. 대부분의 자료들이 영어로 되어 있다보니 이해가 늦어서 제가 보았던 해결책들을 한글로 번역해서 자료를 만들게 됐습니다. ImportError: attempted relative import with no known parent..

안녕하세요. 요즘 많은 분들이 파이썬을 통하여 크롤링을 하고 있습니다. 크롤링 공부를 할 때 관심있었던 분야나 기사 서비스 등을 크롤링 하면 더 재밌게! 공부 할 수 있을 것 같아서 하루에 하나씩 크롤링 , 1일 1크롤링을 해보고 있습니다. 크롤링 했던 내용 중 재밌었던 내용들을 모아 소개하려고 합니다. 먼저, 크롤링이란? 크롤링 혹은 스크래핑이라고도 하며 웹 페이지를 가져와서 원하는 데이터를 추출해 내는 행위입니다. 혹시? 페이스북 창업 스토리인 소셜 네트워크를 시청하셨나요? 영화 속에서 주커버그가 여학생들의 사진을 인터넷에 모으는 장면이 나오는데 이것이 바로 크롤링입니다. python은 크롤링 분야의 선도주자로(출처: 나무위키) requests와 beautifulsoup 라는 라이브러리를 이용해서 쉽..