AWS에서 데이터처리 맛보기 AWS S3 , Athena , Quicksight

AWS
데이터처리
athena

Prologue

이번 여름방학은 연세대 HCI랩에서 진행하는 드림아카데미 프로그램에 참여 중이다.

드림아카데미는 UX를 고려한 서비스 디자인 방법을 공부하고 실제 기획하는 프로그램이라

팀원들과 빡🔥세🔥게🔥 구르고 있다

이 프로그램을 운영하시는 김진우 교수님께서 올해는 Connected AI라는 프로젝트 주제를 정해주셨다.

그래서 데이터를 이용한 서비스를 결국 기획하긴 했는데,, AI도 데이터도 모르고 서버 개발이랑 언어 위주로 한

개발자 나부랭이지만 일단 팀에 유일한 개발자라 일단 데이터 처리 과정을 만들어 볼 수 밖에 없었다.

데이터 선정

아직 서비스를 만든게 아니기 때문에 먼저 기존에 있는 데이터셋을 가지고 시작!

데이터셋은 https://www.yelp.com/dataset 음식 리뷰 어플인 Yelp의 Dataset을 이용했다.

{
   "review_id": "zdSx_SD6obEhz9VrW9uAWA",
   "user_id": "Ha3iJu77CxlrFm-vQRs_8g",
   "business_id": "tnhfDv5Il8EaGSXZGiuQGg",
   "stars": 4,
   "date": "2016-03-09",
   "text": "Great place to hang out after ...",
   "useful": 0,
   "funny": 0,
   "cool": 0
}

Yelp Dataset은 위와 같이 JSON 형식으로 총 8Gb크기의 데이터셋을 제공한다.

서비스에 대한 리뷰, 가게명, 유저 정보등이 들어가 있는데 이걸 직접 읽어서 처리하는걸 하려면 할 수는 있는데,,,

매번 새로운 분석을 하려면 코딩을 또 해야하고 귀찮아 질 것 같아서... 최대한 일을 안할 수 있는 방법으로...

어떻게 하지 고민하다가 전에 친구랑 밥 먹으면서 AWS를 이용해서 데이터 분석을 할 수 있다는 말을 얼핏 들었던것 같아서 찾아보니 AWS Athena 라는 서비스를 찾았다.

써본 AWS 서비스라곤 ec2 인스턴스, 도메인 적용하기 위한 route53 딱 두 개 뿐이지만... (심지어 S3도 따로 안써봄)

그래도 서버 쪽 하려면 AWS공부도 한 번 해봐야 할 것 같아서 도전해봤다..

AWS 아이쇼핑

AWS 서비스를 이용한 아키텍처 - 출저 https://aws.amazon.com/ko/blogs/korea/serverless-architecture-by-korean-developers/

데이터 파이프라인은 유저로 부터 들어오는 데이터를 수집. 전처리 과정을 거쳐 필요한 데이터만 정리.

데이터베이스에 저장. 저장된 데이터를 다시 분석 및 이용하는 과정을 말한다.

AWS에서는 이렇게 데이터 파이프라인을 쉽게 만들 수 있도록 다양한 서비스들을 제공하는데 대충 찾아보니 요즘 자주쓰는 것들은

Kinesis - 들어오는 데이터들을 여러 포맷으로 실시간으로 변환해서 스트리밍
S3 - 데이터 저장소. 여러 AWS 서비스들에서 주소만 주면 땡겨 쓸 수 있다.
DynamoDB - 풀옵션 NoSql Database. 클러스터링, 백업 등등 다 해준다.
Athena - SQL을 이용해서 S3에 저장된 데이터를 질의 할 수 있다.
QuickSight - 여러 AWS 서비스에 저장된 데이터를 이용해서 시각화를 간단하게 할 수 있다.

등등... 많은게 있지만 공간이 부족해서 생략한다.

나는 이번에 맛보기로 간단하게 하는 거기 때문에 데이터를 S3에 저장 Athena에서 불러와서 QuickSight로 시각화 하는 것만 테스트 해봤다.

데이터를 데이터 베이스에 밀어넣을 수도 있지만 NoSql을 쓸 정도로 큰 데이터 양은 아닌 것 같고 Athena 설명대로 따로 테이블 같은걸 안만들고 바로 JSON을 질의 넣을 수 있고 시각화까지 해준다면 완전 편할 것 같아 Athena와 QuickSight를 이용했다.

아마 내가 NoSql에 넣을 만큼 데이터를 직접 많이 모을 수 있는 방법은 별로 없을 것 같으니 내 노트북과 스마트폰 네트워크 트래픽을 분석 할 수 있는 서비스를 만든다던가 해봐도 괜찮을 것 같다.(떡밥)