[AWS]AWS 기반 데이터분석 파이프라인 구축 - Analytics on AWS 워크숍[마무리]

이번 워크샵을 통해 AWS 서비스를 사용하여 데이터 추출,적재,변환,분석의 전반적인 과정을 경험하였습니다.

AWS의 각 서비스가 어떠한 역할을 하는지 알고,  이를 조합하여 데이터 파이프라인을 구축 및 데이터 분석을 해볼 수 있는 값진 경험이었습니다.

워크샵을 통해 경험 한 것은 다음과 같습니다.

 

워크샵의 학습 결과

• 서버리스 데이터 레이크 아키텍처 설계
• Amazon S3를 스토리지를 사용하여 데이터를 Data Lake로 수집하는 데이터 처리 파이프라인 구축
• 실시간 스트리밍 데이터에 Amazon Kinesis 사용
• AWS Glue를 사용하여 데이터세트 자동 분류
• AWS Glue 개발 엔드포인트에 연결된 Amazon SageMaker Jupyter 노트북에서 대화형 ETL 스크립트 실행
• Glue에서 Amazon Redshift로 데이터 적재
• Amazon Athena를 사용하여 데이터를 쿼리하고 Amazon QuickSight를 사용하여 시각화

---

전제 조건

• [AWS] AWS 기반 데이터 파이프라인 구축 - Analytics on AWS 워크숍[6]

---

현재 과정 설명

이번 워크숍의 마무리 단계입니다. 워크샵을 실습 한 뒤 모든 리소스를 정리하지 않으면 aws 사용 요금이 계속 발생합니다. 따라서 아래 모든 단계에 따라 실습을 통해 생성된 모든 리소스를 삭제해야 합니다.

---

삭제 할 리소스

• Kinesis Firehose Delivery Stream
  • 이동: Kinesis 콘솔 
  • Firehose 삭제: analytics-workshop-stream
• Lambda
  • 이동: Lambda 콘솔
  • Analyticsworkshop_top5Songs 선택
  • Actions클릭 드롭 다운에서 Delete 선택
• Glue Database
  • 이동: Glue 콘솔 
  • Database 삭제: analyticsworkshopdb
• Glue Crawler
  • 이동: Glue Crawlers
  • Crawler 삭제: AnalyticsworkshopCrawler
• Glue Dev Endpoints
  • 이동: Glue Dev Endpoints 
  • endpoint 삭제: analyticsworkshopEndpoint1
  • endpoint 삭제: analyticsworkshopEndpoint2
• Glue Studio Job
  • 이동: Glue Jobs 
  • AnalyticsOnAWS-GlueStudio 체크
  • Action 클릭 후 Delete 선택
• Glue DataBrew projects
  • GoTo: Glue DataBrew Projects
  • AnalyticsOnAWS-GlueDataBrew 체크
  • Action 클릭 후 Delete 선택
  • Delete attached receipe 클릭 후 Delete 클릭
• Glue DataBrew datasets
  • GoTo: Glue DataBrew Datasets 
  • reference-data-dataset 와 raw-dataset 체크
  • Action 클릭 후 Delete 선택
  • Delete 클릭
• Glue DataBrew Jobs
  • GoTo: Glue DataBrew Jobs 
  • raw-dataset profile job 체크
  • Action 클릭 후 Delete 선택
  • Delete 클릭
• Sagemaker Notebook
  • 노트북을 삭제하기 전에 노트북에 로컬로 노트북 파일을 다운로드 할 수 있습니다.
  • 이동: Notebooks 콘솔 
  • 노트북 정지 후 삭제: aws-glue-AnalyticsworkshopRedshiftNotebook
  • 노트북 정지 후 삭제: aws-glue-AnalyticsworkshopNotebook
• Glue connection 삭제
  • 이동: Glue Connections 
  • analytics_workshop 선택
  • Actions 클릭 후 Delete Connection 선택
  • Delete 클릭
• IAM Role 삭제
  • 이동: IAM 콘솔 
  • Analyticsworkshop 검색
  • Role 삭제: AnalyticsworkshopGlueRole
  • Role 삭제: Analyticsworkshop_RedshiftRole
  • 검색 박스에서 Analyticsworkshop_top5Songs 검색
  • 이 롤을 찾아 삭제 [Analyticsworkshop_top5Songs-role-]
• Redshift cluster 삭제
  • 이동: Redshift 콘솔
  • redshift-cluster-1 선택
  • Actions 메뉴 클릭 후 Delete 클릭
  • Create final snapshot 체크 안함
  • Delete 클릭
• S3 Gateway Endpoint 삭제
  • 이동: S3 Gateway Endpoints 
  • RedshiftS3EP 석택
  • Actions 클릭 후 Delete Endpoint 선택
• Security Group 룰 되돌리기
  • 이동: EC2 Security Groups 
  • default security group:
    • Inbound Rules 클릭
      • Edit Rules 클릭
      • S3 prefix id 가 있는 행 삭제
      • Save rules 클릭
    • Outbound rules 클릭
      • Edit Rules 클릭
      • Self-referencing All TCP 룰 삭제
      • Save rules 클릭
• S3 bucket 삭제
  • 이동: S3 콘솔 
  • 버킷 삭제: yourname-analytics-workshop-bucket
    • 먼저 메시지에 따라 버킷을 비워야 할 수 있습니다.
    • 비워지면 버킷 삭제를 진행합니다.
• Cognito CloudFormation 스택 삭제
  • 이동: CloudFormation 
  • Kinesis-Data-Generator-Cognito-User 클릭
  • Delete 클릭
  • 확인 창에서:
    • Delete 클릭
• QuickSight 계정 삭제
  • 이동: Quicksight 콘솔
  • 자신의 계정 클릭(오른쪽 상단) > Manage QuickSight > Account Settings > Unsubscribe
• Cognito Userpool
  • 이동: Cognito 콘솔
  • Kinesis Data-Generator Users 클릭
  • Delete Pool 클릭

---