[NDC 2018] Spark, Flintrock, Airflow 로 구현하는 탄력적이고 유연한 데이터 분산처리 자동화 인프라 구축
25 likes4,029 views
![[NDC 2018] Spark, Flintrock, Airflow 로 구현하는 탄력적이고 유연한 데이터 분산처리 자동화 인프라 구축](https://image.slidesharecdn.com/jparktemp-180424105624/85/NDC-2018-Spark-Flintrock-Airflow-16-320.jpg)
![[NDC 2018] Spark, Flintrock, Airflow 로 구현하는 탄력적이고 유연한 데이터 분산처리 자동화 인프라 구축](https://image.slidesharecdn.com/jparktemp-180424105624/85/NDC-2018-Spark-Flintrock-Airflow-17-320.jpg)
![[NDC 2018] Spark, Flintrock, Airflow 로 구현하는 탄력적이고 유연한 데이터 분산처리 자동화 인프라 구축](https://image.slidesharecdn.com/jparktemp-180424105624/85/NDC-2018-Spark-Flintrock-Airflow-56-320.jpg)
![[NDC 2018] Spark, Flintrock, Airflow 로 구현하는 탄력적이고 유연한 데이터 분산처리 자동화 인프라 구축](https://image.slidesharecdn.com/jparktemp-180424105624/85/NDC-2018-Spark-Flintrock-Airflow-57-320.jpg)
![[NDC 2018] Spark, Flintrock, Airflow 로 구현하는 탄력적이고 유연한 데이터 분산처리 자동화 인프라 구축](https://image.slidesharecdn.com/jparktemp-180424105624/85/NDC-2018-Spark-Flintrock-Airflow-59-320.jpg)
![[NDC 2018] Spark, Flintrock, Airflow 로 구현하는 탄력적이고 유연한 데이터 분산처리 자동화 인프라 구축](https://image.slidesharecdn.com/jparktemp-180424105624/85/NDC-2018-Spark-Flintrock-Airflow-60-320.jpg)
![[NDC 2018] Spark, Flintrock, Airflow 로 구현하는 탄력적이고 유연한 데이터 분산처리 자동화 인프라 구축](https://image.slidesharecdn.com/jparktemp-180424105624/85/NDC-2018-Spark-Flintrock-Airflow-61-320.jpg)
[NDC 2018] Spark, Flintrock, Airflow 로 구현하는 탄력적이고 유연한 데이터 분산처리 자동화 인프라 구축
- 1. 데브시스터즈 박주홍 Spark, Flintrock, Airflow 로 구현하는 탄력적이고 유연한 데이터 분산처리 자동화 인프라 구축
- 2. 오늘 전하고 싶은 이야기 - 데이터 엔지니어의 고민과 해결 과정 - 분산 처리 자동화 인프라의 큰 그림
- 3. 오늘 나누고 싶은 주제 - Spark, Flintrock 탄력적인 클러스터 구축 - Airflow 유연한 분석 스케줄링
- 4. 2017 ~ 현재 Data Science & Infrastructure 팀장 2015 ~ 2016 쿠키런 데이터 연구 및 인프라 개발 2013 – 2015 쿠키런 서버 개발 박주홍 Juhong Park
- 6. 데이터란? 데이터 엔지니어의 입장에서 없으면 Bad
- 8. 데이터란? 데이터 엔지니어의 입장에서 없으면 있으면 아주 많으면 Bad Good Excellent
- 9. 데이터란? 데이터 엔지니어의 입장에서 없으면 있으면 아주 많으면 끝 없이 많으면? Bad Good Excellent
- 10. 데이터란? 데이터 엔지니어의 입장에서 없으면 있으면 아주 많으면 끝 없이 많으면? Bad Good Excellent Disaster
- 11. $ python analysis.py? Single Server – 1GB No Problem.
- 12. $ python analysis.py? Single Server – 1TB Yes Problem. Out of - Server Memory - Server Disk
- 13. $ python analysis.py? Single Server – 1TB Yes Problem. Out of - Server Memory - Server Disk - Your Time
- 14. $ python analysis.py? Single Server – 1TB Yes Problem. Out of - Server Memory - Server Disk - Your Time - Your Mind
- 15. 데이터 엔지니어링 ≒ 데이터 부하 분산
- 18. Spark, Flintrock 탄력적인 클러스터 구축
- 22. • 인기 있는 분산 처리 엔진 • 속도, 안전성 면에서 합격점 • 여러 플랫폼과의 호환 지원 • SQL, Dataframe 기반의 분석 지원
- 24. 오늘 접속한 유저의 코인 보유량을 알고 싶어요
- 25. AWS EC2 Spark 2대 AWS S3 10GB Client Spark Cluster Launch 6분
- 26. 지난주에 접속한 유저의 코인 보유량을 알고 싶어요
- 27. 1일 X 7 = 1주일 10GB X 7 = 70GB 2대 X 7 = 14대
- 28. AWS EC2 Spark 14대 AWS S3 70GB Client 6분 X 7 = 42분? Spark Cluster Launch
- 29. 주 단위 분석 할 때마다 42분을 기다려야 한다고?
- 30. AWS S3 Client Spark Cluster Launch 2대 Spark3분
- 31. AWS S3 Client Spark Cluster Launch 2대 Spark3분 Spark 3분
- 32. AWS S3 Client Spark Cluster Launch 2대 Spark3분 Spark 3분 3분 X 2 = 6분
- 33. AWS S3 Client Spark Cluster Launch 14대 Spark 3분 3분 X 14 = 42분 X 14
- 34. 클러스터를 보다 빨리 띄울 수 없을까?
- 35. 클러스터를 보다 빨리 ASYNC 하게 띄울 수 없을까?
- 36. 클러스터를 보다 빨리 ASYNC 하게 띄울 수 없을까? https://github.com/nchammas/flintrock
- 37. AWS S3 Client Spark Cluster Launch Spark3분 Spark 3분 3분 X 2 = 6분
- 38. AWS S3 Client Spark Spark 3분 X 1 = 3분! Spark Cluster Launch – Flintrock
- 39. AWS S3 Client Spark 3분 X 1 = 3분! < 42분 실제로는 각종 Overhead 로 5분 ~ 7분 소요 Spark Cluster Launch – Flintrock X 14 ASYNC
- 41. AWS EC2 Spark AWS S3 Client TO-BE, Flintrock ASYNC
- 42. 14대의 클러스터로 작업 도중 최근 2주 동안 접속한 유저의 코인 보유량을 알고 싶어요
- 43. 기존 14대 클러스터를 2배로 키우자!
- 44. 클러스터를 2배로 키우는 방법
- 45. 클러스터를 2배로 키우는 방법 • 첫번째 방법
- 46. 클러스터를 2배로 키우는 방법 • 첫번째 방법 1. 기존 14대 클러스터를 내린다.
- 47. 클러스터를 2배로 키우는 방법 • 첫번째 방법 1. 기존 14대 클러스터를 내린다. 2. 새로운 28대 클러스터를 띄운다.
- 48. 클러스터를 2배로 키우는 방법 • 첫번째 방법 1. 기존 14대 클러스터를 내린다. 2. 새로운 28대 클러스터를 띄운다. 우린 Flintrock 으로 빠르게 띄울 수 있으니까!
- 49. 클러스터를 2배로 키우는 방법 • 첫번째 방법 1. 기존 14대 클러스터를 내린다. 2. 새로운 28대 클러스터를 띄운다. 우린 Flintrock 으로 빠르게 띄울 수 있으니까!
- 50. 클러스터를 2배로 키우는 방법 • 첫번째 방법 1. 기존 14대 클러스터를 내린다. 2. 새로운 28대 클러스터를 띄운다. 우린 Flintrock 으로 빠르게 띄울 수 있으니까! • 두번째 방법
- 51. 클러스터를 2배로 키우는 방법 • 첫번째 방법 1. 기존 14대 클러스터를 내린다. 2. 새로운 28대 클러스터를 띄운다. 우린 Flintrock 으로 빠르게 띄울 수 있으니까! • 두번째 방법 1. 새로운 서버 14대를 띄운다.
- 52. 클러스터를 2배로 키우는 방법 • 첫번째 방법 1. 기존 14대 클러스터를 내린다. 2. 새로운 28대 클러스터를 띄운다. 우린 Flintrock 으로 빠르게 띄울 수 있으니까! • 두번째 방법 1. 새로운 서버 14대를 띄운다. 2. SSH 로 서버에 접속한다.
- 53. 클러스터를 2배로 키우는 방법 • 첫번째 방법 1. 기존 14대 클러스터를 내린다. 2. 새로운 28대 클러스터를 띄운다. 우린 Flintrock 으로 빠르게 띄울 수 있으니까! • 두번째 방법 1. 새로운 서버 14대를 띄운다. 2. SSH 로 서버에 접속한다. 3. 기존 Spark Cluster 에 연결되도록 Setting 을 잡아준다.
- 54. 클러스터를 2배로 키우는 방법 • 첫번째 방법 1. 기존 14대 클러스터를 내린다. 2. 새로운 28대 클러스터를 띄운다. 우린 Flintrock 으로 빠르게 띄울 수 있으니까! • 두번째 방법 1. 새로운 서버 14대를 띄운다. 2. SSH 로 서버에 접속한다. 3. 기존 Spark Cluster 에 연결되도록 Setting 을 잡아준다. 4. 2~3과정을 14번 반복한다.
- 55. 서버를 추가하려면 14번의 노가다를 해야 한다고?
- 58. AWS EC2 Spark AWS S3 Client Add, Remove Slave ASYNC flintrock add-slaves spark-cluster --num-slaves 14 flintrock remove-slaves spark-cluster --num-slaves 14 add-slaves
- 62. • Async 하게 빠른 속도로 클러스터 구축 • CLI 기반으로 간편하게 클러스터 셋팅 • 분석 규모에 맞춰 클러스터 사이즈를 언제든 원하는 사이즈로 탄력적으로 조정
- 65. 매일 아침에 국가별 매출액을 리포트 해주세요.
- 66. 구매 로그환율 서버상품 정보 이메일 리포트 AWS EC2 Spark Python 가격 달러 환산 Daily Report
- 67. 그리고 매일 아침 출근해서 리포트를 생성
- 68. 리포트 생성을 매일 아침마다 해야 한다고?
- 69. 0 0 * * * = 0시 0분 = 매일 정각
- 70. 구매 로그환율 서버상품 정보 이메일 리포트 AWS EC2 Spark Python 가격 달러 환산 Daily Report – Cron Daily 0 0 * * *
- 71. 구매 로그환율 서버상품 정보 이메일 리포트 AWS EC2 Spark Python 가격 달러 환산 Daily Report – Cron, Retry Daily 0 0 * * *
- 72. 구매 로그환율 서버상품 정보 이메일 리포트 AWS EC2 Spark Python 가격 달러 환산 Daily Report – Cron, Failback Daily 0 0 * * *
- 73. 구매 로그환율 서버상품 정보 이메일 리포트 AWS EC2 Spark Python 가격 달러 환산 Daily Report – Cron, Fail Report Daily 실패 리포트0 0 * * *
- 74. • 주기적 분석 – Daily, Weekly, Monthly • Retry 로직 생성 • Failback 및 Fail Report 분석 스케줄링에 필요한 기능
- 75. • 주기적 분석 – Daily, Weekly, Monthly • Retry 로직 생성 • Failback 및 Fail Report 분석 스케줄링에 필요한 기능, Cron
- 77. • 주기적 분석 – Daily, Weekly, Monthly • Retry 로직 생성 • Failback 및 Fail Report Airflow
- 78. Airflow • 주기적 분석 – Daily, Weekly, Monthly • Retry 로직 생성 • Failback 및 Fail Report • 유연한 분석 의존 관계 관리
- 79. Airflow 유연한 분석 의존 관계 관리 – Dag Reference: www.qubole.com
- 80. Airflow Reference: danidelvalle.me 유연한 분석 의존 관계 관리 – Dag Graph
- 81. Airflow Reference: danidelvalle.me 유연한 분석 의존 관계 관리 – Dag Graph
- 83. Airflow 유연한 분석 의존 관계 관리 – Job Control Reference: www.qubole.com
- 84. • DAG(Directed acyclic graph) 단위 관리 • Graph 형태로 분석 파이프라인 시각화 • Job Group, Sub Dag 를 통한 유연한 구조 변경 • Job 단위로 상태 로깅, 에러 확인, 재시도 Airflow 유연한 분석 의존 관계 관리
- 85. Airflow
- 86. Airflow 탄력적인 클러스터 구축 유연한 분석 스케줄링
- 87. 매일 아침에 국가별 매출액을 리포트 해주세요. 매월 1일에는 국가별 월매출액도 리포트해주세요.
- 88. 매일 아침에 국가별 매출액을 리포트 해주세요. 매월 1일에는 국가별 월매출액도 리포트해주세요. Spark Cluster 2대 Spark Cluster 16대
- 89. Airflow Daily Report – Airflow
- 90. Airflow Python 환율 계산 Daily Report – Airflow
- 91. Airflow Python 환율 계산 Cluster Launch 2대 Daily Report – Airflow
- 92. Airflow Python 환율 계산 Daily 매출 계산 Cluster Launch 2대 Daily Report – Airflow
- 93. Airflow Python 환율 계산 Daily 매출 계산 Cluster Launch 2대 add-slaves 14대 Daily Report – Airflow
- 94. Airflow Python 환율 계산 Daily 매출 계산 Monthly 매출 계산 Cluster Launch 2대 add-slaves 14대 Daily Report – Airflow
- 95. Airflow Python 환율 계산 Daily 매출 계산 Monthly 매출 계산 Cluster Launch 2대 add-slaves 14대 Daily Report – Airflow
- 96. Airflow Python 환율 계산 Daily 매출 계산 Monthly 매출 계산 Cluster Launch 2대 add-slaves 14대 Daily Report – Airflow 실패 리포트
- 97. AWS EC2 Spark AWS S3 TO-BE ASYNC Airflow add-slaves Job Scheduling
- 98. 오늘 이야기 마무리
- 100. AWS EC2 Spark AWS S3 Client TO-BE, Flintrock ASYNC add-slaves 탄력적인 클러스터 구축
- 101. AWS EC2 Spark AWS S3 TO-BE, Airflow ASYNC Airflow add-slaves Job Scheduling 유연한 분석 스케줄링
- 102. 마무리 데이터 엔지니어링은 끝 없는 부하 분산만이 살길이다. 탄력적인 클러스터 사이즈 조절로 인프라 전반의 효율성 극대화하자. 유연한 분석 스케줄러를 도입하면 할 일이 절반으로 줄어든다.
- 103. We’re Hiring! Data Science & Infrastructure 데이터 과학자 데이터 엔지니어 머신러닝 엔지니어 www.devsisters.com/jobs