AirflowからKuroko2に乗り換えたわけ

Transcript

1. Airflow͔ΒKuroko2 ʹ৐Γ׵͑ͨΘ͚ by hatappi @Tokyo Airflow Meetup #1 1

2. ໨࣍ • ࣗݾ঺հ • AirflowͷಋೖܦҢ • AirflowΛӡ༻ͯ͠Έͯ • Kuroko2Λͳͥ࢖͍͸͡Ίͨͷ͔ •

   ·ͱΊ 2

3. ໨࣍ • ࣗݾ঺հ • AirflowͷಋೖܦҢ • AirflowΛӡ༻ͯ͠Έͯ • Kuroko2Λͳͥ࢖͍͸͡Ίͨͷ͔ •

   ·ͱΊ 3

4. ࣗݾ঺հ • ໊લ: ാத༔࡞ • ID: hatappi • ձࣾ: גࣜձࣾSpeee

   • ΍͍ͬͯΔ͜ͱ • UZOU • Angular + RailsͰ࡞੒͢Δސ٬؅ཧγεςϜ 4

5. ໨࣍ • ࣗݾ঺հ • AirflowͷಋೖܦҢ • AirflowΛӡ༻ͯ͠Έͯ • Kuroko2Λͳͥ࢖͍͸͡Ίͨͷ͔ •

   ·ͱΊ 5

6. AirflowΛ͍ΕΔલ 6 ఆظతʹόονΛ࣮ߦ͍ͨ͠ cronΛ࢖͑͹Ͱ͖ΔͶ

7. cronӡ༻Ͱى͖ͨ͜ͱ • ͳ͔ͥࢦఆͨ࣌ؒ͠ʹىಈ͠ͳ͍ • ࣮ߦݖݶʁ࣌ؒʁcrondىಈͯ͠Δ? • ࣮ߦϑΝΠϧͰϩάग़ͯ͠ͳ͍͔ΒԿ͕ى͖͔ͨݪ Ҽ͕෼͔Βͳ͍ 7

8. ΍Γ͍ͨ͜ͱΛ੔ཧ 8 ఆظ࣮ߦ λεΫͷؔ࿈ੑ ࣮ߦঢ়ଶͷ֬ೝ EngҎ֎Ͱ΋ϦτϥΠ

9. 9 Airflowͷ࠾༻

10. Airflowͱ͸? • ϫʔΫϑϩʔϚωδϝϯτγεςϜ • OpenAir 2015ͰAirbnb͕ࣾࣗࣾͰ։ൃ͍ͯͨ͠΋ ͷΛΦʔϓϯιʔεԽͱൃද • ݱࡏ͸Apache IncubatorͷΦʔϓϯιʔεϓϩ

    δΣΫτ 10

11. 11 DAG TASK

12. Airflowͷ࠾༻ • ৄ͘͠͸ϒϩά΁ • http://tech.speee.jp/entry/2016/07/07/050000 12

13. 13 ॻ͍ͯͳ͍

14. ໨࣍ • ࣗݾ঺հ • AirflowͷಋೖܦҢ • AirflowΛӡ༻ͯ͠Έͯ • Kuroko2Λͳͥ࢖͍͸͡Ίͨͷ͔ •

    ·ͱΊ 14

15. ྑ͔ͬͨ͜ͱ • λεΫͷґଘؔ܎͕ՄࢹԽ͞Εɺ࣮ߦ͞Ε͍ͯΔ࣌ ͸Ͳ͜·ͰऴΘ͍ͬͯΔͷ͔෼͔Δ 15

16. ྑ͔ͬͨ͜ͱ • ϩά͸ඪ४ग़ྗ, ඪ४Τϥʔग़ྗΛग़ྗͯ͘͠ΕΔ ͷͰԿ͔ஔ͖ͨͱ͖ʹσόοά͠΍͘͢ͳͬͨ 16

17. ྑ͔ͬͨ͜ͱ • ϓϩάϥϜΛमਖ਼Λඞཁͱ͠ͳ͍ݶΓ࠶࣮ߦ͸Eng Ҏ֎Ͱ΋ग़དྷΔΑ͏ʹ 17

18. ͓͖ͨ໰୊ • ϩάΠϯػೳ • UTC • DAGͷฤू • DAGϑΝΠϧͷංେԽ 18

19. ϩάΠϯػೳ • σϑΥϧτͰ͸FalseͳͷͰઃఆ͕ඞཁ • http://qiita.com/hatappi/items/ 1b8a3a2d1f4b01c844ef 19

20. UTC • ͜Ε͸͍࣮ͭߦ͞ΕΔͰ͠ΐ͏͔ 20

21. 21 Airflow͕ಈ͍͍ͯΔϚγ ϯͷλΠϜκʔϯʹΑΔ

22. Ϛγϯ͕JSTͷ࣌ • JSTͰ10:00ʹ࣮ߦ͞ΕΔͷͰը໘্ͷUTCදهͰ ͸1:00ʹ࣮ߦ͞ΕΔ • ը໘ͰݟΔ࣌͸ຖճ+9࣌ؒ͠ͳ͍ͱ͍͚ͳ͍͆ 22

23. ໰౴ແ༻ͷUTC • UTCʹͳΔΑ͏ʹϋʔυίʔσΟϯά͞Ε͍ͯΔ • ৄ͘͠͸ • http://qiita.com/hatappi/items/2a4d41ca14746a3c98a6 23

24. DAGͷฤू • ৽ن௥Ճɺฤू͸ίϚϯυϥΠϯ্͔Βߦ͏ • ੲ͸೔ຊޠίϝϯτ͕ग़དྷͳ͔ͬͨΑ͏͕ͩv1.8.0 Ͱ֬ೝͨ͠ͱ͜Ζग़དྷͨ 24

25. DAGϑΝΠϧͷංେԽ • PythonͰఆٛ͢ΔͷͰAPI௨৴Ͱ΋ԿͰ΋ग़དྷΔ • ϩδοΫ͸λεΫ΍εΫϦϓτʹఆٛͯ͠DAGʹ ͸λεΫͷґଘؔ܎΍εέδϡʔϧʹઐ೦ͤ͞Δ΂ ͖ͩͬͨ 25

26. ໨࣍ • ࣗݾ঺հ • AirflowͷಋೖܦҢ • AirflowΛӡ༻ͯ͠Έͯ • Kuroko2Λͳͥ࢖͍͸͡Ίͨͷ͔ •

    ·ͱΊ 26

27. Kuroko2ͱ͸ • cookpad੡ͷδϣϒ؅ཧπʔϧ • RailsʹͷͤΔܗͰ࢖༻͢Δ • ϩάΠϯ͸GoogleOAuthೝূ͕͍͍ͭͯΔ • ࣌ࠁ͸Railsͷઃఆ͕൓ө͞ΕΔ •

    ϒϥ΢β্͔Β৽ن௥Ճɺฤू͕ग़དྷΔ 27

28. ॻ͖׳ΕͨݴޠͰ͋Δ͜ͱ • ࣾ಺ͷϝΠϯݴޠ͕RubyͳͷͰ৽͍͠ํ͕ೖͬͯ ΋ཧղ͠΍͍͢ • ίʔυ͸RubyͰ͔͔Ε͍ͯΔͷͰίʔυ΋ಡΊΔ ͠ͳ͓ͤΔ • ΄͍͠ػೳ͕͋Ε͹ࣗ෼Ͱ։ൃ΋ग़དྷΔ •

    https://github.com/hatappi/kuroko2_read_only 28

29. ໨࣍ • ࣗݾ঺հ • AirflowͷಋೖܦҢ • AirflowΛӡ༻ͯ͠Έͯ • Kuroko2Λͳͥ࢖͍͸͡Ίͨͷ͔ •

    ·ͱΊ 29

30. ·ͱΊ • AirflowͰ΋Kuroko2Ͱ΋ࣗ෼ͷ໨తʹ͋ͬͨ΋ͷ Λ࢖༻͢Δͱྑͦ͞͏Ͱ͢ • OSSͳͷͰԿ͔͋Ε͹commit͘Β͍ͷؾ࣋ͪ • DAG͸ઈରʹංେԽͤ͞ͳ͍ʂ 30

31. 31 ͓ΘΓ