![Dockerのインストール
① yum –y install docker
② service docker start
下記の表示がでればOK
$docker
Usage: docker [OPTIONS] COMMAND [arg...]
A self-sufficient runtime for linux containers.
Options:
・・・](https://image.slidesharecdn.com/osctokyolt-151024213905-lva1-app6891/85/OSC-Tokyo-fall-LT-Docker-18-320.jpg)
![master/dockerfile
FROM hadoop:1.0
USER root
ADD init-master.sh /tmp/init-master.sh
RUN chown root:root /tmp/init-master.sh
RUN chmod 700 /tmp/init-master.sh
CMD ["tmp/init-master.sh","-d"]](https://image.slidesharecdn.com/osctokyolt-151024213905-lva1-app6891/85/OSC-Tokyo-fall-LT-Docker-24-320.jpg)
![slave/Dockerfile
FROM hadoop:1.0
USER root
ADD init-slave.sh /tmp/init-slave.sh
RUN chown root:root /tmp/init-slave.sh
RUN chmod 700 /tmp/init-slave.sh
CMD ["/tmp/init-slave.sh","-d"]](https://image.slidesharecdn.com/osctokyolt-151024213905-lva1-app6891/85/OSC-Tokyo-fall-LT-Docker-26-320.jpg)
More Related Content
What's hot (20)
Viewers also liked (9)
Similar to OSC Tokyo fall LT～Dockerで分散処理をやってみた (20)
OSC Tokyo fall LT～Dockerで分散処理をやってみた
- 2. 自己紹介 • 名前 安達貴志(あだち たかし) (新弟子と呼ばれています) • 所属 TIS株式会社 入社１年目 • 興味があるもの Zabbix,Docker,Hadoop,Ansible,WebGL, AngularJS,DQN,Machine-Lerning・・・ 節操がない 某キャラクタといい勝負
- 8. 構築手順 環境構築 • Dockerのインストール • Docker-Composeのインストール Hadoop • Hadoopを入れたコンテナの作成 • コンテナ間の連携(Docker-Compose) 分析 • 分析データの入手 • 分析
- 12. 処理時間の比較と分析結果 順位 ワード 1 123456 2 password 3 12345 処理マシン 処理時間(s) Hadoop 49.6 Pythonによる単独処理 27.9 Hadoopと通常のマシンによる処理時間の比較 処理があまりにも単調だったためジョブの分割に時間がかかり、 単独処理のほうが早くなった・・・ 多く使われていたパスワードTOP3 分析結果 処理時間の比較
- 13. まとめ 結論 • 仮想マシンでクラスタを組むよりも手軽に実施できる -> 開発やテスト環境向けを作るときに楽 -> バージョンをイメージで管理できる 次の目標 • Sparkと連携したい • VMのクラスタの処理時間と比較したい
- 15. ご清聴 ありがとうございました
- 16. 補足: 構築方法
- 17. 構築手順 環境構築 • Dockerのインストール • Dokcer-composeのインストール ファイルの 作成と配置 • Dockerfile • Docker-compose.yml • Hadoop用のxmlファイル • Rpmファイル イメージの 作成 • Hadoopを入れたイメージの作成 • 上記のイメージからマスタサーバとスレーブサーバのイメージを作成する 起動とテス ト • イメージからマスタサーバとスレーブを立ち上げる • 各初期設定 • テスト用プログラムの実行
- 18. Dockerのインストール ① yum –y install docker ② service docker start 下記の表示がでればOK $docker Usage: docker [OPTIONS] COMMAND [arg...] A self-sufficient runtime for linux containers. Options: ・・・
- 19. Docker-composeのインストール ① curl -L https://github.com/docker/compose/releases/download/1.4.2/doc ker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker- compose ② chmod +x /usr/local/bin/docker-compose 下記の表示がでればOK $docker-compose –version docker-compose version: 1.4.2
- 20. ファイルの作成と配置 rpmファイルは以下から事前にダウンロードしておく ・cloudera-cdh-5.0.x86_64.rpm curl -LO http://archive.cloudera.com/cdh5/one-click-install/ redhat/6/x86_64/cloudera-cdh-5-0.x86_64.rpm ・oracle jdk curl -LO -b "oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/ jdk/7u79-b15/jdk-7u79-linux-x64.rpm 左図のようなファイル構造を作成する
- 21. Dockerfile FROM centos:latest USER root RUN yum -y update RUN yum -y install sudo wget ADD rpm /tmp/rpm/ RUN rpm -ivh /tmp/rpm/jdk-7u79-linux-x64.rpm RUN rm /tmp/rpm/jdk-7u79-linux-x64.rpm ENV JAVA_HOME /usr/java/default ENV PATH $PATH:$JAVA_HOME/bin RUN mv /tmp/rpm/cloudera-cdh-5-0.x86_64.rpm /usr/local/src/ RUN rpm -ivh /usr/local/src/cloudera-cdh-5-0.x86_64.rpm RUN rpm --import http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/RPM-GPG-KEY-cloudera RUN yum -y install hadoop-conf-pseudo RUN rm -rf /tmp/rpm
- 22. Dockerfile(続き) RUN sed -ri 's/Defaults requiretty/#Defaults requiretty/g' /etc/sudoers ADD xml /tmp/xml/ ENTRYPOINT /sbin/init EXPOSE 50010 50020 50070 50075 50090 EXPOSE 19888 EXPOSE 8020 8030 8031 8032 8033 8040 8042 8088 EXPOSE 49707 2112
- 23. docker-compose.yml master: build: ./master hostname: master ports: - "50070:50070" privileged: true links: - "slave1" - "slave2" slave1: build: ./slave hostname: slave1 links: - "slave2" privileged: true slave2: build: ./slave hostname: slave2 privileged: true
- 24. master/dockerfile FROM hadoop:1.0 USER root ADD init-master.sh /tmp/init-master.sh RUN chown root:root /tmp/init-master.sh RUN chmod 700 /tmp/init-master.sh CMD ["tmp/init-master.sh","-d"]
- 25. master/init-master.sh #!/bin/bash sudo cp -prL /etc/hadoop/conf /etc/hadoop/conf.distribute.mr1 sudo alternatives --install /etc/hadoop/conf hadoop-conf /etc/hadoop/conf.distribute.mr1 50 sudo mv -f /tmp/xml/core-site.xml /etc/hadoop/conf/core-site.xml sudo mv -f /tmp/xml/hdfs-site.xml /etc/hadoop/conf/hdfs-site.xml sudo mv -f /tmp/xml/mapred-site.xml /etc/hadoop/conf/mapred-site.xml sudo service hadoop-hdfs-namenode start sudo -u hdfs hdfs namenode -format sudo useradd hadoop_exec sudo -u hdfs hadoop fs -mkdir -p /user/hadoop_exec sudo -u hdfs hadoop fs -chown hadoop_exec /user/hadoop_exec sudo -u hdfs hadoop fs -chmod -R 777 / sudo service hadoop-yarn-resourcemanager start sudo service hadoop-mapreduce-historyserver start
- 26. slave/Dockerfile FROM hadoop:1.0 USER root ADD init-slave.sh /tmp/init-slave.sh RUN chown root:root /tmp/init-slave.sh RUN chmod 700 /tmp/init-slave.sh CMD ["/tmp/init-slave.sh","-d"]
- 27. slave/init-slave.sh #!/bin/bash sudo cp -prL /etc/hadoop/conf /etc/hadoop/conf.distribute.mr1 sudo alternatives --install /etc/hadoop/conf hadoop-conf /etc/hadoop/conf.distribute.mr1 50 sudo mv -f /tmp/xml/core-site.xml /etc/hadoop/conf/core-site.xml sudo mv -f /tmp/xml/hdfs-site.xml /etc/hadoop/conf/hdfs-site.xml sudo mv -f /tmp/xml/mapred-site.xml /etc/hadoop/conf/mapred-site.xml sudo service hadoop-hdfs-datamode start sudo useradd hadoop_exec sudo service hadoop-yarn-nodemanager start
- 31. イメージの作成 CentosからHadoop用イメージを作成する $docker build –t Hadoop:1.0 . Hadoopイメージからマスタ/スレーブ用のイメージを作成する $docker-compose build
- 32. masterサーバの設定 • docker exec -it XXXX_master_1 /bin/bash • 初期設定を行う /tmp/init-master.sh
- 33. slaveサーバの設定 (2台とも) • docker exec -it XXXX_slave_1 /bin/bash ・初期設定を行う /tmp/init-slave.sh ・hostsファイルに、各コンテナのFQDNを記述する ・記述後、datanodeを再起動する Service Hadoop-hdfs-datanode restart
- 34. テスト用プログラムの実行 sudo -u hdfs hadoop jar /usr/lib/hadoop-mapreduce/hadoop- mapreduce-examples-2.X.X-cdh5.1.2.jar pi 10 300 無事、円周率が表示されれば成功