PHPにおけるI/O多重化とyield

PHPにおける
I/O多重化と
yield
PHP Conference 2014
ヤフー株式会社
中野拓
Copyright (C) 2014 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 1

自己紹介
中野拓
http://developer.yahoo.co.jp/
のフロントエンドなど担当
PHP歴7年目

目次
3
1. マイクロサービスとI/O遅い問題
2. 真のI/O多重化
3. PHPはnode.jsになれるか
4. yieldのススメ
5. まとめと今後の展望
Copyright (C) 2014 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

第1部
マイクロサービスとI/O遅い問題

出典: http://martinfowler.com/articles/microservices.html

*aaS/WebAPIと組み合わせて
アプリケーションを作る
6
MBaaS
DBaaS

でも…

一般的にI/Oは遅い
L1
cache
reference
0.5
ns
L2
cache
reference
5
ns
Main
Memory
reference
100
ns
Send
1K
bytes
over
1Gbps
network
10,000
ns
0.01
ms
Read
4K
randomly
from
SSD
150,000
ns
0.15
ms
Round
trip
within
same
datacenter
500,000
ns
0.5
ms
Read
1
MB
sequentially
from
SSD
1,000,000
ns
1
ms
Disk
seek
10,000,000
ns
10
ms
Read
1
MB
sequentially
from
disk
20,000,000
ns
20
ms
Send
Packet
CA-‐Netherlands-‐CA
150,000,000
ns
150
ms
出典：Latency Numbers Every Programmer Should Know (抜粋)
https://gist.github.com/jboner/2841832

ネットワーク
I/O遅い
サービス
分割で
I/O増加
ジレンマ

I/Oが遅いのは仕方ないとして、
もっと効率化できないか？

通信1回分
前準備待ち後処理
待ってるだけ＝暇

今のうちに他の仕事
をしておこう…

I/O多重化！

I/O多重化を実現するには？
• 非同期APIを使う (Reactorパターン)

マルチスレッドとか
マルチプロセスは？

• スレッド … PHPではExperimental
• プロセス … pcntlが使えるが、
Apacheモジュール版PHPは非対応
• 非同期APIは問題なく使える

PHPで使える非同期API
• curl_multi
• mysqlnd
• postgresql
• stream_select, libevent, libev, libuv
などなど

第1部まとめ
• ネットワークI/Oは遅いので、多重化する
とよい
• PHPなら非同期APIを使うのがお手軽

第2部
真のI/O多重化

curl_multiのサンプル
• 検索するといくつかヒットする

通信1回分

curl_multiのサンプルだと
こんな感じ
23
準備準備準備待ち後処理理後処理理後処理理

ん？

1スレッドI/O多重化のルール
• 一度に出来る仕事は常に1つだけ
• 待ち時間は別の仕事ができる⿊黒は重ねられ
ない

どうせなら
真の並行
にしたい…よね？

ここで
curl_multiの
例を
ごらん
ください
PHP - curl_multiでHTTP並行リクエストを行うサンプル - Qiita
http://qiita.com/Hiraku/items/1c67b51040246efb4254

お、おう…

第2部のまとめ
• curl_multiで真の多重化を行うのは、
可能だけど、書くのが面倒
• 多重ループの山！！
• 書きやすく抽象化したいところ
→どうやって？

ところで、
真のI/O多重化を
いとも簡潔に
実現している言語があります。

http://nodejs.org

第3部
PHPはnode.jsになれるか

node.js
• 1スレッド1プロセスだが、同時に複数の
リクエストをさばける
• あらゆるI/Oが徹底的に非同期化・多重化
されている

node.jsの非同期API抽象化方針
• 多重化するところ(イベントループ)は
コアで処理
– 開発者は素直に処理を書くだけ
• Callbackスタイル
– クロージャ多用

echoサーバー
var
net
=
require('net');
var
server
=
net.createServer(function(socket){
socket.write('Echo
serverrn');
socket.pipe(socket);
});
server.listen(1337,
'127.0.0.1');

あとは、node.js自身が
うまいこと重ねてくれる
• たったこれだけのコードで
複数リクエストを同時にさばける

これはすごい！
PHPでもnode.jsを
パクればいいのでは？

PHP版node.js
あります

http://reactphp.org/

https://github.com/amphp

reactphpの例
?php
require
'vendor/autoload.php';
$app
=
function
($request,
$response)
{
$response-‐writeHead(200,
['Content-‐Type'
=
'text/plain']);
$response-‐end(Hello
Worldn);
};
$loop
=
ReactEventLoopFactory::create();
$socket
=
new
ReactSocketServer($loop);
$http
=
new
ReactHttpServer($socket,
$loop);
$http-‐on('request',
$app);
echo
Server
running
at
http://127.0.0.1:1337n;
$socket-‐listen(1337);
$loop-‐run();

実用になる？
• いくつか課題がある
• 個人的には、PHPにnode.js風の抽象化
は向いてないと思っています

しばらくdisが続きますが
あくまで個人の見解です

課題1 クロージャの構文
• PHPのクロージャ構文はかなり冗長
– function ~ use ~ return ~
– これを毎回書くのか…
CoffeeScript x - x + offset
JavaScript function(x) {
return x + offset;
}
PHP function($x) use($offset){
return $x + $offset;
}

課題2 循環参照への耐性
• PHPのGCは参照カウンタ方式
+補助的に循環参照コレクタ
• クロージャは本質的に循環参照を作りや
すく、参照カウンタが機能しにくくなる

課題3 既存の資産が使えない
• Callbackスタイルは独特の書き方
– 例外禁止
– コールバック地獄はPromiseなどで整理
• 既存のライブラリは全て使えないと思っ
たほうがよい。書き直し！

reactphpは全部
1から作ろうとしている
みたいですが…

皆さん、
そこまでして
PHPを使いたいですか？
1から書き直せって言われたら別言語
使う人多そう。。

第3部のまとめ
• node.js風の非同期APIの抽象化は前例が
ある
• ただ、Callbackスタイルは個人的な意見
として微妙。。

第4部
yieldのススメ

Callback以外の抽象化方法
• 継続(Continuation)に類する機能を使う
– C#/VisualBasic/Hackのasync/await
– node.jsのco、task.js

C#の同期メソッド
private
void
Button_Click(object
sender,
RoutedEventArgs
e)
{
this.button.IsEnabled
=
false;
Thread.Sleep(3000);
=
true;
}
(出典) .NET開発における⾮非同期処理理の基礎と歴史－＠IT
http://www.atmarkit.co.jp/fdotnet/chushin/masterasync_01/masterasync_01_01.html


C#の非同期メソッド
private
async
void
Button_Click(object
sender,
RoutedEventArgs
e)
{
=
false;
await
Task.Run(()
=
Thread.Sleep(3000));
=
true;
}
(出典) .NET開発における⾮非同期処理理の基礎と歴史－＠IT
http://www.atmarkit.co.jp/fdotnet/chushin/masterasync_01/masterasync_01_01.html


ここに同期コードがあるじゃろ？
( ＾ω＾)
⊃同期コード⊂

これにasync/awaitキーワードを
合わせて…
( ＾ω＾)
≡⊃⊂≡

( ＾ω＾)
⊃非同期コード⊂
出来上がりじゃ。
よしなにI/O多重化するぞい

まじで！？
それPHPにも欲しい…

async/awaitはないけど、
yieldがあるよ！

yield(ジェネレータ)
• PHP5.5から導入された構文
• 関数を一時停止・再開できる機能
• 言語によって呼び名が違う
– ジェネレータ、軽量スレッド、ファイバー、
コルーチン

yieldで
async/awaitみたいなやつ
実装してみました

hirak/co-httpclient
$
composer
require
'hirak/co-‐httpclient:dev-‐master'

通常の関数
function
getWebapi($url)
{
$req
=
new
HttpClientRequest($url);
$res
=
$req-‐send();
if
($res-‐getStatusCode()
=
400)
{
throw
new
RuntimeException($url);
}
return
json_decode($res-‐getBody());
}

非同期版の関数
function
getWebapiAsync($url)
{
$req
=
new
HttpClientRequest($url);
$res
=
(yield
$req);
if
($res-‐getStatusCode()
=
400)
{
throw
new
RuntimeException($url);
}
yield
json_decode($res-‐getBody());
}

起動
list($res1,
$res2)
=
co(
getWebapiAsync('http://example.com/a.json'),
getWebapiAsync('http://example.com/b.json')
);

I/O多重化への修正
1. 待つところにyieldを挟んでおく。
2. returnをyieldに置き換える。
3. co関数で起動
これだけ！！

真の並行

この一本を
ジェネレータ
関数にしてお
く

co( )
co関数に渡すと、なるべく重ねな
がら実行してくれる

yield方式のメリット
• 既存のPHPコードをあまり書き換えなく
て良い
– パラダイムを変えなくて良い
• interfaceを全て通過する

yieldならば…
• 既存WAFも非同期化できるかも？

第4部 ‒ 補遺
どうやって実現しているのか

yieldのおさらい
• 関数の処理を一時停止・再開できる機能
ジェネレータの例例ジェネレータを実⾏行行するコード例例
function
gen()
{
echo
(yield
1);
echo
(yield
2);
echo
(yield
3);
}
$g = gen();
echo $g-current();
echo $g-send(4);
echo $g-send(5);
$g-send(6);

function
gen()
{
echo
(yield
1);
echo
(yield
2);
echo
(yield
3);
}
$g = gen();
echo $g-current();
echo $g-send(4);
echo $g-send(5);
$g-send(6);
← ここから起動 (ジェネレータの準備)

function
gen()
{
echo
(yield
1);
echo
(yield
2);
echo
(yield
3);
}
$g = gen();
echo $g-current();
echo $g-send(4);
echo $g-send(5);
$g-send(6);

function
gen()
{
echo
(yield
1);
echo
(yield
2);
echo
(yield
3);
}
$g = gen();
echo $g-current();
echo $g-send(4);
echo $g-send(5);
$g-send(6);
実行開始！

function
gen()
{
echo
(yield
1);
echo
(yield
2);
echo
(yield
3);
}
$g = gen();
echo $g-current();
echo $g-send(4);
echo $g-send(5);
$g-send(6);
yieldが見つかったので…

function
gen()
{
echo
(yield
1);
echo
(yield
2);
echo
(yield
3);
}
$g = gen();
echo 1;
echo $g-send(4);
echo $g-send(5);
$g-send(6);
(一時停止中)
1

function
gen()
{
echo
(4);
echo
(yield
2);
echo
(yield
3);
}
$g = gen();
echo 1;
echo $g-send(4);
echo $g-send(5);
$g-send(6);
14

function
gen()
{
echo
(4);
echo
(yield
2);
echo
(yield
3);
}
$g = gen();
echo 1;
echo 2;
echo $g-send(5);
$g-send(6);
142
(一時停止中)

function
gen()
{
echo
(4);
echo
(5);
echo
(yield
3);
}
$g = gen();
echo 1;
echo 2;
echo $g-send(5);
$g-send(6);
1425

function
gen()
{
echo
(4);
echo
(5);
echo
(yield
3);
}
$g = gen();
echo 1;
echo 2;
echo 3;
$g-send(6);
14253
(一時停止中)

function
gen()
{
echo
(4);
echo
(5);
echo
(6);
}
$g = gen();
echo 1;
echo 2;
echo 3;
$g-send(6);
142536

function
gen()
{
echo
(4);
echo
(5);
echo
(6);
}
$g = gen();
echo 1;
echo 2;
echo 3;
null;
142536

co-httpclientの場合
co関数
gen
gen
gen

1. 与えられたジェネレータを
順番に実行していく
co関数
gen
gen
gen
実行

2. yieldされたら…
co関数
gen
yieldRequest
gen
gen

3. 非同期実行し始めて…
co関数
gen
yield
gen
gen
⾮非同期実⾏行行中
Request

4. 待っている間に次の
ジェネレータを実行
co関数
gen
yield
gen
gen
⾮非同期実⾏行行中
Request

5. やることがなくなったら
非同期実行を待って…
co関数
gen
yield
gen
gen
⾮非同期実⾏行行中(終わ
るまで待つ)
Request

6. ジェネレータを再開！
co関数
gen
yieldRequest
gen
gen

つまり
• yield = コンテキストスイッチ
• co関数はyieldされる度に次に行う処理を
探して実行する
• スレッドっぽい
– 軽量スレッドと呼ばれる所以

その他の工夫
• 非同期関数内で別の非同期関数を呼ぶ
– SplStackを使って対処
• 例外の伝搬
– Generator::throw()を使用する
非常に参考にしました↓
Cooperative multitasking using coroutines (in PHP!)
http://nikic.github.io/2012/12/22/Cooperative-multitasking-using-coroutines-in-PHP.html

関数内で別の関数を呼ぶ
//通常の関数
function a() {
return b() . c();
}

//非同期の関数
function aAsync() {
yield (yield bAsync()) . (yield cAsync());
}

こんな書き方もできる

//非同期関数の配列
function aAsync() {
$arr = (yield [bAsync(), cAsync()]);
yield implode('', $arr);
}

第5部
まとめと今後の展望
10

まとめ
• I/O多重化してマイクロサービスに備えよう
• PHPにcallbackスタイルはつらい…
• yieldでも抽象化できる
– こっちの方が既存のPHPコードと互換性が高い
• curl_multiに関して実装を書いてみた

今後の展望
• curl_multi以外にmysqlndや
postgresqlも重ねたい
• 例外のスタックトレースサポート
• コードのブラッシュアップ
Pull Request歓迎！

hirak/co-httpclient
$
composer
require
'hirak/co-‐httpclient:dev-‐master'
104
再掲

PHPにおけるI/O多重化とyield

Recommended

More Related Content

What's hot (20)

Viewers also liked (20)

Similar to PHPにおけるI/O多重化とyield (20)

More from Yahoo!デベロッパーネットワーク (20)

PHPにおけるI/O多重化とyield