JavaScriptが必要なページをスクレイピングするにはどうしたらいいか調べた。 Selenium ブラウザを操作してウェブアプリのテストをするツール。 FireFox, Chrome, IEなど様々なブラウザに対応している。 実際にブラウザを立ちあげて色々行うのでやや遅い。 Rubyで書くとこうなる。 require "rubygems" require "selenium-webdriver" d = Selenium::WebDriver.for :firefox d.navigate.to 'http://example.com' puts d.page_source メソッド名がJavaScriptライク。 GUIのない環境で動かすときはXvfbをインストールし、headlessを使う。 require "rubygems" require "selenium-webdrive
