Go と Ruby と Amazon SQS と ElastiCache で Ranunculus というクローラを書いてみました。 正確には書きかけなのですが、もう日曜日が終わってしまうので、とりあえずまとめておくことにします。 Ruby Gem https://rubygems.org/gems/ranunculus その Gem のコード https://github.com/k-kawa/ranunculus-ruby Go のコード https://github.com/k-kawa/ranunculus なんで作ろうと思ったのか 理由は 3 つあります。 1 つめは、Ruby で使えるよいクローラが見つからなかったからです。 Python には Scrapy という、クローラのためのいたれりつくせりなライブラリがあります。 ところが、Ruby にはそういういい感じのライブラリが
Scrapy - A fast high-level screen scraping and web crawling framework. django-dynamic-scraper - Creating Scrapy scrapers via the Django admin interface. Scrapy-Redis - Redis-based components for Scrapy. scrapy-cluster - Uses Redis and Kafka to create a distributed on demand scraping cluster. distribute_crawler - Uses scrapy,redis, mongodb,graphite to create a distributed spider. pyspider - A power
ふとtwitterをみていたら @ymotongpoo pythonjapan.comとかいうサイトがすごく下品なことをしてる。 「文字列操作の比較表」 http://bit.ly/ggAJ0k これは高林さんの記事の丸コピペな上に引用元書いてない。恥を知れ。 http://bit.ly/g9U5M http://twitter.com/ymotongpoo/status/40615506608128000 というのが目にはいった時に社内buzzに流したらpythonjapanうんぬんよりも言語比較の話がまた再燃。s.to_fはperlでは0+$sだとか、s.to_sは”$s"とか。 そういえばGo言語も比較したらどうなるかせっかくなのでまとめてみた。 問題のpythonjapanはあっという間に消えたようですね。 謎のpythonjapan
あなたにとって重要なトピックや同僚の最新情報を入手しましょう最新の洞察とトレンドに関する最新情報を即座に受け取りましょう。 継続的な学習のために、無料のリソースに手軽にアクセスしましょうミニブック、トランスクリプト付き動画、およびトレーニング教材。 記事を保存して、いつでも読むことができます記事をブックマークして、準備ができたらいつでも読めます。
The most amazing feature of Parse Server is that it’s accessible for developers of all skill levels. Personally, I started playing around with Objective-C in 2012. Parse was a way for me to build a complete online app, without having the in-depth knowledge of how to build networking, storage, user systems, etc. The more I built with Parse, the more I learnt JavaScript, which has fortunately allowe
Milkode 1.7で新しく入ったGomilkの技術解説です。ここ数ヶ月Go言語の勉強をしていましたが、Rubyで書かれたMilkodeとのよい組み合わせを思いつき、一ヶ月ほどかけて作ってみました。 Gmilkの問題 MilkodeにはGmilkというGrep感覚で使えるコマンドラインツールが付属しているのですがもう少し高速に検索したいという欲求がずっとありました。 Gmilkが遅い原因としては 関連するライブラリがたくさんあってアプリケーションの起動が遅い 検索候補のファイル一覧を回すループ処理が遅い というのが主な理由でした。 これらの問題を解決するために新しいプログラムを書きました。 名前はGo言語で作るのでGomilkとしました(偶然ゴロがよかった)。 作戦 以下のような作戦で高速化を図りました。 あらかじめWebアプリを立ち上げておく Gomilkを実行 Gomilkは引数から
第36回勉強会(2014/03/15) - 長岡 IT開発者 勉強会(NDS) http://nagaoka.techtalk.jp/no36 今回のNDSは盛り沢山でしたね。２回発表した人が３人いたので輪をかけてボリュームが凄いことに。 というわけで、スライドが公開されているものはスライドも込みでレポしていきます。 メインセッション：Go言語入門 資料 https://gist.github.com//hayajo/9559874 @hayajoさんによるGo言語についての入門セッションでした。 Go Playgroundというサイトを知れたのが個人的には一番の収穫でした。コードをその場で実行して試せるのもさることながら、Gistみたいに書いたコードに固有のURLを付けて、他の人に動作可能な状態で見せることができる。すごく便利。Gistにこういう機能付いたら面白いんだけどなあ。 全体を通
http://matt.aimonetti.net/posts/2013/11/30/sharing-rails-sessions-with-non-ruby-apps/1 comment | 0 pointsSpliceのFounderのMatt Aimonettiが、Railsアプリとセッションが共有できる仕組みをGoアプリ用に提供しています。他の言語への移植にも利用できるようです。 RailsとGoのアプリでセッションを共有、具体的には、認証されたRailsのユーザがGoで書かれたエンドポイントにJavaScript APIでコールすることを試してみた。まとめると、 実現可能。こちらのGoパッケージを参照されたし。 Rails 4.0以降にアップグレードすべし。 Railsのセキュリティには批判があるが、最近のソリューションではエキスパートが工夫をこらしている。 RailsはRub
[Interview] Daniel Huckstep on Ruby's stdlib and golang Published on July 02, 2013 by Jesse Storimer I recorded a conversation with Daniel Huckstep about two topics that always arouse discussion: Ruby's stdlib and the Go programming language. Daniel is a Ruby developer, Go convert, and the author of Go: The Standard Library (ebook). Here are the highlights with links straight to the transcript: Da
日々の出来事、メンバーの働く様子や声、未来への想いなど、Supershipの“BE SUPER”なストーリーをシェアしています。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
