タグ

bigqueryに関するmoritataのブックマーク (4)

  • GCP と Edge TPU でつくるインテリジェント IoT 基盤

    Edge TPU とはEdge TPU は、Google が開発した TensorFlow Lite 形式の機械学習モデルを高速に演算(推論)するための ASIC のことです。2018年に発表されるまで、 TPU (Tensor Processing Unit) というとクラウド側で利用できるものだけでしたが、 Edge TPU は小型のデバイスでも実装できるよう設計されたものです。現在では、 Coral というブランドネームのもと、いくつかの形態で実装されたデバイスが販売されています。 また Edge TPU は特定のタスク(画像認識や音声認識など)専門に作られたものではなく、特有の制約はあるものの TensorFLow Lite 形式のモデルであれば実行可能です。つまり、自分で独自に作ったモデルを高速に推論することができます。 インテリジェントな IoT の必要性IoT がインテリジェ

    GCP と Edge TPU でつくるインテリジェント IoT 基盤
  • Table Decoratorを使って処理するレコード数を削減する - Qiita

    Google BigQueryはクエリで処理したデータ量だけ課金される。テーブルが大きくなれば大きくなるほど課金されてしまうのである。これではログを1つのテーブルに大量に挿入していると困ったことになってしまうように見える。 Google BigQueryでは、このような追記型のテーブルに対して、テーブルのサブセットを利用することで、クエリにかかるコストを削減できるTable Decoratorという機能がある。 Table Decorators - Google BigQuery - Google Developers この記事は上記記事の抄訳となる。 Table Decoratorを利用する 通常、BigQueryにはクエリ実行時に全てのカラムをスキャンする。Table Decoratorを使用することで、データのサブセットに対し、費用効果の高いクエリを実行できる。Table Decor

    Table Decoratorを使って処理するレコード数を削減する - Qiita
  • BigQuery の課金仕様と注意点をまとめてみた(2015-07 時点) - Qiita

    Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 最初は安く収まっていた BigQuery の費用もだんだん膨らんできた ので、自分(社内)用にまとめたものです 広告事業(アドネットワーク)のログを BigQuery に入れているので、それなりにデータ量も増えてきて、こういうことも考えていかないといけなくなってきました どの操作にお金がかかるのか データを保存しておく データを Streaming Insert(≒ 追加)する データを走査して取得する クエリを発行する データの保存 $0.020 per GB, per month 1 TB を 1 ヶ月保持すると、$20 かかる デ

    BigQuery の課金仕様と注意点をまとめてみた(2015-07 時点) - Qiita
  • BigQueryで150万円溶かした人の顔 - Qiita

    ※ かなり前の記事ですが、未だに引用されるので一応追記しておきます。タイトルと画像がキャッチーなのはちょっと反省していますが、これを見てBigQuery使うのを躊躇している人は多分あまり内容を読んでいないので気にする必要はないです。自分は当時の会社でも今の会社でも個人でも普通にBigQuery使っていて解析用データなどはBigQueryに入れる設計をよくしています。また、アドベントカレンダーだったのでネタっぽく書きましたが事前に想定できる金額です。 ※ 代役:プロ生ちゃん(暮井 慧) 巷のBigQueryの噂と言えば「とにかく安い」「数億行フルスキャンしても早い」などなど。とりわけ料金に関しては保存しておくだけであれば無視できるほど安く、SQLに不慣れなプロデューサーがクエリを実行しても月数ドルで済むなど、賞賛すべき事例は枚挙に暇がありません。 しかし、使い方によってはかなり大きな金額を使

    BigQueryで150万円溶かした人の顔 - Qiita
  • 1