Appleが未開封のiPhoneを化粧箱に入ったままソフトウェアアップデートできるようになる「Presto」と呼ばれるシステムを運用し始めることが、2024年3月末の報道により明らかになっています。このPrestoのさらなる詳細が、フランスメディアのiGenerationの報道により判明しました。 Apple Store : comment se passe la mise à jour des iPhone sous boite avec Presto | iGeneration https://www.igen.fr/iphone/2024/03/apple-store-comment-se-passe-la-mise-jour-des-iphone-sous-boite-avec-presto-142661 Apple's Presto system is even more sop
AWS Glue for Apache Spark が Google BigQuery 向けネイティブ接続を発表
AWS Glue for Apache Spark が Google BigQuery へのネイティブ接続をサポートするようになりました。これにより、ユーザーは Apache Spark ライブラリ用の BigQuery コネクタをインストールしたり管理したりすることなく、BigQuery からデータを効率的に読み書きできるようになります。ユーザーは、ノーコードのドラッグアンドドロップで使用できる AWS Glue Studio の視覚的なインターフェイス内で BigQuery をソースまたはターゲットとして追加したり、AWS Glue ETL ジョブスクリプトでコネクタを直接使用したりできるようになりました。この新しいコネクタを AWS Glue の ETL (抽出、変換、ロード) 機能と組み合わせると、ETL パイプラインの作成が容易になり、ETL デベロッパーはデータパイプラインの構
詳細については後述しますが、MapReduceの処理モデルは、上記の通り各区分ごとにそれぞれ単純化（限定）されたモデルであったと言えます。 また、MapReduceの関数プログラミングおよびグラフ的な特徴も合わせて以下に整理してみます。 関数プログラミング的な特徴 MapおよびReduceフェーズは、それぞれ関数型プログラミングのMapおよびReduce処理をモデル化したものです。MapReduceは、参照透過性がある純粋な関数処理と言えます。参照透過性とは入力により出力が一意に決まる性質のことです。言い換えればMapReduceの処理は、大域などの処理に影響する外部の環境は持たず、内部的にも静的な一時変数などの状態も持たないことを意味します。 純粋な関数処理は複数の処理が同時に実行されても他の並列に動作している処理の状態には左右されないため、この参照透過性は並列化に向いている性質がありま
最初から最後まで、遊びっぱなし。 でも、「使えるコード」が書けるようになります。 【本書の特長】 <<遊び感覚でプログラミングとアルゴリズムをおぼえよう！>> ・イチからPythonのプログラミングとアルゴリズムがわかる ・ゲームをつくりながら基本を理解できる ・パズル問題で実践的なコードの書き方が身につく ・環境構築不要のGoogle Colaboratoryですぐ始められる ・パズル問題の解答はPythonに加え、JavaScriptとRubyのコードも提供 【内容紹介】 楽しくなきゃ、プログラミングじゃない！ プログラミングを学ぶとき、 言語の文法などを勉強するのは退屈なものです。 何かつくりたいものがあり、 それを自分の手でつくることが 達成感となり、楽しさにつながります。 本書でも一般的なプログラミングで 必要な要素がひと通り登場しますが、 簡単なゲームをつくりながら基本をおぼえ
How Drop used the Amazon EMR runtime for Apache Spark to halve costs and get results 5.4 times faster | Amazon Web Services
AWS Big Data Blog How Drop used the Amazon EMR runtime for Apache Spark to halve costs and get results 5.4 times faster February 2022 update – When this Blog post was published in June 2020 AWS Glue V1 offered an average starting time of 10 minutes. In September 2020 Glue V2 was released offering 10X faster start times. Because of this the part of this blog post that compares the starting times be
Apache Flink PlaygroundsでApache FlinkとApache Kafkaによるストリーム処理の雰囲気を感じてみた Amazon Kinesis Data Analyticsでは、Apache Flinkをベースとしたストリーム処理が可能です。 Apache Flink PlaygroundsはFlinkの機能を手早く試せる環境をDocker Composeを使って構築できます。 今回はApache Flinkがどういったものなのかを知る為にApache Flink Playgroundsで遊んでみました。 apache/flink-playgrounds: Apache Flink Playgrounds Apache Flink 1.9 Documentation: Flink Operations Playground Apache Flink Apache
「JX通信社Advent Calendar 2019」10日目の記事です. 昨日は, @rychhrさんの「Pure WebSocketsをサポートしたAWS AppSyncでWebとiOS間のリアルタイムチャットを作ってみた(1)」でした. 改めまして, こんにちは. JX通信社でシニア・エンジニア&データ基盤エンジニアをしています, @shinyorke（しんよーく）と申します. JX通信社では, データ駆動での意思決定および施策実施をより円滑に進めるため, データ基盤の構築・運用を進めながらトライアル的に様々なFrameworkやツールの検証を行っています.*1 このエントリーでは, 私がシュッとPySparkで分散処理をする...前に, 手元で試したときの感想とその知見 のお話を残していきたいと思います. なお, 分散処理そのものの知見・ノウハウではなく, する前にPySparkに
概要 AWSの主要な各サービスを一行でまとめてみました。全てのサービスを網羅しているわけではないです。 AWS認定資格試験テキスト AWS認定 ソリューションアーキテクト-アソシエイトの本の復習がてらです。 読んだら何のサービスか聞かれて答えられるようになるかも。 ちなみにアイコンは公式のAWS アーキテクチャアイコンから取得できます。 ネットワークとコンテンツ配信 全ての始まりはネットワーク構築から。 リージョン・・・AWSがサービスを提供している国と地域のこと。 アベイラビリティーゾーン(AZ)・・・データセンターの集まり。リージョン内に複数のAZが含まれている。 VPC (Virtural Private Cloud) プライベートなネットワークを構成するサービス。ゲートウェイ、サブネット、ルートテーブルなどを利用する。 CloudFront サーバのキャッシュを配信するCDN(Co
2019年6月24日、Machine Learning Pitchが主催するイベント「Machine Learning Recommender Pitch #3」が開催されました。機械学習を業務に用いる中で培った知見や経験を共有することを目的に設立された本イベント。今回は「情報推薦」をテーマに、株式会社Gunosy、エムスリー株式会社、クックパッド株式会社の3社のエンジニアが、自社の取り組みにおける知見を語ります。プレゼンテーション「クックパッドにおける推薦システムの取り組み 」に登壇したのは、クックパッド株式会社の林田千瑛氏。講演資料はこちら クックパッドにおける推薦システムの取り組み 林田千瑛 氏（以下、林田）：最後の登壇になりますが「クックパッドにおける推薦（と検索）についての取り組み」について、発表させていただきます。ちなみに、前の2人はごりごり数式を出してくれていたのです
AWS Glue ジョブタイプ『Spark』が Apache Spark 2.4.3 と Python 3.6をサポートしました 本日から Apache Spark 2.4 と Python 3 による『Spark』ジョブを使用してスクリプトを実行できるようになりました。今後はPython 2（Spark 2.2 又は Spark 2.4）と Python 3（Spark 2.4）のいずれかを選択可能になりました。早速確認してみたいと思います。 Spark ジョブ の作成 Configure the job properties 画面の [Type] でSparkを選択すると、[Glue version]でSparkのバージョンと言語を選べるように変わりました。今後のデフォルトは、Spark 2.4, Python 3 (Glue Version 1.0)になります。 組み合わせを見ると、
Jubatus English Japanese
Facebookは大規模なデータ処理の基盤としてHBaseを利用しています。なぜFacebookはHBaseを用いているのか、どのように利用しているのでしょうか？ 7月1日に都内で行われた勉強会で、Facebookのソフトウェアエンジニアであるジョナサン・グレイ（Jonathan Gray）氏による解説が行われました。 解説はほぼスライドの内容そのままでした。当日使われた日本語訳されたスライドが公開されているので、ポイントとなるページを紹介しましょう。 Realtime Apache Hadoop at Facebook なぜリアルタイムデータの分析に、Hadoop/HBaseを使うのか？ MySQLは安定しているが、分散システムとして設計されておらず、サイズにも上限がある。一方、Hadoopはスケーラブルだがプログラミングが難しく、ランダムな書き込みや読み込みに向いていない。 Faceb
筆者らは、オープンソースソフトウエアの分散処理ミドルウエア「Hadoop」を、基幹系のバッチ処理システムに適用するためのフレームワーク「Asakusa」を開発した。AsakusaはHadoopと同様に、オープンソースソフトウエアとして公開する。公開日は、本連載の4回目をお届けする2011年3月31日の予定である。 Asakusaを使うことでHadoopによる分散処理のメリットを享受することが可能となり、これまでRDBMSを利用していた場合と比べて、多くのケースでバッチ処理システムの性能を大幅に向上することができる。筆者らが実際に構築を支援したシステムでは、それまで4時間かかっていた処理が数分で終わるようなケースも出てきている。 盛んに報道されているように、Hadoopはすでに多くの導入実績がある。ただしその用途は、ログ分析システムやレコメンデーションエンジンなどのビジネスインテリジェンス（
ソフト開発ベンチャーのあくしゅは2010年11月19日、Amazon EC2のようなIaaS（インフラストラクチャ・アズ・ア・サービス）を構築するソフト群をオープンソースとして公開した。仮想マシンの生成やその自動化、管理画面、アプリケーションの分散処理支援といった各種ソフトを取り揃えた。 OSSとして公開したのは、仮想マシンの起動や削除などを制御する「Wakame-vdc」、仮想マシン群によるアプリケーションの分散処理を半自動化する「Wakame-os」、複数の仮想マシンから成るシステムの自動展開などを制御する「Wakame-fuel」の3ソフト。 Wakame-vdcは、仮想マシンソフトの「Xen」と「KVM」を使ったIaaSを構築できるソフト。Webブラウザによる管理画面を用意し、仮想マシンの生成や削除、セキュリティ設定などを簡単に操作できる。Wakame-osは、プログラムのソースコ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
