データマイニング

自分自身スクレイピングやクローリングで研究したりするのですが，その際にいつも思いつく疑問とそれに対する答え・根拠をまとめます． そもそもスクレイピングは合法？ スクレイピングしたものの著作権は？ Webサイトにスクレイピング禁止と書かれている場合は？ リクエストの間隔は1秒あければよい？ スクレイピングしたデータの解析，ブログや論文などで公開していい？ スクレイピングしたデータの解析をもとにしたサービスを提供して金銭を得ていい？ 結論 ※スクレイピングする際は自己責任でお願いします． そもそもスクレイピングは合法？ 全てスクレイピング＝合法とは言えない．ただスクレイピングの基本動作はWebサイ…

2023年もあっという間に終わります。１年は早いと毎年、思うのですが、その早さは歳を重ねる毎に加速しているような気がします。今年１年、わたしが投稿したブログを「ユーザーローカル テキストマイニング（https://textmining.userlocal.jp/）」というツールを使って「スコア」による分析をしたら、以下の結果となりました。情報セキュリティは、このブログの骨格ですので、目立つのは当然です。情報セキュリティに関係が深い、パスワードや個人情報もやはり目立ちますね。概ね、想定通りの結果ですが、異質な感じを受けるのが「韓国ドラマ」というキーワードです。現在、わたしは、ネットフリックス、A…

TL;DR データ分析コンペであるKDD2023にて、ドコモの2チームが入賞(6位、9位)しました。手法詳細はこちらを御覧ください。 本記事では今回参加した国際会議であるKDD2023について、現地の様子をメインに紹介します はじめに はじめまして、NTTドコモ サービスイノベーション部の前沖です！ ドコモR&Dでは、データマイニングの世界最高峰の国際学術会議であるKDDで開催されているKDDCUPに毎年参加しており、 今年はKDDCUP2023のTask3において、ドコモの2チームが上位入賞(NTT-DOCOMO-LABS-RED 6位、NTT-DOCOMO-LABS-BLUE 9位)しまし…

TL;DR データ分析コンペであるKDD2023にて、ドコモの2チームが入賞(6位、9位)しました。 コンペの概要と入賞した2チームの解法を紹介します。 はじめに NTTドコモ クロステック部の鈴木明作です！ ドコモR&Dでは、データマイニングの世界最高峰の国際学術会議であるKDDで開催されているKDDCUPに毎年参加しており、 今年はKDDCUP2023のTask3において、ドコモの2チームが上位入賞(NTT-DOCOMO-LABS-RED 6位、NTT-DOCOMO-LABS-BLUE 9位)しました。 ドコモは2016年からKDD CUPへの参加を始め、2016年ファイナリスト、2019…

無料で使えるデータマイニングツール一覧 RapidMiner www.rapidminer.jp データマイニング、機械学習、ビジュアルアナリティクスなど、様々なタスクに対応したオープンソースのツールです。ユーザーインターフェイスが直感的であり、機械学習やデータマイニングに関する知識がなくても使いやすいです。 KNIME knime-infocom.jp オープンソースのツールであり、データマイニング、機械学習、ビジュアルアナリティクスなどのタスクに対応しています。ユーザーインターフェイスが直感的であり、複雑なデータ処理パイプラインを簡単に構築できます。 Weka weka-jp.info オ…

BIツールって何？って感じになったので 今日はBIツールについて調べていきます。 BI（Business Intelligence）ツール BIツールは、 企業に蓄積された大量のデータを集めて分析し、可視化するツールのことです。 経営管理や売上のシュミレーションなどに活用され、近年導入する企業が増えています。 メリットとしては、 ・レポート作成が短時間で出来ること ・膨大な情報の分析を素早く行えること ・専門家でなくてもデータ分析が可能なこと が挙げられます。 データウェアハウス ウェアハウスとは「倉庫」という意味です。 データウェアハウスは、業務でさまざまなデータを時系列で保管したものです。…

〜ニュースに取上げられない、独自の生態系を貫く株式銘柄への集中投資〜 ＊本内容は株式会社日本取引所グループが開催している「日本取引所グループ ニュース分析チャレンジ」に関したブログです。2021年4月28日 ”Deep Sea Portfolio”のパフォーマンス 業績好調ではあるが、ニュースに取り上げられた企業とそうでない企業 深海の生命体のようなニュースに取り上げられなかったものの、高い「成長率」・「収益性」・「効率性」を保つ、”Deep Sea Portfolio”ともいうべき上場企業5社を改めてみてみましょう：比較対象としたのは日本証券取引所グループのニュース分析チャレンジで提供されて…