読書メーターからブクログへ宗旨替えすることにしたので、データを移行したい気持ちになりました。 幸い、ブクログには CSV データによる読書データのインポート機能が備わっていたことと、私が以前読書メーターのスクレイピング gem である bookmeter_scraper を作っていたことから、ブクログへの移行用にスクリプト booklognize を書きました。 読書メーター → ブクログへのデータ移行用 Ruby スクリプト. Contribute to kymmt90/bookloganize development by creating an account on GitHub. このスクリプトで移行できるのは次のデータです。 自分が登録した本 読書ステータス 読んだ いま読んでる 積読 読みたい 読了日（既読本のみ） 読書メーターで複数回読了日を記録している書籍（再読本）について
やりたいこと 僕は普段ブクログというサービスを使って読んだ本を記録しています。ブクログに登録した書籍を月別で分類し、いつどんな本を読んでいたのかを整理したいと思いました。 Pythonを勉強中なので、Pythonを使ってこれを実装してみます。 成果物 最終的なコードと出力ファイルは以下のGistに置きました。 ブクログAPIを叩いて書籍を取得する booklog apiなどで調べるとhttp://api.booklog.jp/v2/json/<userId>?count=10000に対してリクエストを送ると、ユーザーの本棚情報を取得できることが分かりました。 このAPIは公式のドキュメントなども見当たらなかったので、動かして試してみます。 import requests import json api_res=requests.get("http://api.booklog.jp/v2/j
![[Python]ブクログに登録した本一覧を月別で出力してみる](https://cdn-ak-scissors.b.st-hatena.com/image/square/c9ca8241ee1c6aeb0b63088f4d184bdc638d616f/height=288;version=1;width=512/https%3A%2F%2Fsiteproxy.ruqli.workers.dev%3A443%2Fhttps%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--XLh24eI1--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255BPython%25255D%2525E3%252583%252596%2525E3%252582%2525AF%2525E3%252583%2525AD%2525E3%252582%2525B0%2525E3%252581%2525AB%2525E7%252599%2525BB%2525E9%25258C%2525B2%2525E3%252581%252597%2525E3%252581%25259F%2525E6%25259C%2525AC%2525E4%2525B8%252580%2525E8%2525A6%2525A7%2525E3%252582%252592%2525E6%25259C%252588%2525E5%252588%2525A5%2525E3%252581%2525A7%2525E5%252587%2525BA%2525E5%25258A%25259B%2525E3%252581%252597%2525E3%252581%2525A6%2525E3%252581%2525BF%2525E3%252582%25258B%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3AKenzo%252520Tanaka%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzhkMGRjZjI4N2MuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
この記事は、OIT Advent Calendar 2018の17日目の記事です． こんにちは こっそり歩くです．まいかた出て奈良なんとかで院生してます． twitter やったこと 読書メーターをスクレイピングして協調フィルタリングを使った推薦モデルを作った． モチベーション 恒川光太郎の作品が好きだけど，そろそろ全作読み終わるのでいい感じの本が探したい →Amazonの推薦が微妙だったので，とりあえず自分で作ってみようと思った スクレイピング 協調フィルタリングをするのにデータが欲しい →読書メーターからユーザごとの読んだ本を持ってくれば協調フィルタリングいけるか？ →スクレイピングしよう (→なんかスクレイピングってハッカーぽくてカッコイイ🤓（やったことないが）) 使ったもの beatifulsoup4 有名どころらしい． HTMLをパースしてくれたり，欲しいタグのみ取り出したりし
Handle infinite scroll on websites with puppeteer Small puppeteer tool which makes your parsing experience a little bit better Usage size - Number of pixels to scroll on each step [default: 250] delay - Delay in ms after each completed scroll step [default: 100] stepsLimit - Max number of steps to scroll [default: null] const puppeteer = require('puppeteer') const { scrollPageToBottom } = require(
こんばんは、エンジニアの眠れない夜です。 最近お金の管理がズボラ過ぎて、毎朝マネーフォワードを眺めて無駄遣いをしていないか確認するようになりました。 そこで思ったのが毎朝クレジットカード情報を更新しても反映されるまで待つのが面倒。 別の作業をして戻ってくる頃にはマネーフォワードの存在を忘れていたり… ということで、寝ている間に勝手にマネーフォワードの更新を実行してくれて、朝見たときには更新済み！という状況にしたかったので自動で金融機関情報を更新するスクリプトを書きました。 マネーフォワードを利用されている方がいましたらぜひご利用ください。 【実行中の様子】 マネーフォワード金融機関情報自動更新スクリプト 定期実行するには下記のシェルスクリプトをどこかに保存してcronで実行します。 例）moneyforward_reload_accounts.sh 第1引数はログインアドレス 第2引数はロ
Pythonの勉強がてら、マネーフォワードのサイトから口座残高などの情報をスクレイピングしてきて、日々のポートフォリオを作成するというコードを書いてみました。 いろいろと勉強になることたくさんでして、忘れないように記録しておきます。（その１）では、プログラム作成の動機や内容などを、（その２）では実際のコーディングにあたってはまった点などを紹介します。 マネーフォワードの良さと問題点 やりたいこと 実装したコード 結果 マネーフォワードの良さと問題点 マネーフォワードは、銀行・証券会社・クレジットカードの情報を登録しておくと、口座残高やカード使用履歴などを記録してくれるアプリで、すでに多くのひとが活用していると思います。 moneyforward.com マネーフォワードの機能のひとつに、現在保有している資産の内訳や資産履歴をグラフ化してくれるものがあります。現金や預金だけでなく、株や投資信
Haskell で Web スクレイピングしてみたらすごく楽しかったのでご紹介します. Scalpel Scalpel は Haskell のスクレイピングライブラリです. 著名なパーサコンビネータである parsec に影響を受けており, 宣言的・モナディックにスクレイピングスクリプトを書くことができます. 本記事では, Scalpel でのスクレイピングの実装例を紹介しながら, モナディックな記述の裏側, Alternative, MonadPlus 型クラスを利用した解析器の仕組み を説明したいと思います. スクレイピングしてみる (基本編) 弊社の Qiita AdventCalendar の投稿一覧をスクレイピングしてみましょう. スクレイピング結果例 こんな感じの結果を得ようと思います. Just [ masahixixi: 競馬における脆弱性を追求してみようと思った話~準備編
{-# LANGUAGE OverloadedStrings #-} import Control.Applicative ((<|>)) import Text.HTML.Scalpel htmlString :: String htmlString = "<html>\ \ <body>\ \ <div class='comments'>\ \ <div class='comment container'>\ \ <span class='comment author'>Sally</span>\ \ <div class='comment text'>Woo hoo!</div>\ \ </div>\ \ <div class='comment container'>\ \ <span class='comment author'>Bill</span>\ \ <img class=
2018年6月7日 10:31 PM ACT_loginは<input type=”image”>つまり画像ボタンなので画像がクリックされた位置(左上がx,y=0,0)をサーバーに送ることになっています。 ACT_loginのx座標とy座標はボタン画像の大きさ以下で自由に決めればよいです。 モニターの大きさとは関係ありません。 この内容はMDN web docsに有りますので該当ページから引用します。 These are the X and Y coordinates of the image that the mouse clicked on to submit the form, where (0,0) is the top-left of the image. developer.mozilla.org
この記事は RECRUIT MARKETING PARTNERS Advent Calendar 2017 の投稿記事です。 こんにちは。スタディサプリENGLSHでサーバーサイドとインフラを担当している松川です。 バスケットボールを趣味にしているのですが、体育館など公共スポーツ施設の予約がなかなか取れない… 都心近郊ですと人口に対してスポーツ施設が少ないため、すぐに枠が埋まってしまいがちです。稀にキャンセルが出ることもありますが、自治体のwebサイトにプッシュ通知やRSSといった類のものは滅多にありませんので、こまめに巡回しなくてはなりません。 流石にそれは効率的ではないので「何かクローラーでも書こうかなぁ…」と思っていたところ、同僚から「OCamlのlamdba-soupというライブラリがええで！」と紹介してもらったので、これを期にOCamlデビューしてみることにしました。 結論から言
ゆとりの雑記帳 投資・資産運用やIT関係、語学等の話題が多めです。気になったことを自由気ままに書きなぐる趣味ブログです。 SBI証券の保有資産をデータとして使いたいなと思うところがありまして、ちゃちゃっとpythonで取得コードを書いてみました。 しかし、私はノンプログラマな上に、プログラミングなんて数年ぶりなので小一時間程今の環境を調査することに。 結果以下のことがわかりました。 HTTPの処理をするのに、今時のPythonはrequestsモジュールを使うのがシャレオツ HTMLを解析(パース)するにはBeautifulSoup4を使うのが楽 というわけで、Pythonの使い方を思い出しながら探り探り作ってみた。リストの操作すら忘れてた人間が突貫工事で書いてます…笑 # -*- coding: utf-8 -*- """ SBI証券から保有資産をとってきますん(∩´∀｀)∩ """ i
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
