Linked Open Data勉強会2020 後編：SPARQLの簡単な使い方、SPARQLを使った簡単なアプリ開発
- 1. Linked Open Data勉強会 LODチャレンジ実行委員会 人工知能学会セマンティックWebとオントロジー研究会 企画委員 1 2020/08/26 15:00 – 17:00 オンラインhttps://lod-ws-2020.peatix.com/ SPARQLの簡単な使い方 SPARQLを使った簡単なアプリ開発 2020/8/26
- 2. 講演概要 ねらい LOD・ナレッジグラフの公開に用いられるRDFデータ 用の検索言語SPARQLの基本的な使い方 SPARQL検索を用いたアプリ開発の方法 を紹介することを通して，応募作品の基本的な作り方 を学ぶ． 内容 Wikidataの紹介（今回，検索対象とするLOD） SPARQL検索の基本～Wikidataを例として～ SPARQLを用いたアプリ開発の方法 2020/8/26 2
- 3. Wikidata 2020/8/26 3 Wikidataとは？ Wikidataの基本的な使い方
- 5. ウィキデータの特徴 ウィキデータは、自由・共同作業・多言語・二次情報を 特徴とする、構造化データのデータベースです。 収集された構造化データは、ウィキペディア、ウィキメ ディア・コモンズや、その他のウィキメディアのプロジェ クトで活用されているほか、世界中の誰でも利用できま す。 https://www.wikidata.org/wiki/Wikidata:Introduction/ja より ウィキデータに登録したデータ（知識）は， そのまま，すぐに，オープンデータとして， 「全世界」に公開される！ 2020/8/26 5
- 16. Wikidataを例とした SPARQLクエリの例 2020/8/26 16 WikidataのSPARQLエンドポイント（検索用API） https://query.wikidata.org/ を使ったSPARQLクエリ例 • 検索例は下記から実行可能 https://github.com/KnowledgeGraphJapan/LOD-ws- 2020/blob/master/SPARQL/SPARQL-sample.md 紹介する検索例 • 検索例１：<主語>-<述語>を指定して<目的語>を取得する • 検索例２:<述語>-<目的語>を指定して<主語>を取得する • 検索例３：より複雑な検索例
- 17. SPARQLによるRDFの検索 SPARQL RDFデータに対するクエリ言語 「指定したグラフ構造」に一致するトリプルを検索する 最も基本的な検索 select ?s ?p ?o where { ?s ?p ?o . } LIMIT 100 ↑取得する数の制限 ←検索するグラフのパターン ←返す要素 このパターンを変 えることで，欲しい データを取得する 2020/8/26 「.」（ピリオド） を忘れない ?x（ｘ：任意の文字列）は変数を表す 17
- 18. 2020/8/26 18 主語と述語を指定して「目的語」を取得 “<主語>の<述語>は何？” 大阪電気 通信大学 ?o 位置する行政区 検索するグラフパターン <大阪電気通信大学> <位置する行政区> ?o 主語 述語 目的語 SPARQLでの記述 主語 述語 目的語 検索例１：<主語>-<述語>を指定して <目的語>を取得する
- 19. 検索例１：<主語>-<述語>を指定して <目的語>を取得する 例1-1）「大阪電気通信大学(Q7105556)」（主語） の「位置する行政区(P131)」（述語）となる 目的語（?o）を取得する select ?o where{ <http://www.wikidata.org/entity/Q7105556> <http://www.wikidata.org/prop/direct/P131> ?o . } 大阪電気通信大学（主語） 位置する行政区 （述語） 目的語 （変数） クエリを実行 2020/8/26 19
- 20. 検索例１：<主語>-<述語>を指定して <目的語>を取得する 例1-2）「大阪電気通信大学(Q7105556)」（主語） の「設立(P571)」（述語）となる目的語（?o）を取得 select ?o where{ <http://www.wikidata.org/entity/Q7105556> <http://www.wikidata.org/prop/direct/P571> ?o . } 大阪電気通信大学（主語） 設立 （述語） 目的語 （変数） クエリを実行 ※述語を変えるといろんな 目的語が取得できる 2020/8/26 20
- 21. 検索例１：<主語>-<述語>を指定して <目的語>を取得する 例1-1+）「大阪電気通信大学(Q7105556)」（主語）の 「位置する行政区(P131)」（述語）となる目的語（?o）を取 得する．【名称（ラベル）も合わせて取得】 select ?o ?label where{ <http://www.wikidata.org/entity/Q7105556> <http://www.wikidata.org/prop/direct/P131> ?o . ?o <http://www.w3.org/2000/01/rdf-schema#label> ?label . FILTER(lang(?label)="ja") # 名称の言語を日本語(ja)に限定 } 名称を表す述語 クエリを実行 ※検索結果がデータのIDとなる場合，下記の記述を追加するこ とで「名称（ラベル）」をあわせて取得可能 取得した名称を 入れる変数 2020/8/26 21
- 22. 検索例１：<主語>-<述語>を指定して <目的語>を取得する select ?o ?label ?o2 where{ <http://www.wikidata.org/entity/Q7105556> <http://www.wikidata.org/prop/direct/P131> ?o . <http://www.wikidata.org/entity/Q7105556> <http://www.wikidata.org/prop/direct/P571> ?o2 . ?o <http://www.w3.org/2000/01/rdf-schema#label> ?label . FILTER(lang(?label)="ja") # 名称の言語を日本語(ja)に限定 } クエリを実行 位置する行政区 設立 例1-3) 「大阪電気通信大学」（主語）の「位置する行政 区」（述語）となる目的語（?o），および「設立」（述語）と なる目的語（?o2）を同時に取得 複数行ならべると，まとめて目的語を取得できる． (変数名は変える ) 2020/8/26 22
- 23. 2020/8/26 23 検索例２:<述語>-<目的語>を指定して <主語>を取得する 述語と目的語を指定して「主語」を取得 “<述語>が<目的語>となる<主語>は？” ?s 寝屋川市 位置する行政区 検索するグラフパターン ?s <位置する行政区> <寝屋川市> 主語 述語 目的語 SPARQLでの記述
- 24. 検索例２:<述語>-<目的語>を指定して <主語>を取得する 例2-1） 「位置する行政区（P131）」（述語）が 「寝屋川市（Q389633）」（目的語）となる 「主語（?s）」の一覧を取得する 「主語」の取得は検索結果が多数となる場合が多い select ?s where{ ?s <http://www.wikidata.org/prop/direct/P131> <http://www.wikidata.org/entity/Q389633> . } LIMIT 100 寝屋川市（目的語） 位置する行政区（述語） 結果が多いので，件数の制限をかける 主語（変数） クエリを実行 2020/8/26 24
- 25. 検索例２:<述語>-<目的語>を指定して <主語>を取得する 例2-1+ ）「位置する行政区（P131）」（述語）が 「寝屋川市（Q389633）」（目的語）となる 「主語（?s）」の一覧を取得する【名称あり】 select ?s ?label where{ ?s <http://www.wikidata.org/prop/direct/P131> <http://www.wikidata.org/entity/Q389633> . ?s <http://www.w3.org/2000/01/rdf-schema#label> ?label . FILTER(lang(?label)="ja") } LIMIT 100 寝屋川市 （目的語） 位置する行政区 （述語） 主語（変数） クエリを実行 2020/8/26 25
- 26. 検索例２:<述語>-<目的語>を指定して <主語>を取得する 例2-2 「分類（instance-of）（P31）」（述語）が 「大学 （Q389633）」（目的語）となる 「主語（?s）」+名称の一覧を取得する select ?s ?label where{ ?s <http://www.wikidata.org/prop/direct/P31> <http://www.wikidata.org/entity/Q3918> . ?s <http://www.w3.org/2000/01/rdf-schema#label> ?label . FILTER(lang(?label)="ja") } LIMIT 100 大学 （目的語） 分類（instance-of） （述語） 主語（変数） 注）他のLODでは，instance-ofではなく， rdf:typeが用いられることが多い． →同じ種類のデータ一覧が取得できる クエリを実行 2020/8/26 26
- 27. 検索例２:<述語>-<目的語>を指定して <主語>を取得する 例2-2+） 「分類（instance-of）（P31）」（述語）が 「大学 （Q389633）」（目的語）となる 「主語（?s）」＋名称（※あれば…）の一覧を取得 select ?s ?label where{ ?s <http://www.wikidata.org/prop/direct/P31> <http://www.wikidata.org/entity/Q3918> . OPTIONAL{ ?s <http://www.w3.org/2000/01/rdf-schema#label> ?label . FILTER(lang(?label)="ja") } } LIMIT 100 全てのデータが「日本語の名称」を持つと は限らないので，「名称の取得」を 必須でない（OPTINAL）とした例．クエリを実行 2020/8/26 27
- 28. より複雑な検索例 例３） 集約（グループ化）とカウントを利用したランキング 分類(P31)が大学(Q3918)となる主語(?s)と，その主語(?s)の国(P17) の目的語(?country)を取得する． さらに，取得した結果を目的語(?country)が同一のもので集約(グルー プ化)し， それぞれのグループに含まれる主語(?s)の数をカウントする． その結果「国ごとの大学の数のランキング」を取得できる． 2020/8/26 28 select ?country ?label (count(?s) AS ?c) where{ ?s <http://www.wikidata.org/prop/direct/P31> <http://www.wikidata.org/entity/Q3918> . ?s <http://www.wikidata.org/prop/direct/P17> ?country . OPTIONAL{ ?country <http://www.w3.org/2000/01/rdf-schema#label> ?label . FILTER(lang(?label)=“ja”) } } GROUP BY ?country ?label ORDER BY DESC(?c) ?country とその名称?label で集約（グループ化） 集約した，グループ ごとに主語(?s)の 数をカウント 結果を降順に並び変え クエリを実行
- 29. SPARQLの参考資料（１） SPARQL仕様（W3Cのドキュメント） SPARQL 1.1 Query Language https://www.w3.org/TR/sparql11-query/ SPARQLの解説本 オープンデータ時代の標準Web API SPARQL http://sparqlbook.jp/ SPARQLに関する解説記事 山本 泰智, 知識グラフ，セマンティックウェブを構成する RDFと問い合わせ言語SPARQL, 情報の科学と技術, 2020, 70 巻, 8 号, p. 392-398, https://doi.org/10.18919/jkg.70.8_392 古崎 晃司, ウェブの情報資源活用のための技術： ナレッジグラフとしてのLOD活用, 情報の科学と技術, 2020, 70 巻, 6 号, p. 303-308 https://doi.org/10.18919/jkg.70.6_303 Wikidataを例としたSPARQL演習スライド＋解説動画（ｂｙ古崎） https://github.com/KnowledgeGraphJapan/LOD-ws- 2020/blob/master/SPARQL/SPARQL-Practice-Wikidata.md 2020/8/26 http://sparqlbook.jp/より 29
- 30. SPARQLの参考資料（２） SPARQL入門スライド（ｂｙ古崎） DBpedia Japaneseを例にした解説 https://www.slideshare.net/KoujiKozaki/4lod 大阪市のオープンデータを例にした解説 https://www.slideshare.net/KoujiKozaki/apisparql 解説記事 DBpediaを使った都道府県別ランキング http://bit.ly/2oDPl0Q Wikidataを使った日本の政治家の出身大学ランキング http://bit.ly/2PBt8fn 技術書典 技術書典７，８にてSPARQL，LOD関係の本を頒布 https://techbookfest.org/event/tbf08/circle/5687828398735360?fbclid=IwAR30949R49r1gi PTNzA66f_BGB52T46JrU_qGhM_c9KIizmUA2YYdPzyyyA 技術書典９（9/12-22）にても配本予定 https://techbookfest.org/event/tbf09 2020/8/26 30
- 32. 日本語で使えるLODの例 ジービズインフォ（経済産業省） eStat 統計LOD国立国会図書館LOD DBpedia Ｗｉｋｉｄａｔａ JapanSearch 2020/8/26 32
- 35. LOD/Linked Dataの例 Web NDL Authorities https://id.ndl.go.jp/auth/ndla/ ・SPARQLエンドポイントあり ・参照解決可能 .rdf .ttl .json 2020/8/26 35
- 37. SPARQLを用いた アプリ開発 2020/8/26 37 SPARQL/LODを用いたアプリの例 SAPAQLをアプリ開発 ・基本構成 ・サンプルコード
- 40. ナレッジグラフ推論チャレンジ ナレッジグラフ推論チャレンジ（2018～） シャーロック・ホームズのような“推理”（推論）ができる AIシステムの開発を目指した技術コンテスト チャレンジのねらい 説明可能性（解釈可能性）を有するAI技術に関する最新技 術の促進・共有と，その分析・評価，体系化を行う． チャレンジの概要 ホームズ の推理小説 ナレッジグラフ（知識グラフ） としてデータ化 さまざまな知識/手法を用いて 事件の真相を推理し，理由を 説明するAIシステムの開発 捜査 手法 動機 DB …. 犯人はXX！ なぜなら… 動機は… トリックは… 公式サイト→「推論チャレンジ」で検索 2020/8/26 40
- 41. SPARQLを用いた アプリ開発 2020/8/26 41 SPARQL/LODを用いたアプリの例 SAPAQLをアプリ開発 ・基本構成 ・サンプルコード
- 42. SPARQLによるアプリ開発の 基本構成 SPARQLによるアプリ開発の基本的な手順 （１）SPARQLエンドポイントに「SPARQLクエリ」を用い て問合わせ エンドポイントのURLに対して，SPARQLクエリを付与して GET/POST等で問い合わせ （２）応答内容を解析 JSON/XMLなど，好みの形式で取得し解析 （３）解析結果を利用 結果の可視化，他のプログラムとの連携．．．など，任意の処 理を実行 SPARQL利用独自な部分をサンプルプログラム で理解すればよい （１）に用いるSPARQLクエリの作成 （２）応答結果の解析2020/8/26 42
- 43. SPARQLを用いたアプリ例① JavaScriptによるサンプル https://github.com/oecu-kozaki-lab/SPARQL-JS-Sample simpleSPARQL/simpleSPARQL-modern SPARQLクエリの結果を表形式で表示するサンプル https://oecu-kozaki-lab.github.io/SPARQL-JS-Sample/simpleSPARQL- modern/simple_sparql.html simpleQA テンプレートによる質問文を，SPARQLに変換してWikidataか ら答えを取得するサンプル https://oecu-kozaki-lab.github.io/SPARQL-JS- Sample/simpleQA/simple_sparql.html NLP-QA 簡単な質問文に対し，Wikidataを使って回答するサンプル https://oecu-kozaki-lab.github.io/SPARQL-JS- Sample/NLP-QA/ 2020/8/26 43
- 44. SPARQLを用いたアプリ例② Java（Jena利用）によるサンプル https://github.com/oecu-kozaki-lab/JavaRDFsample 実行には，RDF用ライブラリ「Apache Jena （https://jena.apache.org/）」が必要 readRDF.java RDFファイルを読み込み，別の形式で保存する． searchRDF.java 読み込んだRDFに対して，検索を行う searchRDFusingSPARQL.java 読み込んだRDFに対して，SPARQLで検索を行う． searchRDFfromSPARQLendpoint.java SPARQLエンドポイントに対してSPARQLで検索する． 2020/8/26 44
- 45. 参考資料 各種プログラム言語でのSPARQL利用のサン プルプログラム https://github.com/KnowledgeGraphJapan/sparql -library-examples RDFのチュートリアル資料 https://github.com/KnowledgeGraphJ apan/LODws2nd Jenaのハンズオン https://github.com/KnowledgeGraphJapan/LODws2nd/bl ob/master/ApacheJena%E3%83%8F%E3%83%B3%E3 %82%BA%E3%82%AA%E3%83%B3.pdf 2020/8/26 45