SPARQLとMashup環境
0 likes514 views
Application Development Framework for Linked Open Data. Without coding, you can publicize your own data. And much more if you make a programming code.
SPARQLとMashup環境
- 1. SPARQLとMashup環境 年岡晃一 中部大学 LODチャレンジJapan実行委員 東海地区支部長 [email protected] SPARQLとMashup環境 2014/09/13 1 http://lodcu.cs.chubu.ac.jp/SparqlEPCU/ 2014/09/13
- 2. contents I. LOD開発の現況 II. LODとは III. プログラミング無しで 1. データ登録と更新 2. 検索 IV. プログラミングして独自のアプリ 1. マッシュアップ 2. サンプルコード V. SPARQLを学ぶ VI. さらに学ぶには SPARQLとMashup環境 2014/09/13 2
- 4. LOD構築の実際 SPARQLとMashup環境 2014/09/13 4 行政 学術機関 民間 民間・学術機関 データ作成者 RDFデータ公開者 アプリ開発者 SPARQL Endpoint提供者 SPARQL利用 RでもOK データ提供 データ収集 LinkData DBpedia DBpediaJapanese SparqlEPCU LODAC Museum ・・・ RDFstore Sparql Timeliner LOD Browser ・・・ エンドユーザー 多くはSPARQLコマンド画面を 用意している
- 5. LOD構築の実際 SPARQLとMashup環境 2014/09/13 5 行政 学術機関 民間 民間・学術機関 データ作成者 RDFデータ公開者 アプリ開発者 SPARQL Endpoint提供者 SPARQL csv,xls,xml csv,ttl LinkData csv,ttl DBpedia DBpediaJapanese SparqlEPCU LODAC Museum ・・・ RDFstore Sparql Timeliner LOD Browser ・・・ エンドユーザー GUI LOD catalog CKAN Fuseki virtuoso
- 6. II．Linked Open Data(LOD)とは SPARQLとMashup環境 2014/09/13 6 RDFとは (Resource Description Framework ) SPARQLとは (SPARQL Protocol and RDF Query Language)
- 7. RDFとは SPARQLとMashup環境 2014/09/13 7 名古屋 愛知 河村 橋本 県 市長 友人 グラフ表現による知識ネットワーク 実世界 メタデータ
- 8. rel:participant bibo:organizer RDF(Resource Description Framework) CodeForNagoya Meeting foaf:name 2014-09-27 http://codeForJapan.org/conf19 dc:date http://www.facebook.com/kawaguchi 河口信夫 foaf:name http://codeForeJapan.org/ http://www.facebook.com/miyauchi 宮内元 foaf:name CodeForNagoya foaf:name nco:representative foaf:knows 事物をURIで指定する 事物間の関係を意味的リンクで結ぶグラフでデータを表現する（モデル） 規則 ノードはURIで特定できる（世界で只１つ） プロパティもURIなので関係性の意味定 義も唯一が保証される WEB上の知識（リソース）を URIで特定し、「意味定義が唯一」が保証 された述語で表現していきましょうLOD SPARQLとMashup環境 2014/09/13 8
- 9. 検索 SPARQL select ?s, ?o where{ ?s 県 愛知 . ?s 市長 ?o . } SPARQLとMashup環境 2014/09/13 9 ?s 愛知 ?o 県 市長 検索はグラフ探索だが上記 テーブルの自己結合で出来る 愛知県にある市の市長は誰？ subject predicate object 名古屋 県 愛知 松阪 県 三重 千種 市 名古屋市 松本町 市 春日井市 担当教員 町 松本町 名古屋 市長 河村 松本町 町長 佐藤 このトリプルが知識の最少単位
- 14. CSV形式でＲＤＦ登録データを準備 • addCSV.html SPARQLとMashup環境 2014/09/13 14 @学生, 学籍, 名前, mail ID09038, 藤木 晋太郎, [email protected] ID09000, 青山 哲也, [email protected] ID09001, 伊藤 信士, [email protected] ID09002, 遠藤 京子, [email protected] クラス 属性 個々の データ _id 学籍 名前 学生 ID09xx 藤木ｘｘ fujiki@xx mailtype • 緯度、経度データを入れた い場合はmailなどの代わり にgeo:lat geo:longを入れる
- 15. SparqlEPCUにデータを登録 SPARQLとMashup環境 2014/09/13 15 @学生, 学籍, 名前, mail ID09038, 藤木 晋太郎, [email protected] ID09000, 青山 哲也, [email protected] ID09001, 伊藤 信士,[email protected] ID09002, 藤 京子,[email protected] ③データを貼り付ける ①データ登録タブを選択 ②データ形式を選択 ④登録ボタンクリック • コピーペーストまたはファイル転送 • N3,RDF/XML,Turtle,N-tripleなどのデータ形 式が使える
- 20. JavaScript APIをつかう RDFの登録 RDFの更新 RDFの削除 RDFの検索（SPARQL実行） SPARQLとMashup環境 2014/09/13 20 Zipを解凍してindex.htmlをダブルクリック
- 21. 開発にあたっての前提知識 • RDFに関する知識 • JavaScript, jQuery, JSON • RDF登録の入力データ形式 – CSV – TURTLE – N3 – RDF/XML – N-TRIPLE • RDFダウンロード – TURTLE – N3 – RDF/XML – N-TRIPLE SPARQLとMashup環境 2014/09/13 21
- 22. LOD登録script <script type="text/javascript"> //インスタンスの宣言 var rdfmgr = new RDFmgr( rdfserver_project ); function goData(){ rdfmgr.insertInstance({ // CSV形式のデータをSparqlEPCUに送信 rdfdata: $("#csvdata").val(), success: function(){ alert("成功しました。"); } , error: getErrorMsg, overwrite: false }); } //エラー表示用関数 function getErrorMsg ( eType,eMsg,eInfo ){ alert(eMsg+"¥n¥n"+eInfo); } </script> SPARQLとMashup環境 2014/09/13 22
- 23. LOD検索script function sparqlSend () { var stext = $(“#sparql”).val(); // 検索式を入力フィールドより持って来る rdfmgr.executeSparql ( { // SPARQL検索を行う sparql: stext, // 検索式 inference: false, // 推論を行うか行わないかを指定する success: maketable, // 処理が終わった時に表示関数を呼び出す指定 error: getErrorMsg // 例外が起きた時にエラー処理関数を呼び出す }); } function maketable(re) { // 検索結果のJSONデータを、イテレータを使用して取り出して表作成する $("#disp").empty(); var str = new String("<tr>"); for(var i=0; i<re.getKeyListLength();i++){ str += “<td>”+re.getKey(i)+“</td>”; } str += "</tr>"; while(re.next()) { for(var i=0; i < re.getLength();i++) { str += “<td><pre>”+re.getValue(i)+“</pre></td>”; } str += "</tr>"; } $("#disp").append(str); } SPARQLとMashup環境 2014/09/13 23 http://lodcu.cs.chubu.ac.jp/SparqlEPCU/RDFServer.jsp?reqtype=api&project= nagoyadata&query=select * where{?s ?p ?o}&output=JSON RDFmgr.jsのイテレー タを使うと簡単にデー タを取り出せる GET要求も簡単
- 25. APIs • CSV形式で登録されたインスタンスの操作 – rdfmgr.insertInstance() – rdfmgr.updateInstance() – rdfmgr.deleteInstance() • 検索 – rdfmgr.executeSparql () • ３つ組みとしての操作 – rdfmgr.insertStatement() – rdfmgr.updateStatement() – Rdfmgr.deleteStatement() SPARQLとMashup環境 2014/09/13 25
- 26. LOD Browserで検索してみる SPARQLとMashup環境 2014/09/13 26 緯度、経度情報があればgoogleマップ上に表示します。この画面で編集も出来ます。
- 27. SparqlEPCUの今後 • NamedGraphへの対応 • FederatedSearchへの対応 • GoogleRefineや語彙のNegotiation • ScaleOut SPARQLとMashup環境 2014/09/13 27
- 29. SPARQLの諸機能 • DISTINCT • COUNT • LIMIT OFFSET • OPTIONAL • ORDER BY • GROUP BY • FILTER SPARQLとMashup環境 2014/09/13 29 SPARQL 1.1の追加機能 • CONSTRUCT • ASK • DESCRIBE • NAMED GRAPH
- 30. 検索式の基本形式 SPARQLとMashup環境 2014/09/13 30 SELECT * WHERE { ?s ?p ?o . } 主 語 述 語 目 的 語 SELECT ?s ? p ?o WHERE { ?s ?p ?o . } SELECT ? p ?o WHERE { ?s ?p ?o . } 左と同じ 主語は結果表示 に含めない SELECT * WHERE { ?s ?p ?o . ?o ?p2 ?o2 . } 最後は ピリオド ?s ?o ?p ?s ?p ?o ?p2 ?o2
- 31. DISTINCT 重複を取り除く SPARQLとMashup環境 2014/09/13 31 select DISTINCT ?o where { ?s lodcu:駅 ?o } ?s 駅 ?o
- 32. COUNT データ総数を返す SPARQLとMashup環境 2014/09/13 32 select (count(?o) as ?c) where { ?s lodcu:駅 ?o } ?s 駅 ?o select (count( distinct ?o) as ?c) where { ?s lodcu:駅 ?o } 上記では同じ駅が何回でも出て来るの で重複を取り除いてから数える 集約関数 他にSUM,AVG,MAX.MINなども select (count(?s) as ?c) where { ?s ?p ?o } すべてのトリプルを数える
- 33. LIMIT OFFSET 出力数を制限する SPARQLとMashup環境 2014/09/13 33 SELECT * WHERE { ?s ?p ?o . } LIMIT 5 offset 10 ?s ?p ?o
- 34. ORDER BY 順に並べる SPARQLとMashup環境 2014/09/13 34 SELECT * WHERE {?s ?p ?o . } ORDER BY ?o ?s ?p ?o 降順なら ORDER BY DESC( ?o)
- 35. FILTER SPARQLとMashup環境 2014/09/13 35 SELECT * WHERE { ?s ?p ?o . FILTER (?o >2 && ?o <5) } ?s ?p ?o 条件で絞り込む 緯度、経度の範囲を 指定するなどで便利
- 36. FILTER + regex SPARQLとMashup環境 2014/09/13 36 select * where { ?s ?p ?o. FILTER ( regex(?o,"名", "i")) } ? s?p ?o 文字列検索
- 37. OPTIONAL SPARQLとMashup環境 2014/09/13 37 SELECT * WHERE { ?s rdfs:label ?o . OPTIONAL{ ?s lodcu:TEL ?o2 . } } 在ればそれも出すという付帯的な条件 ラベル付きが必須だが、電話が 無くてもリストには出る。 外部結合に相当する ? s?p ?o
- 38. GROUP BY+ count グループごとに集約関数 SPARQLとMashup環境 2014/09/13 38 SELECT ?o (count(?s) as ?cnt) WHERE {?s lodcu:駅 ?o . } GROUP BY ?o ?s ?p ?o
- 39. BIND 結果を別変数にする SPARQLとMashup環境 2014/09/13 39 select distinct ?o ?strlen where { ?s lodcu:駅 ?o . BIND (STRLEN(?o) as ?strlen) } order by desc(?strlen) ?s ?p ?o
- 40. 他にもいろいろ有り • 多言語用にラベルを用意 • 深いパスへの探索 • 複数LODサイトにSPARQLを実行してもらう SPARQLとMashup環境 2014/09/13 40
- 42. SPARQLを勉強する • W3C勧告 – SPARQL 1.0：http://www.w3.org/TR/rdf-sparql-query/ – SPARQL 1.1：http://www.w3.org/TR/sparql11-query/ • 書籍 – Learning SPARQL（英語） http://www.amazon.co.jp/dp/1449306594 • SPARQLエンドポイント集 – datahub api/sparql http://datahub.io/dataset?q=&res_format=api/sparql – SPARQL Endpoints Status http://sparqles.okfn.org/availability • サンプルクエリ集 – LODAC SPARQLスニペット（LODAC Museumで試せます） http://lod.ac/wiki/SPARQLスニペット SPARQLとMashup環境 2014/09/13 42 青山学院大 松村冬子氏の資料より
- 43. SPARQLエンドポイント • 相模原市の小・中学校など（SparqlEPCU） – http://lodcu.cs.chubu.ac.jp/SparqlEPCU/project.jsp?proj ectID=sagamihara_school • DBpedia Japanese（日本語WikipediaのLOD） – http://ja.dbpedia.org/sparql • LODAC Museum（国内の博物館情報のLOD） – http://lod.ac/sparql • LODAC Species（生物多様性情報のLOD） – http://lod.ac/species/sparql SPARQLとMashup環境 2014/09/13 43 http://uedayou.net/sparql- examples/sgvizler/sgvizler-sample.html
- 44. 可視化 SPARQLとMashup環境 2014/09/13 44 • Timeliner http://uedayou.net/SPARQLTimeliner/university/ • Gephi http://uedayou.net/sparql-examples/sgvizler/sgvizler-sample.html 上田洋氏資料から
- 45. Thank you SPARQLとMashup環境 2014/09/13 45 この資料では、松村冬子さん、上田洋さんの slideshare資料の一部を参考に使わせて頂きました。