Semantics
Open data
April 2016 26

Из командной строки за знаниями


Один из наиболее распространенных стандартов работы с базами знаний являются представление RDF и язык запросов SPARQL. Доступ к базе обычно осуществляется через SPARQL-endpoint по протоколу HTTP (Jena и Sesame могут использоваться как встраиваемые базы, например через обертку banana-rdf, а к Virtuoso можно обращаться так же по ODBC, добавив к строке запроса префикс 'SPARQL ').
Есть много открытых «точек доступа SPARQL» — по wikipedia DBpedia, большой набор биологических баз знаний, геоданные.
К endpoint, как правило, прилагается web-интерфейс, но браузер — это слишком громоздко, и мы хотим обращаться к ним напрямую из командной строки!

Для серьезной работы можно воспользоваться готовыми библиотеками, существующими под многие языки, в том числе и ориентированные на анализ данных (например R). Нас же интересует возможность быстро составить запрос для получения информации или отладки самого запроса.

Язык запросов SPARQL синтаксически похож на SQL, а по семантике — на Prolog. Знания представляются неким подобием графа «с пометками» на узлах и ребрах. «Пометки» обычно представляют из себя URL (который не обязан ни куда вести), а вершины без исходящих ребер — еще и типизированные данные. В SELECT задается шаблон подграфа и список полей этого шаблона, которые нас интересуют.

В Unix-like операционных системах (например Windows 10) можно использовать bash, curl и специальный пакет jq для работы с json:
curl -H "Accept: application/sparql-results+json" "http://data.semanticweb.org/sparql?query=PREFIX%20foaf%3A%20%3Chttp%3A%2F%2Fxmlns.com%2Ffoaf%2F0.1%2F%3E%0ASELECT%20DISTINCT%20%3Fperson%20%3Fname%0AWHERE%20%7B%20%3Fperson%20a%20foaf%3APerson%3B%0Afoaf%3Aname%20%3Fname%20%7D%20LIMIT%2010" | jq .results.bindings

Использование PowerShell позволяет делать все это более по человечески.
Опишем функцию, делающую запрос на получение данных к SPARQL-серверу:
function sparql_raw([String]$query, [String]$endpoint, [String]$graph="", [String]$prefix="", [String]$format="application/sparql-results+json") {
  $dg = if ($graph -eq "") {
    ""
  } else {
    "default-graph-uri=$([uri]::EscapeDataString($graph))&"
  }
  $req = "${endpoint}?${dg}query=$([uri]::EscapeDataString($prefix+$query))&format=$([uri]::EscapeDataString($format))"
  Invoke-RestMethod -Headers @{"Accept"=$format} -uri $req
}

Для удобства можно задать параметры по умолчанию.
function prefixes([String]$key) {
  "PREFIX xsd: <http://www.w3.org/2001/XMLSchema#>"
}

function defaultGraph([String]$key) {
  switch -Regex ($key) {
   "http://dbpedia.org/sparql" { "http://dbpedia.org" }
   default { "" }
  }
}

function sparql_raw([String]$query, [String]$endpoint="http://dbpedia.org/sparql", [String]$graph=(defaultGraph $endpoint), [String]$prefix=(prefixes $endpoint), [String]$format="application/sparql-results+json") {
  $dg = if ($graph -eq "") {
    ""
  } else {
    "default-graph-uri=$([uri]::EscapeDataString($graph))&"
  }
  $req = "${endpoint}?${dg}query=$([uri]::EscapeDataString($prefix+$query))&format=$([uri]::EscapeDataString($format))"
  Invoke-RestMethod -Headers @{"Accept"=$format} -uri $req

}

Помимо строки запроса, она получает URL сервера, используемый по умолчанию граф (аналог имени базы данных в традиционных СУБД) и ожидаемого формата ответа. Стандарт описывает множество допустимых форматов, от html, до csv, я выбрал самый простой с сохранением метаинформации.
Ответ выглядит примерно так:
{
        "head": {
                "vars": [ "person", "name" ]
        },
        "results": {
                "bindings": [
                        {
                                "person": { "type": "uri", "value": "http:\/\/kantenwerk.org\/metadata\/foaf.rdf#me" },
                                "name": { "type": "literal", "value": "Knud Möller" }
                        },
                        {
                                "person": { "type": "uri", "value": "http:\/\/tomheath.com\/id\/me" },
                                "name": { "type": "literal", "value": "Tom Heath" }
                        }
                ]
        }
}

Формат ответа некоторые сервера ожидают в параметрах GET-запроса, а некоторые — в заголовке Accept. Наша функция, на всякий случай, передает его и там, и там.

Теперь можно представить ответ в читабельном виде:
function sparql_light([String]$query, [String]$endpoint="http://dbpedia.org/sparql", [String]$graph=(defaultGraph $endpoint)) {
  $res = (sparql_raw -format 'application/sparql-results+json' $query $endpoint $graph)
  $vars = $res.head.vars
  $r = $res.results.bindings
  foreach ($i in $r) {
    $h = @{}
    foreach ($n in $vars) {
      $h[$n] = $i.$n.value
    }
    new-object PSCustomObject -Property $h
  }
}


Теперь мы можем узнать много нового не отрываясь от терминала!

Выяснить в каких метаболических путях какие вещества участвуют:
sparql_light -endpoint "http://kegg.bio2rdf.org/sparql" '
   select distinct ?subst ?path
   where {
     ?x <http://bio2rdf.org/kegg_vocabulary:interaction> ?y.
     ?x <http://bio2rdf.org/kegg_vocabulary:pathway>?p.
     ?p <http://purl.org/dc/terms/title> ?path.
     ?y <http://purl.org/dc/terms/title> ?subst.
} LIMIT 100'


Или какие данные в Википедии есть про Лондон:
sparql_light '
  select distinct ?label ?type ?value
  where {
   ?x ?p <http://en.wikipedia.org/wiki/London>.
   ?x ?y ?value.
   BIND(DATATYPE(?value) as ?type).
   FILTER(bound(?type)).
   ?y <http://www.w3.org/2000/01/rdf-schema#label> ?label.
   FILTER (LANG(?label) = "en" ).
   FILTER (not exists {?x ?y ?a. ?x ?y ?b. FILTER(?a != ?b).}).
}'


Получить список хакспейсов:
sparql_light -endpoint "http://linkedgeodata.org/sparql" -graph "http://linkedgeodata.org" "
  select ?name ?addr ?home
  where {
   ?x a <http://linkedgeodata.org/ontology/Hackerspace>.
   ?x <http://linkedgeodata.org/ontology/addr%3Acity> ?addr.
   ?x <http://xmlns.com/foaf/0.1/homepage> ?home.
   ?x <http://www.w3.org/2000/01/rdf-schema#label> ?name.
 } limit 100"


Узнать кто аффелирован не IBM Research:
sparql_light -endpoint "http://data.semanticweb.org/sparql" '
  PREFIX foaf: <http://xmlns.com/foaf/0.1/>
  PREFIX swrc: <http://swrc.ontoware.org/ontology#>
  SELECT DISTINCT ?person ?affiliation
  WHERE {
   ?personid a foaf:Person.
   ?personid swrc:affiliation $affiliationid.
   ?perfonid foaf:name ?person.
   ?affiliationid foaf:name ?affiliation.
   filter( ?affiliation != "IBM Research" && ?affiliation != "IBM Research Laboratory")
} limit 100'


А вы какие интересные запросы придумали?
Удачи в добыче знаний!

0
3.5k 21
Comments 3
Top of the day