C++ 为什么本地服务器上的Sparql端点不返回给定类型的完整实体集？ 介绍

我已将freebase上载到。数据库位于以下服务器上：。我想提取类型为common.topic的所有实体的描述

---

C++类 为了访问数据库，我正在使用

curlpp

和

c++

。我很确定这不是这个班的问题。不管怎样我都会把它寄出去

#include "SparqlQuery.h"

#include <curlpp/cURLpp.hpp>
#include <curlpp/Easy.hpp>
#include <curlpp/Options.hpp>
#include <curlpp/Exception.hpp>
#include <sstream>
#include <fstream>

using namespace std;

SparqlQuery::SparqlQuery(const string & query, const string & url):_query(query),_url(url){}

size_t  WriteCallback(void *contents, size_t size, size_t nmemb, void *userp)
{
    ((std::string*)userp)->append((char*)contents, size * nmemb);
    return size * nmemb;
}

string SparqlQuery::retrieveInformations()
{
    CURL *curl;
    CURLcode res;
    curl = curl_easy_init();
    cout << _url << endl;
    string readBuffer = "";
    if(curl)
    {
        //convert string query to URL format
        char * parameters = curl_easy_escape(curl, _query.c_str(), (int)_query.size());

        //Format query according to the sparql endpoint site
        string query = "query=";
        string tothis(parameters);
        string buffer = query + tothis;

        curl_free(parameters);

        //Launch query and retrieve informations in form of an xml structure
        curl_easy_setopt(curl, CURLOPT_URL, _url.c_str());
        curl_easy_setopt(curl, CURLOPT_POSTFIELDS, buffer.c_str());
        curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, WriteCallback);
        curl_easy_setopt(curl, CURLOPT_WRITEDATA, &readBuffer);
        res = curl_easy_perform(curl);
        curl_easy_cleanup(curl);
    }
    return readBuffer;
}

我还有一个问题。我怎么知道我是否越过了最远的限制？希望我不会得到重复的结果

void Freebase::loadData()
{
  cout <<"loading data" << endl;
  string serverURL = "http://SERVER_SPARQL:8890/sparql";
  string query = "select ?head, ?description where { ?head <http://www.w3.org/1999/02/22-rdf-syntax-ns#type> <http://rdf.basekb.com/ns/common.topic>.?head <http://rdf.basekb.com/ns/common.topic.description>  ?description.}";

  SparqlQuery sparql(query, serverURL);
  string result = sparql.retrieveInformations();
  cout << result << endl;
}

---

---

您正通过以下方式限制sparql查询：

LIMIT 10

---

首先，所有具有

common.topic.description

属性的实体都将是

common.topic

类型，因此对于许多应用程序来说，一种更简单的方法是在源RDF文件上使用

grep

来查找所有具有

common.topic.description

三元组的行

这将在几分钟而不是几小时内给你答案

---

如果您想坚持使用SPARQL，请尝试向查询中添加

LIMIT

和

OFFSET

子句，并进行迭代以获得所有结果（如Joshua Taylor所述，但隐藏在注释中）。

通过HTTP使用SPARQL时，Virtuoso似乎对您的查询和结果集的构造方式施加了很多限制。我经常听到但不能真正理解的是，最大结果集大小（尽管有

virtuoso.ini

settings）似乎是1M行

遗憾的是，在Virtuoso端点上运行SPARQL查询有几种不太“开放”的方法，它们不受这些限制

如果您不需要以编程方式一次又一次地执行此操作，并且您可以控制服务器，那么我可能首先尝试的是：尝试在

isql

/

isql vt

命令行界面中运行查询。您可以从那里运行sparql查询，如下所示：

sparql select * {?s ?p ?o} limit 10;

似乎还有一个

CSV

变量，您可以将其设置为获得类似于“CSV”的输出，但请注意

---

其他选项是ODBC/JDBC连接器，例如，与正在使用的连接器类似。

即使没有限制10，也无法提供完整的结果集。我不明白it@HaniGoc四千三百万的结果是一个很大的回报。我不希望大多数SPARQL端点都允许您一次获取所有这些端点。您需要使用OFFSET/LIMIT/orderby。@JoshuaTaylor实际上很遗憾，即使是OFFSET+LIMIT+orderby分页似乎也不能让您超过某些限制。我在本地端点上进行了尝试，但通过这种分页从未获得超过1.5m的结果。一位大师级的开发人员告诉我们的团队，如果我们想进行这类查询，可以使用命令行/jdbc驱动程序。

应该使用scape

和

抓取所有seeal

很可能不是您想要的基于示例中的属性，看起来您实际上使用的是BaseKB，而不是Freebase。虽然它应用了预处理和清理，这通常很有用，但您可能希望查看应用的转换，以便了解它与原始Freebase data.true的区别，并遵循。。。但是只有在“简单”的查询中才真正可行…@Tom Morris我放弃了我正在使用下面的命令

riota-m-*.nt |\grep'

我记得你曾经告诉过我这件事。我将阅读包含主题的所有文件a-m-*.nt。从a-m-00000.nt到a-m-00028.ntit快得多

for(int offset = 1000; ;offset += 1000 )
  {
    string query = "PREFIX basekb:<http://rdf.basekb.com/ns/> PREFIX rdf:<http://www.w3.org/1999/02/22-rdf-syntax-ns#> PREFIX rdfs:<http://www.w3.org/2000/01/rdf-schema#> select distinct ?head ?label where { ?head rdf:type basekb:common.topic. ?head rdfs:label ?label}LIMIT 1000 OFFSET " + std::to_string(offset) ;
    SparqlQuery sparql(query, _serverURL);
    string result = sparql.retrieveInformations();
    cout << result << endl;
  }

LIMIT 10

sparql select * {?s ?p ?o} limit 10;