Sql server 需要输入数据库设计方法：为每个文本文件的单词编制索引，记住位置
我有以下设计问题： 假设我有100万个大小约为10KB的纯文本文件。我的目标是设计一种方法来存储所有单词的索引，这样我就可以将每个单词链接到一个特定的文本文件以及单词在该文件中的位置 例如：Sql server 需要输入数据库设计方法：为每个文本文件的单词编制索引，记住位置,sql-server,database-design,Sql Server,Database Design,我有以下设计问题： 假设我有100万个大小约为10KB的纯文本文件。我的目标是设计一种方法来存储所有单词的索引，这样我就可以将每个单词链接到一个特定的文本文件以及单词在该文件中的位置 例如： Text file X contents: "The quick brown fox jumps over the lazy dog" 0 1 2 3 4 5 6 7 8 Text file Y contents
Text file X contents: "The quick brown fox jumps over the lazy dog"
0 1 2 3 4 5 6 7 8
Text file Y contents: "Now is the time for all good men"
0 1 2 3 4 5 6 7
the => {X,0}, {X,6}, {Y,2}
quick => {X,1}
is => {Y,1}
.... and so on
想法？为了扔掉一些东西，创建一个表，每个文件有一行。使用
xml现在你可以把它扔掉了。我想试试这样的东西。。。创建一个具有word/file-id的关联表。每条记录都有两个id加上一个完全由0和1组成的字符串 举个例子：
Text file X contents: "The quick brown fox jumps over the lazy dog"
0 1 2 3 4 5 6 7 8
Text file Y contents: "Now is the time for all good men"
0 1 2 3 4 5 6 7
WordId | FileId | Position
the | X | 100001
the | Y | 001
quick | X | 01
is | Y | 01
....
WordId | FileId | Position |Occ
the | X | 100001 | 2
the | Y | 000001 | 1
quick | X | 01 | 1
is | Y | 01 | 1
....
在这种情况下，您会立即知道“the”在文件X中出现两次，而“quick”只会出现一次。这可能有助于构建距离计数例程。对于您正在做的事情来说，一个DB是多余的。您是否考虑过使用类似的或更轻的东西？ 您可能应该在后台创建一些工作线程来更新索引
有很多线程更新它。这将减少争用…假设您的纯文本文档只包含索引词（即没有标点符号之类的未索引部分，或者您满足于将标点符号包含在索引中），也许以下想法值得一试： 如您所见，没有单独的“文档”内容。“文档”和“索引”是一个整体，可以通过按适当顺序遍历文档单词并从单词中查找单词文本来动态重建文档 此模型有两个很好的特性：
- 数据不会在文档和索引之间重复，从而节省空间
- 同一个单词可以被许多文档共享——单词文本只存储一次，这节省了空间。这实际上是一种字典压缩
- DOCUMENT_WORD是一个很好的候选词，因此同一文档中的所有单词都存储在物理上接近的位置，这将使文档重建过程中的I/O最小化
- 通过一点连接，您可以在两个方向上进行查询：“获取给定位置上（或附近）的单词”或“获取给定单词的位置”
顺便说一句，如果您决定切换到Oracle，您可以使用领先的索引压缩和DOCUMENT\u WORD上的群集，以消除文档ID的重复并节省更多空间。您可以使用SQL Server来达到类似的效果。注释搞乱了代码格式，因此： 我将上面的帖子标记为答案，因为这是我设计的解决方案的核心。我将位置和单词id存储在xml列中，唯一的单词被规范化为单独的查找表。搜索时，我执行类似于以下内容的XPath查询：
m.WordIndex.query('
let $dummy := 0
return
<word_list>
{
for $w in /wi/w
where $w/@wid=1
return <word wid="1" pos="{data($w/p)}"/>
}
</word_list>
') as WordPosition
m.WordIndex.query（'
设$dummy:=0
返回
{
价格为$w in/wi/w
其中$w/@wid=1
返回
}
“）作为单词位置