Mysql 如何从句子的大栏中列出不同的单词_Mysql_Sql

Mysql 如何从句子的大栏中列出不同的单词

mysql sql

Mysql 如何从句子的大栏中列出不同的单词,mysql,sql,Mysql,Sql,我有一个很大的句子列表，大约有1800万条记录（2gb）我想用所有不同的单词做一张新桌子 id word --------------------------- 1 Hi 2 my 3 name ... 考虑到大型数据库和执行时间，提出请求的最佳方式是什么？所有句子都有全文索引。这可能有些疯狂/幼稚/不可能-但您可以尝试：使用将所有数据转储到文本文件中，并从旧表中选择txt到输出文件“file\u name” 用合适的文

我有一个很大的句子列表，大约有1800万条记录（2gb）

我想用所有不同的单词做一张新桌子

id       word
---------------------------
1        Hi 
2        my
3        name  
   ...

考虑到大型数据库和执行时间，提出请求的最佳方式是什么？

所有句子都有全文索引。

这可能有些疯狂/幼稚/不可能-但您可以尝试：

使用

将所有数据转储到文本文件中，并从旧表中选择txt到输出文件“file\u name”

用合适的文本编辑器打开文件
查找并替换所有不需要的字符（如
```
，！？
```
）
查找所有空格并将其替换为
```
\n
```

创建表字（word VARCHAR（50）主键）

从文件导入数据忽略重复项：

加载数据填充“file\u name”忽略到表字中

更改表格以添加
```
id
```
列或使用
```
INSERT。。选择..
```
将数据复制到新表中

这可能很疯狂/幼稚/不可能-但你可以尝试：

使用

将所有数据转储到文本文件中，并从旧表中选择txt到输出文件“file\u name”

用合适的文本编辑器打开文件
查找并替换所有不需要的字符（如
```
，！？
```
）
查找所有空格并将其替换为
```
\n
```

创建表字（word VARCHAR（50）主键）

从文件导入数据忽略重复项：

加载数据填充“file\u name”忽略到表字中

更改表格以添加
```
id
```
列或使用
```
INSERT。。选择..
```
将数据复制到新表中

select substring_index(txt, ' ', 1) as word
from t
union all
select substring_index(substring_index(txt, ' ', 2), ' ', -1) as word
from t
where txt like '% %'
union all
select substring_index(substring_index(txt, ' ', 3), ' ', -1) as word
from t
where txt like '% % %'
union ll
. . .

select substring_index(txt, ' ', 1) as word
from t
union all
select substring_index(substring_index(txt, ' ', 2), ' ', -1) as word
from t
where txt like '% %'
union all
select substring_index(substring_index(txt, ' ', 3), ' ', -1) as word
from t
where txt like '% % %'
union ll
. . .