Python字符串处理SQL数据库中的分类数据

Python字符串处理SQL数据库中的分类数据,python,database,pandas,categorical-data,Python,Database,Pandas,Categorical Data,我有一个大的数据集,我需要读入一个数据框 它包含许多分类数据,包括一些相当长的字符串 尝试使用pandas read\u sql\u查询方法时,我似乎无法指定哪些列应被视为分类数据 这意味着我有内存问题 我有R方面的背景,在那里我可以指定字符串作为因子。这意味着您可以使用内存占用很小的长字符串,因为它们在R中被索引为整数。我不能在Python/Pandas中也这样做吗 我想这样做,因为我从数据库读取数据!以后不要了。一旦在数据帧中有了字符串,在pandas中将其转换为category就很容易了,

我有一个大的数据集,我需要读入一个数据框

它包含许多分类数据,包括一些相当长的字符串

尝试使用pandas read\u sql\u查询方法时,我似乎无法指定哪些列应被视为分类数据

这意味着我有内存问题

我有R方面的背景,在那里我可以指定字符串作为因子。这意味着您可以使用内存占用很小的长字符串,因为它们在R中被索引为整数。我不能在Python/Pandas中也这样做吗

我想这样做,因为我从数据库读取数据!以后不要了。一旦在数据帧中有了字符串,在pandas中将其转换为category就很容易了,但这不是我想要的


我知道我可以简单地在数据库中对数据进行编码,但我希望避免这种情况。

恐怕目前在数据库端进行编码(这可以通过使用映射表连接来实现)是唯一可行的选择

有几个类似的功能请求:


读取块中的数据并将每个块转换为
类别
dtype可能很棘手,因为可能需要从所有块中加入类别。

谢谢。我有点难过,现在还没有。一般来说,pandas中的整个类型映射看起来有点粗略,而R中可以创建字典在任何类型之间进行转换。哦,我得等一下。我会试着看看成片大小,也许我可以自己做一个包装。