Python 如何将未知数据类型保存到数据库?

Python 如何将未知数据类型保存到数据库?,python,sql,pandas,postgresql,dataframe,Python,Sql,Pandas,Postgresql,Dataframe,我正在准备一个熊猫数据分析程序。用户将数据从excel文件传输到程序。从Excel文件中提取的列名不断变化。因此,我不知道将记录在数据库中的列名和数据类型。如何在数据库中保存不熟悉的数据类型。我使用的数据库是postqresql。只有理解了逻辑,我才能前进。非常感谢。关系数据库不适合存储数据,不符合固定模式 我看到两种选择: 在将数据插入数据库之前,请分析现有数据并创建一个适合这些数据的新表 问题是如何处理PostgreSQL中的所有这些表 使用带有jsonb列的表(当然不仅仅是这个列;您至

我正在准备一个熊猫数据分析程序。用户将数据从excel文件传输到程序。从Excel文件中提取的列名不断变化。因此,我不知道将记录在数据库中的列名和数据类型。如何在数据库中保存不熟悉的数据类型。我使用的数据库是postqresql。只有理解了逻辑,我才能前进。非常感谢。

关系数据库不适合存储数据,不符合固定模式

我看到两种选择:

  • 在将数据插入数据库之前,请分析现有数据并创建一个适合这些数据的新表

    问题是如何处理PostgreSQL中的所有这些表

  • 使用带有
    jsonb
    列的表(当然不仅仅是这个列;您至少需要一个主键),并将您拥有的数据格式化为JSON

    问题是如何处理这些随机数据


您基本上是在读取时查找模式。传统的RDBMS是写模式。所以事情的顺序是Excel-->熊猫-->Postgres,对吗?。熊猫部分正在做什么?在研究生部分做了什么?您将使用
CSV
和/或使用
pandas.to_sql
进行传输吗?它可以是任何文件类型。我还可以从数据库中获取数据,作为从
CSV
SQL
的工具示例,请参见。如果没有数据来源和去向的流程图,这个问题将无法得到任何有用的答案。特别是关于从数据本身推断数据类型的部分。可以说,它在某种程度上是可以实现的,因为
ETL
()就是基于此。归根结底,我想我离主题太远了。你是对的。Postgresql不是存储未知数据类型的好选择。你说的很合乎逻辑。我想我需要使用像mongodb这样的数据库。pivot或group_by操作将使用这个数据完成,实际上我是这么想的。注册数据库时如何确定数据类型?您可以从输入数据中获取数据类型,对吗?我不是说你不应该选择PostgreSQL。我认为在MongoDB中存储这样的数据可能“更自然”,但基本问题仍然是:如何理解并从完全非结构化的数据中提取有用的信息?