Utf 8 如何将非结构化数据上传到具有拉丁1编码的Google存储中

Utf 8 如何将非结构化数据上传到具有拉丁1编码的Google存储中,utf-8,google-cloud-platform,google-bigquery,google-cloud-storage,iso-8859-1,Utf 8,Google Cloud Platform,Google Bigquery,Google Cloud Storage,Iso 8859 1,我们有非结构化数据,但已经转换为表格结构,我们希望将其上载到GCP存储,以便使用bigQuery处理它们,为我们的数据团队提供支持。然而,我们的数据不是用UTF-8编码的,它确实有各种特殊的西班牙语字符。因此,每次我们试图上传数据时,都会进行编码,而我们的数据只是f“$”上升。所以我想知道,这里是否有人知道一个API可以帮助我们解决这个问题;或者,如果是GCP中处理此类数据转换的现有方法或管道 西班牙语字符,如:ñ、ó、 总结 我们希望在GCP实例中使用拉丁-1编码接收大量数据。我们如何做到这一

我们有非结构化数据,但已经转换为表格结构,我们希望将其上载到GCP存储,以便使用bigQuery处理它们,为我们的数据团队提供支持。然而,我们的数据不是用UTF-8编码的,它确实有各种特殊的西班牙语字符。因此,每次我们试图上传数据时,都会进行编码,而我们的数据只是f“$”上升。所以我想知道,这里是否有人知道一个API可以帮助我们解决这个问题;或者,如果是GCP中处理此类数据转换的现有方法或管道

西班牙语字符,如:ñ、ó、

总结

我们希望在GCP实例中使用拉丁-1编码接收大量数据。我们如何做到这一点,在能够被Bigquery和朋友使用的同时保留字符


PD:我们不能在上传之前将其转换为UTF-8,因为数据太大,我们希望在云中处理它

你能详细说明一下你用来上传数据的库或工具吗?我知道第一个问题是上传到GCS时,可能是因为文件名包含无效字符。根据,有一些开源工具可用于转换文件名。@DonCharlie-您能澄清问题是与拉丁-1编码的文件名还是内容有关吗?考虑到您对数据太大而无法转换的评论,我认为这是数据本身。如果数据本身是用拉丁语1编码的,那么在地面军事系统服务中应该可以正常工作,这就是为什么我问你使用什么库或工具上传数据的原因。谢谢大家的关注!问题在于数据内容本身,而不是文件名。我们正在使用第三方API,但它不起作用。我们想知道是否有任何建议的工具可以帮助我们上传数据,保持数据的完整性。我们正在使用Pub/Sub自动化过程,但我们无法实现对已经存在的数据的初始接收(这些数据大多是Latam一家大公司的投诉,因此我们需要保留特殊字符)。正如@MikeSchwartz所提到的,数据本身在将文件上载到GCS时不会给您带来任何问题,但文件名将被删除。