Function Python中的Azure函数获取拼花地板文件的模式
是否可以在Python中使用Azure函数获取拼花地板文件的模式,而无需从datalake下载文件?我使用BlobStorageClient连接到datalake并获取文件和容器,但我不知道如何使用pyarrow等来调度命令 关于pyarrow:Function Python中的Azure函数获取拼花地板文件的模式,function,azure-data-lake,pyarrow,Function,Azure Data Lake,Pyarrow,是否可以在Python中使用Azure函数获取拼花地板文件的模式,而无需从datalake下载文件?我使用BlobStorageClient连接到datalake并获取文件和容器,但我不知道如何使用pyarrow等来调度命令 关于pyarrow: BlobStorageClient:可以读取拼花图案和拼花元数据,而无需使用和读取文件内容: 关于这个问题,请参考以下脚本 import pyarrow.parquet as pq import io from azure.storage.blob i
BlobStorageClient:可以读取拼花图案和拼花元数据,而无需使用和读取文件内容:
关于这个问题,请参考以下脚本
import pyarrow.parquet as pq
import io
from azure.storage.blob import BlobServiceClient
blob_service_client = BlobServiceClient.from_connection_string(conn_str)
container_client = blob_service_client.get_container_client('test')
blob_client = container_client.get_blob_client('test.parquet')
with io.BytesIO() as f:
download_stream = blob_client.download_blob(0)
download_stream.readinto(f)
schema = pq.read_schema(f)
print(schema)
您是否介意使用stream来实现它?如果它对您有用,您可以吗?
import pyarrow.parquet as pq
import io
from azure.storage.blob import BlobServiceClient
blob_service_client = BlobServiceClient.from_connection_string(conn_str)
container_client = blob_service_client.get_container_client('test')
blob_client = container_client.get_blob_client('test.parquet')
with io.BytesIO() as f:
download_stream = blob_client.download_blob(0)
download_stream.readinto(f)
schema = pq.read_schema(f)
print(schema)