Python 从pandas网站上读取大型数据集只能返回1000行？

我试图通过玩开放数据来提高我的熊猫技能

我想直接从网站上分块获取数据，只过滤2017年3月发生的行。当我出于某种我不理解的原因尝试这样做时，只下载了1000行

pd.read\u csv（）

似乎没有下载整个文件。似乎只有文件的前1000行得到处理

如何处理整个文件

我已经阅读了如何使用

pd.read\u csv（）

分块下载数据，然后对其进行迭代。我玩过chunksize，但没用。我仍然只有大约1000行

chunk_list = []

for chunk in pd.read_csv("https://data.cityofnewyork.us/resource/biws-g3hs.csv", chunksize=100000):

    chunk["tpep_pickup_datetime"] =pd.to_datetime(chunk["tpep_pickup_datetime"], format='%Y-%m-%d')
    chunk["tpep_dropoff_datetime"]=pd.to_datetime(chunk["tpep_dropoff_datetime"], format='%Y-%m-%d')
    chunk_filter=chunk[(chunk["tpep_pickup_datetime"]>="2017-03-01")&(chunk["tpep_pickup_datetime"]<"2017-04-01")]

    # Once the data filtering is done, append the chunk to list
    chunk_list.append(chunk_filter)

df_concat = pd.concat(chunk_list,ignore_index=True)       

df_concat.info()

我必须在哪里调整代码以处理所有行

---

谢谢

问题不在于阅读。但是关于来源

您可以手动下载并读取文件本身（“”），它只有1000行长

您应改为使用此链接：

pd.read_csv("https://data.cityofnewyork.us/api/views/biws-g3hs/rows.csv?accessType=DOWNLOAD", chunksize=100000)

---

或者最好下载并在本地解析它

问题不在于阅读。但是关于来源

您可以手动下载并读取文件本身（“”），它只有1000行长

您应改为使用此链接：

pd.read_csv("https://data.cityofnewyork.us/api/views/biws-g3hs/rows.csv?accessType=DOWNLOAD", chunksize=100000)

---

或者最好下载它并在本地解析它

您最好下载整个文件并分块读取。这看起来与网站上的分页有冲突。你最好下载整个文件并分块阅读。这看起来与站点上的分页冲突。