Pandas .DAT 文件导入错误，带有跳过行

Question

我正在尝试将一个巨大的数据文件分解成更小的部分。我正在使用以下脚本 -

 df = pd.read_csv(file_name, header=None,encoding='latin1',sep='\t',nrows=100000, skiprows = 100000)

但我看到 skip rows 参数跳过了大约 200000 行而不是 100000 行谁能告诉我为什么会这样

Answer 1

感谢@EdChum，我能够通过以下代码使用 chunksize 解决问题：-

i = 0
tp = pd.read_csv(filename,header=None,encoding='latin1', sep='\t', iterator=True, chunksize=1000000)
for c in tp:
    ca = pd.DataFrame(c)
    ca.to_csv (file_destination +str(i)+'test.csv', index = False, header = False)
    i = i+1

Pandas .DAT 文件导入错误，带有跳过行

Pandas .DAT file import error with skip rows

python

import

data-files

pandas