Python pandas 如果在转换为数据帧之前检测到，则删除页眉和页脚记录

Question

我正在尝试在处理数据之前清理数据。以下是 .txt 文件格式的我的数据示例

输入

20210320
Name|email|age|books|return-date
yuzu|yuzu@gmail.com|23|2020-09-23
apple|apple@gmail.com|27|2021-01-34
Total generated records: 2 rows 
Exported on 2021-03-20

输出 - 将通过使用 |

拆分转换为数据帧

Name|email|age|books|return-date
yuzu|yuzu@gmail.com|23|2020-09-23
apple|apple@gmail.com|27|2021-01-34

如何使用 python 删除页眉和页脚记录？由于我将处理多个文件并且页眉和页脚可能不会总是出现，代码需要能够检测并删除它是否在文本文件中。

感谢任何帮助！

Answer 1

考虑到所需行包含“|”这一事实分隔符，您可以使用此代码：

f = open("filename.txt",'r',encoding = 'utf-8')
for line in f:
    if '|' not in line:
        continue
    else:
        print(line)

输出

Name|email|age|books|return-date

yuzu|yuzu@gmail.com|23|2020-09-23

apple|apple@gmail.com|27|2021-01-34

如果你想删除每行之后的新行，你可以使用 print(line.strip())

输出

Name|email|age|books|return-date
yuzu|yuzu@gmail.com|23|2020-09-23
apple|apple@gmail.com|27|2021-01-34

Answer 2

我想这就是答案。如果您告诉我您的列的名称是什么，我也可以编辑这些列。

df = pd.read_csv("yourfilename.txt", skiprows=1,skipfooter=2)

Python pandas 如果在转换为数据帧之前检测到，则删除页眉和页脚记录

Python pandas to remove header and footer records if detected before converting to dataframe

python

dataframe

python-3.x

pandas

data-cleaning