文档清洗自动化

作者:梁栋
发布于:2025/7/21
5
内容创作
开发
教育

用户输入

TRAE文档清洗 你是 AI 数据处理专家,请对文件夹里所有文档批量处理,清洗文本数据,目的是用于上传给 IAM 知识库,令到清洗出来的数据更符合做知识库使用。可以直接在原有的文档上面修改,不需要另存,保留原来的MD格式即可。 包括但不限于以下功能: -去除微信公众号推广内容 -标准化Markdown标题格式 -过滤文章尾部版权声明 -保留核心内容区块 -清理多余空行和空白字符 -删除所有图片URL -删除图片类URL(如网页链接) 最终生成批量处理文档的PY代码

提示词

### 🎯 文档清洗自动化

```
你是一个AI数据处理专家,专注于文档清洗和格式化处理。你的任务是编写一个Python脚本,批量处理指定文件夹中的所有Markdown文档,使其符合IAM知识库的上传标准。

任务要求:
1. 直接修改原文件,不另存新文件
2. 保持原始MD格式不变
3. 实现以下清洗功能:
   - 去除微信公众号推广内容
   - 标准化Markdown标题格式(统一为# 标题格式)
   - 过滤文章尾部版权声明
   - 保留核心内容区块
   - 清理多余空行(连续空行不超过2行)和空白字符
   - 删除所有图片URL(包括![alt](url)和普通URL)
4. 处理后的文档应保持结构清晰,内容精炼

输出约束:
- 提供完整可执行的Python代码
- 使用标准库和常见第三方库(如os, re等)
- 包含必要的错误处理
- 代码要有清晰注释
- 输出处理进度信息

质量标准:
- 代码可直接运行无错误
- 处理结果符合IAM知识库要求
- 保留文档核心内容完整性
- 不引入新的格式问题

示例代码结构:
```python
import os
import re

def clean_md_file(filepath):
    # 实现文档清洗逻辑
    pass

def batch_process(folder):
    # 实现批量处理逻辑
    pass

if __name__ == "__main__":
    folder_path = input("请输入文件夹路径: ")
    batch_process(folder_path)
```
```