引子：为何选择这个方向？
在最近的一个项目中，我们团队面临一个棘手的问题：客户有海量的、格式不一的PDF和扫描文档（如合同、报告、发票），需要从中快速、准确地提取结构化信息（如公司名、金额、日期）。传统的OCR（光学字符识别）虽然能识别文字，但对文档版式、逻辑结构的理解几乎为零。
这促使我开始探索将现代AI模型，特别是像GPT这样的语言模型，与传统OCR和计算机视觉技术相结合，构建一个真正『智能』的文档解析器。这篇文章，就是记录这个过程中的关键技术选型、遇到的坑以及最终的解决方案。
核心架构：一个三阶段的处理流水线
经过多次迭代，我们最终确定了一个稳定且高效的三阶段处理流水线。它就像一个精密的装配线，每个环节各司其职。
第一阶段：视觉感知与文本提取
这是基础。我们使用成熟的OCR引擎（如Tesseract或商业云服务）来获取文档中所有文本的坐标和内容。
关键点：
- 不要只相信OCR的文本：OCR输出的文本顺序可能不符合阅读逻辑，尤其是在多栏布局中。因此，我们必须保留每个文本块的边界框（Bounding Box）信息。
- 预处理是王道：对图像进行去噪、纠偏、增强对比度等预处理，能显著提升OCR的准确率。
# 伪代码示例：使用 OpenCV 和 Tesseract
import cv2
import pytesseract
def extract_text_with_coordinates(image_path):
# 1. 图像预处理
img = cv2.imread(image_path)
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
# ... 其他预处理步骤，如二值化、降噪
# 2. 使用 Tesseract 进行 OCR，并获取详细数据
data = pytesseract.image_to_data(gray, output_type=pytesseract.Output.DICT)
# 3. 整理输出：过滤空文本，保留坐标
extracted_blocks = []
for i in range(len(data['text'])):
if data['text'][i].strip(): # 非空文本
block = {
'text': data['text'][i],
'x': data['left'][i],
'y': data['top'][i],
'width': data['width'][i],
'height': data['height'][i],
'conf': data['conf'][i]
}
extracted_blocks.append(block)
return extracted_blocks第二阶段：语义理解与信息关联
这是AI真正发挥威力的地方。我们不再把文档看作一堆独立的文字块，而是将其视为一个整体，交给大语言模型（LLM）去理解。
我们的做法是：
- 构建上下文：将第一阶段提取的所有文本块，按照一种合理的逻辑（例如，从上到下、从左到右）拼接成一个长的、连贯的文本字符串。同时，可以提供一些简单的布局提示，比如
[标题区域]、[表格区域]。 - 设计精妙的Prompt：这是成功的关键。Prompt需要清晰地告诉模型我们想要什么。
# 一个Prompt设计示例
prompt_template = """
你是一个专业的文档信息提取助手。请分析以下文档内容，并从中提取出指定的关键信息。
文档内容：
""{document_text}""
请严格按照JSON格式输出，只包含以下字段：
- "company_name": 文档中出现的签约或主体公司名称。
- "total_amount": 文档中明确的总金额（数字）。
- "currency": 金额的币种（如CNY, USD）。
- "sign_date": 签署日期（格式：YYYY-MM-DD）。
- "parties_involved": 参与方名称列表。
如果某个信息未找到，请将该字段值设为null。
你的输出：
"""遇到的坑：
- 上下文长度限制：对于超长文档，LLM的上下文窗口可能不够。我们的解决方案是先尝试用模型进行文档摘要或分段，再对关键段落进行精提取。
- 输出格式不稳定：LLM有时会『胡说八道』，不按要求的JSON格式输出。我们引入了输出验证和后处理逻辑，使用
json.loads()进行解析，失败则进行重试或降级处理。
第三阶段：后处理与结果校验
AI不是神，它的输出需要被校验。这一阶段我们加入了业务规则来修正和增强结果。
- 规则校验：例如，如果模型提取的金额明显超出合理范围（如一份普通合同金额为1万亿），则标记为可疑，需要人工复核。
- 数据标准化：将提取的日期统一格式化，将公司名与内部的客户数据库进行模糊匹配，以获取标准名称。
- 置信度打分：综合OCR的置信度和LLM输出的自洽性，为最终结果生成一个置信度分数，供下游系统决策。
工程化考量：让AI应用稳定运行
把原型变成产品，远不止调通API那么简单。
- 异步与队列：文档解析是计算密集型任务。我们使用Celery等任务队列将解析请求异步化，避免阻塞Web服务器，并提供了任务状态查询和重试机制。
- 缓存：对于同一份文档的重复解析请求，我们缓存了OCR和LLM的结果，极大地降低了成本和响应时间。
- 监控与可观测性：我们记录了每个阶段的耗时、成功率、Token消耗等指标。当LLM的响应出现异常时，能快速定位是Prompt问题、模型问题还是输入数据问题。
- 成本控制：LLM API的调用是按Token计费的。我们通过优化Prompt、在送入模型前对文本进行智能裁剪（如只保留疑似包含关键信息的段落）来控制成本。
总结与展望
这次实践让我深刻体会到，构建有价值的AI应用，核心不在于使用最前沿的模型，而在于如何将AI能力与传统软件工程稳健地结合起来。
- Prompt Engineering是一项核心技能：它直接决定了模型输出的质量和稳定性。
- AI是增强，而非替代：它解决了传统规则系统无法处理的模糊性和复杂性，但依然需要清晰的规则和逻辑来兜底和校准。
- 可观测性至关重要：对于『黑盒』般的模型，必须建立完善的监控体系，否则出了问题连原因都找不到。
未来，我们计划探索视觉语言模型（VLM），让模型能直接『看懂』文档的版式和图像元素，从而减少对OCR的依赖，进一步提升复杂表格、图表信息的提取能力。这条路还很长，但这次实践无疑是一个坚实而令人兴奋的起点。
暂无评论