5月18日,腾讯混元、SSV数字文化实验室及SSV技术架构部联合安阳师范学院甲骨文信息处理重点实验室、中科院信工所、南开大学,正式发布了业界首个覆盖“七体之变”完整演化轨迹的中国古文字识别评测基准Chronicles-OCR。该基准的推出,旨在精准衡量多模态大语言模型(VLLM)在面对横跨三千年的汉字视觉分布漂移时的感知能力,推动数字人文领域的底层技术突破。
该数据集由领域专家多层级交叉标注,包含2,800张严格平衡的高质量图像。针对古早字体(甲骨、金文、篆书)与成熟字体(隶、楷、行、草)的特性,项目组设计了阶段自适应标注范式,并设立跨时代字符检测、细粒度古字识别、古文转写和字体分类四大核心任务,实现了视觉感知与语义推理的解耦评测。
在对GPT-5、Gemini3.1Pro、Claude Opus4.7等28个主流大模型的评测中,基准揭示了当前行业多模态能力的短板:在古早字体上,端到端检测任务由于缺乏现代版式先验而导致主流模型全军覆没;在细粒度识别中,最高准确率仅为27.1%;而在字体分类任务中,模型倾向于识别载体纹理而非微观笔画。值得注意的是,实验表明开启推理(Reasoning)模式反而会放大感知不确定性,导致表现下降。
此次 Chronicles-OCR 的开源发布,不仅量化了顶尖商用模型与古文字实际研究需求之间的技术鸿沟,也为学术界和工业界明确了微观感知优化的技术路径。让大模型从“识字”走向“读史”,将成为多模态大模型攻克长尾垂直场景、传承文化遗产的关键一步。
via AI新闻资讯 (author: AI Base)