评测数据集

FinEval金融领域评测基准依据定量的基本方法，通过长期客观调研总结和严格的人工筛选，利用多项选择题、主客观简答题、推理规划和检索问答等超过26000道多种与实际应用场景高度一致的题型，包括了金融学术知识、金融行业知识、金融安全知识、金融智能体、金融多模态和金融严谨性，旨在全方位检验大模型在金融领域的综合应用能力。

首个覆盖了金融任务从前端到后端的完整生命周期的大模型中文多模态测试基准，能够模拟端到端的业务场景。通过财务报表、研究报告中的图表等内容评估在金融全流程业务场景下多模态大语言模型对中文金融视觉-文本数据的处理与推理能力。

Fineval金融严谨性测试评估模型输出时的严谨性和真实性，考察模型在输出过程中是否存在"幻觉"等问题。共包含两个方面：索引提取（共340道）和数值计算（42道）。

FinGAIA是金融领域端到端AI智能体评测基准。以高度还原的金融业务场景为设计核心，全面覆盖从基础业务理解到复杂策略制定的各类任务，共包含407道在金融领域专家指导下完全人工编写的题目，涵盖证券、基金、银行、保险、期货、信托和资产管理七个主要金融子领域，并按三个层次化的场景深度组织：基础业务分析、资产决策支持、战略风控管理，聚焦评估智能体在金融语境理解、数据整合分析、工具协同调用与多步骤推理等方面的综合能力。

基于真实业务场景和客户需求文档，构建覆盖4个行业、8个场景和40余违规点的数据定义；基于真实业务数据和网路数据爬取获得训练集数据800余条，协助平台进行违规点审核，从而构建多层级安全体系，保障监管合规与业务可控。

依托知识图谱，评估大模型复杂金融任务综合能力。聚焦通用大模型在金融知识深度上的薄弱环节，考察大语言模型解决复杂金融问题的能力。该数据集有助于当前大语言模型突破自身解决复杂金融任务能力的瓶颈，最终助力在复杂金融场景下的能力突破，在金融领域实现真正的智能化。

共包含包含9,782 个问题，数据主题类别—22个子领域：中级财务会计；高级财务会计；成本会计学；管理会计学、财务管理学、审计学、货币金融学、金融工程学、中央银行学、投资学、金融市场学、商业银行金融学、国际金融学、公司金融学、保险学、财政学、计量经济学、微观经济学、宏观经济学、国际经济学、公司战略与风险管理、税法。