昆山农商银行AI中台采购选型公告

正文内容

一． 总体要求和项目范围 AI中台建设实施项目是我行企业级数据中台的组成部分，也是我行模型实验室项目实施的主体内容。模型实验室建设包括物理环境建设、大数据平台数据实验区环境建设、数据实验室核心应用建设三个部分。项目采取公司成熟产品实施+本行数据团队联合实施的方式建设，范围包括但不限于几个核心内容： *. 基于本行大数据平台的数据实验区建设架构方案建议（实施以行方为主，公司方配合）； *. 以敏捷为前提的数据分析、模型开发、部署流水线架构方案和模型全生命周期管理建设方案，以及相关核心应用（特征平台和模型管理平台）建设方案； *. 根据行方需求，开展AI中台建设实施； *. 模型实验室物理环境和网络环境建设（行方实施）； *. 专项服务要求，要求公司方以建设完成的平台为基础，为我行完成部分模型的迁移，并提供平台使用培训（包括现场培训课程和产品使用手册），使我行人员能自主掌握平台功能； 项目建成后，主要目标是能够满足我行数据分析团队的数据挖掘、探索、建模、测试、敏捷部署、生产运行、统一管理的要求，能够支撑数据分析团队高效作业、技术团队的敏捷实施、风险合规部门的全生命周期跟踪管理三重管理目标。 二． 重点功能需求 *. 基于本行大数据平台的数据实验区建设架构方案建议。公司方产品必须基于我行已有的大数据平台底座进行构建，因此应设计相关方案，明确行方如何支撑相关应用，如数据实验区和模型运行区，明确其在整个大数据平台架构中的地位（应融合我行现有架构规划），以及具体的架构方案。包括数据架构、网络架构、物理架构、数据库连接方式、数据同步和存储机制、权限管理和安全管控方案，相关方案应充分考虑其与拟搭建的模型管理平台应用、已有数据湖、及数据中台其他应用（如元数据、数据资产平台、指标平台、数据服务平台）之间的关系。 *. 应根据业务需求，和技术部门运作现状，协助构建数据建模流水线架构方案和模型全生命周期解决方案，能够通过本项目的相关建设完全解决流程运作方面的问题。公司方应调研行方数据分析人员现有使用过程中的痛点，从高效、稳定、合规等角度有针对性的提出解决方案建议。相关方案应覆盖我行已有的模型引擎，以及未来的潜在场景。 *. 对AI中台的功能点（重点关注特征管理平台和模型管理平台）进行介绍，要求特征能够在实验环境和生产环境同步和使用，模型管理平台应支持规则类模型和机器学习算法类模型。其中， 特征管理平台需具备以下功能： *） 数据分析功能：支持建模前的数据准备及预处理，具备多种数据源和数据类型的分析能力；支持可视化数据探索，根据给定样本和变量范围，自动识别变量类型，快速计算IV、WOE等统计指标，帮助开发人员了解数据价值； *） 样本管理功能：支持对样本数据按时间、客群、特征等维度进行过滤筛选；具备样本快速抽样功能；支持对样本进行描述性分析，输出可视化样本画像，并通过对比评估样本相似度； *） 特征加工功能：支持特征衍生开发，包括标准化、归一化、One-hot编码、缺失值填充、特征分组等功能；支持基于IV值、卡方检验等方式的特征筛选；支持变量的自定义分箱，并对分箱后的算子进行WOE编码； *） 征信解析功能：支持解析人行征信报告，具备丰富的征信特征模板，能从客户维度形成征信特征库； *） 数据权限管理：支持从条线、部门、项目、角色等不同维度进行字段级数据管控，管控内容包括数据原表、中间表以及开发过程中产生的脚本文件；支持权限及**回收功能； 模型管理平台需具备以下功能： *） 模型开发和训练功能：支持代码建模、可视化建模等多种建模方式，内置丰富的开发功能和工具包，能提升模型开发效率，支持规则挖掘及回测； *） 模型验证功能：支持对模型效果输出可视化报告，并支持在验证过程中快速调参，对模型进行迭代； *） 模型部署功能：支持模型便捷加载、部署、服务发布、设置调度任务等； *） 模型运行功能：支持实时/批量预测功能；具有一定的决策流编排功能，能顺序编排不同的规则、模型，实现较为复杂的逻辑； *） 模型监控功能：对模型运行情况、效果、特征等进行持续监控并及时预警； *） 模型需求管理：支持模型需求登记，包括建模目标、样本范围、数据范围、计划完成时间、相关人员等信息，并根据需求发起差异化审批； *） 模型资产管理：具备资产大盘，按权限展示模型资产的信息及整体情况；资产目录具备筛选、查找功能，展示模型的业务定义、适用范围、模型分级分类、管理日志等内容，支持导出功能； *） 模型管理功能：支持按不同模型分级分类，差异化配置模型审批流程，并打通我行OA系统；支持模型文档按目录、按类型分享、调阅等管理功能； 三． 重要技术要求 *. 系统必须全部本地化部署，且支持在虚拟化平**装部署，满足开发、测试和生产多套环境使用； *. 在兼容spark基础上，安装pyspark，sparksql等数据分析包，同时内置jupyter-notebook等可以编写Python脚本以及SQL脚本的客户端； *. 分布式系统具备日志收集和监控预警模块功能； *. 报文格式：行内系统交互，必须支持SOAP； *. 开发语言：应用开发倾向于java； *. 浏览器及内核版本支持：Chrome V**及以上，安卓内核*.*以上浏览器版本，IOS*及以上，支持Chrome及IE**以上浏览器版本； *. 高可用：系统必须具备高可用架构，停止各功能服务器一半节点不影响业务； *. 信创支持：支持国产服务器，国产操作系统，国产中间件，国产数据库，国产外设等，项目建设符合人行全栈信创验收标准； *. 分布式微服务技术栈：涉及分布式微服务架构的系统，要求使用spring cloud技术栈体系，禁止使用dubbo体系； **. 信息安全：系统对用户密码等敏感信息是否进行加密传输、加密存储，不允许使用弱密码，支持配置强密码规则，有防SQL注入等数据安全防御； **. 日志规范：建立完备的系统日志、应用日志、错误日志、支持日志导出，对系统的所有访问和操作都留有日志审计记录，日志分级、分日期、日志大小增长序号等要求，统一的信息码标准规范库； **. 可配置化程度：业务技术参数、业务功能等可配置化程度； **. 扩缩容：系统可满足横向扩展与纵向扩展，扩展性能可线性增长； **. 监控：监控节点CPU、内存、IO、交易成功率，交易响应速度等关键指标以及链路追踪、各中间件平台监控、服务器节点虚拟机信息监控； **. 集成统一部署：能够通过平台进行所有应用节点的部署发布（全量/差量）、启停、回滚，多应用一键发布； **. 数据开发标准：在数据库设计或数据开发中能够按照我行数据标准执行落地。 四． 性能要求 *. 交易平均响应时间：*秒以下； *. 系统并发数：***以上； *. TPS：***以上； *. 跑批时长：**分钟以内； *. RTO:*小时； *. RPO：**小时。 五． 评分标准 本次招标采用综合评分法**-**-**，其中POC部分共计**分（包括技术评分**分，业务评分**分），POC入围最低得分为**分，具体评分标准如下： 技术POC【**分】评分表如下： 编号评分项评分标准分值备注 *操作系统Redhat*.*准入应用均采用操作系统为Redhat*.* 无特殊情况不得使用AIX、Windows *分布式系统日志收集和监控预警分布式系统具备日志收集和监控预警模块功能准入分布式系统具备日志收集和监控预警模块功能； 单体架构的系统无此要求 *报文格式JSON准入结合项目实际情况，列出系统所需支持的报文格式， 例如行内系统间交互，必须支持SOAP *开发语言Java准入应用开发倾向Java 大数据开发使用python Python *浏览器内核版本支持Chrome v**及以上准入Windows：Chrome v**及以上 Android:Android内核*.*以上浏览器版本 IOS：IOS*及以上 Android内核*.*以上浏览器版本准入 IOS*及以上准入 *高可用架构系统必须具备高可用架构，重要系统需具备双中心双活能力准入提供详细的系统架构说明材料 *信创支持支持国产服务器，国产操作系统，国产中间件，国产数据库，国产外设等，项目建设符合人行全栈信创验收标准准入提供详细的系统全栈信创配置清单 *分布式微服务技术栈涉及分布式微服务架构的系统，要求使用spring cloud技术栈体系，禁止使用dubbo体系准入具体参照分布式微服务技术栈清单 单体架构的系统无此要求 *多模式开发支持可视化拖拉拽建模、代码建模、自动化建模等多种建模方式*支持可视化拖拉拽建模、代码建模、自动化建模等多种建模方式 支持部分建模方式* 只支持一种建模方式* **开发工具及语言支持支持多种开发工具及语言*支持jupyter、pycharm等多种开发工具及spark、python等多种开发语言 支持部分* 不支持* **适配我行数据中台特征管理及模型管理平台适配我行数据中台项目管理子系统、任务管理子系统、数据资产子系统、元数据子系统*通过项目管理子系统下发项目，任务管理子系统下发开发任务，通过数据资产子系统检索数据中台数据，开发好的数据资产注册进数据资产子系统，通过元数据子系统拉去数据中台元数据进行开发 适配数据中台部分系统* 无法适配* **适配我行大数据平台特征管理及模型管理平台特征开发及模型训练数据底座基于我行大数据平台*　特征开发，模型训练及部署运行的数据底座需使用我行大数据平台 无法支持* **技术架构按照行内POC建设方案模板详细讲解说明系统功能，系统架构，网络拓扑，服务器**，信息安全，应急处置，监控预警等，对行方提出的问题能详细解答*现场讲解系统功能，系统架构，网络拓扑，服务器**，信息安全，应急处置，监控预警等方案，根据公司现场答辩情况酌情给分 **适配我行CTM调度系统特征及模型运行跑批调度工具需使用我行统一调度工具CTMM*除系统本身内部需要外，其余涉及特征开发及模型开发、运行的调度工作需使用我行统一调度工具CTM 无法适配使用* **数据库TDSQL或DB**数据库以DB*、TDSQL为主，OLTP类系统首选TDSQL,OLAP类系统首选DB* ORACLE或mysql* 其它* **信息安全系统对用户密码等敏感信息是否进行加密传输、加密存储*　 涉及行外系统交互，报文、文件等加密传输*　 不允许使用弱密码，支持配置强密码规则*　 系统是否有防SQL注入等数据安全防御*　 **日志规范建立完备的系统日志、应用日志、错误日志、支持日志导出*　 对系统的所有访问和操作都留有日志审计记录*　 日志分级、分日期、日志大小增长序号等要求*　 **信息码规范统一的信息码标准规范库*　 **可配置化程度业务技术参数、业务功能等可配置化程度*　 **数据生命周期数据备份清理机制*对数据库数据、日志及其他系统日常运行过程中产生的临时或正常的数据和文件具备自动备份和清理机制，并可自定义策略。 数据迁移方案*　 总分**　 业务POC评分表： 编号测评项目测评内容分值 *数据探索及预处理能构建数据源与平台的直接映射关系，给后续建模过程提供数据支撑；对现有数据集的数据类型、数据质量、特征数量、取值分布等维度进行描述性统计，能进行自动化智能化数据类型转换，能对价值较低或缺失率较高的特征进行删除、填充等操作。* *特征加工、存储及管理能快速运用预处理后的数据，进行特征衍生，并能方便快捷地存储衍生特征；支持解析人行征信报告，具备丰富的征信特征模板，能从客户维度形成征信特征库；能按不同特征类型进行分类管理，支持特征复用；支持按照单个特征汇总，查看该特征被模型、规则引用的具体情况。* *权限管理支持从条线、部门、项目、角色等不同维度进行字段级数据管控，管控内容包括数据原表、中间表、特征以及开发过程中产生的脚本文件，权限应包括查阅、编辑，发布以及上线；支持权限及**回收功能。* *模型训练及验证支持数据库连接及本地数据上传，能调用特征管理平台，能对数据进行划分，支持常见的算法并能定期更新，能快速生成可视化模型训练报告，能对训练后的模型进行参数调整并再次训练；能快速生成可视化模型验证报告，支持模型结果预测并导出相关结果；支持pipline 配置运行以及定时调度。* *模型部署 支持模型便捷加载、部署、服务发布、设置调度任务等功能，支持PMML文件或pkl文件部署。* *模型运行支持实时/批量预测功能；具有一定的决策流编排功能，能顺序编排不同的规则、模型，实现较为复杂的逻辑。* *模型监控预警提供模型监控的可视化操作界面，对模型运行情况、效果、特征等进行持续监控并及时预警，能通过短信、OA等渠道进行预警。* *模型管理支持模型需求登记，包括建模目标、样本范围、数据范围、计划完成时间、相关人员等信息，并根据需求发起差异化审批；支持按不同模型分级分类，差异化配置模型审批流程，并打通我行OA系统；支持模型文档按目录、按类型分享、调阅等管理功能；具备资产大盘，按权限展示模型资产的信息及整体情况；资产目录具备筛选、查找功能，展示模型的业务定义、适用范围、模型分级分类、管理日志等内容，支持导出功能。* 总分**