技术文章Fabarta 图增强数据血缘治理解决方案

Fabarta 图增强数据血缘治理解决方案

应用场景及痛点介绍

高质量数据已成为企业重要的资产与财富,可以有效助力金融机构打造数字时代的核心竞争力。金融机构进行业务创新,需要对现有和新增的经营管理数据进行深度挖掘与分析,明确评估新产品和新服务的成本、风险及收益,推出具有竞争优势的创新金融业务,提升客户体验和核心竞争力。而这一切的基础,是需要提供治理后的高质量的经营管理数据。因此,金融机构需要建立完善的数据治理机制,充分保障数据质量,才能够为业务创新和核心竞争力的提升提供有力支持。

在长期的数据治理实践中,金融行业的数据治理面临着诸多挑战,这当中有技术、有业务、也有系统难题,数据血缘治理便是其中的一个技术、业务和系统交织的挑战。

金融机构数据来源和处理过程不透明,数据分散在多个系统和应用程序中,难以统一管理和控制,使得存储、查询和分析数据血缘关系变得困难;技术架构复杂,涉及多种技术、脚本和工具,如数据库、数据仓库、ETL 工具等,使得数据血缘解析更加困难;开发团队更关注功能需求的实现,而对非功能需求的关注不足,导致数据模型质量不高,存在先污染后治理的现象。这些问题直接导致了难以通过全自动化的手段,全面构建具备高准确率的细颗粒度血缘脉络。

目前多数血缘治理方案仅仅解决了血缘治理从无到有的问题,仅能实现表级的血缘治理。但是只有字段级血缘治理才能真正满足金融机构血缘治理的业务要求,实现对数据的追根溯源,并高效保障数据质量。然而,字段级血缘关系通常远多于表级血缘,字段血缘的解析、存储、查询、分析对数据治理平台能力提出了更高的要求。因此,我们创新地将图数据库、图分析技术用于数据血缘治理解决方案,不仅可以多层次展现字段级血缘链路全貌,同时亦可对整体血缘关系进行实时高质量分析,进而提高数据的合规性、数据可运维能力和数据质量,降低数据运营成本和数据风险,为企业数据资产平台的建设打好基础。

Fabarta 及产品介绍

Fabarta (北京枫清科技有限公司)作为一家专注于图智能领域的国际化公司,致力于解决在大规模增长的多源异构数据环境下的图智能难题,赋能企业客户和业务合作伙伴更加便捷地在图智能分析平台之上沉淀业务价值,梳理与治理数据资产,帮助企业快速高效地构建丰富的图智能领域应用,构建基于数据编织的下一代企业数据智能平台。

目前 Fabarta 的产品体系分为三层:基础层是 ArcGraph 图智能引擎,融合了图数据库和图计算能力,采用完全分布式的架构设计,为企业提供更高速的查询性能和一体化使用体验,已经完成了中国信通院“可信数据库”评测;中间层是低代码化的图分析平台,简化复杂的图技术细节,让图技术快速落地于业务场景中;最上层是围绕垂直领域打造的变革型应用,目前已有图增强数据治理平台产品,利用图和 AI 技术切实解决数据治理难题,帮助企业提高数据质量,有效指导业务发展。


WechatIMG41.jpeg

解决方案及亮点介绍

Fabarta 图增强数据血缘治理解决方案,充分融合了 Fabarta 图智能产品矩阵及图智能引擎能力:

  • 通过 ArcGraph 图智能引擎对元数据进行图化管理,提高数据完整性和可追溯性,提高了数据血缘关系的建模和存储效率,加快了数据血缘关系的查询和分析速度。
  • 通过 Fabarta 图增强数据治理平台的核心功能血缘管理功能,结合基于大模型技术的 AI 算法,进行数据血缘智能解析,提供清晰的数据链路;实现全面、准确的数据血缘关系追溯,方便快速发现并排查数据链路中的问题以及可能带来的影响。优化了数据治理流程,提高了合规监管和风险管理能力。

图片1.jpeg

  • 通过 Fabarta 低代码图分析平台图分析能力,结合内置的图算法,实现了对元数据进行血缘关系数据孤岛、关键数据和循环依赖的分析。

图片2.jpeg

该方案基于金融行业数据现状和治理需求,借助 Fabarta 自有的图引擎能力和 AI 解析能力,可以解析各种脚本,自动构建血缘链路,并根据数据变化主动分析其上下游影响。甚至可以主动建议数据脚本的编写方式,识别血缘链路中的孤岛、环路以及重要数据节点等。不仅可以帮助企业快速修复数据质量问题,还可以进行前瞻性的分析,提示潜在问题,帮助企业进行脚本和数据模型的设计,有效保障数据质量。此外,系统能够精准识别相关影响,而不需要在群里广播通知,从而提高工作效率。

该方案实现了全面、准确的数据血缘关系追溯,能够快速定位数据问题,有效地提高了数据治理效率;能够更好地管理和保护数据,提高数据的安全性和可靠性,提升企业合规监管和风险管理能力,实现数据价值的最大化。该方案已被多个客户采用,客户对方案的实际使用体验非常认可,对其效果给予了充分肯定。