数据工程白皮书（2023）

　　日前，全球软件及技术咨询公司Thoughtworks 发布《数据工程白皮书》。

　　目前数字化转型对于市场来说并不是一个新鲜事物，从技术视角来看，人工智能与大数据相关技术仍处于创新阶段，各行业正在寻找和探索价值场景与新兴技术融合的平衡点，希望在新兴技术的加持下能够在激烈的竞争中占据有利位置。

　　数据平台层产生价值的速度跟不上业务需求变化的脚步。

　　数据年年治理，年年治理不好。

　　人员培养困难，培养人才的时间和成本居高不下，无法规模化地支撑业务需求。

　　对于企业中需要直接面对或完成数据工作的负责人来说，上述问题需要有一套切实可行的方式方法来确保数据工作能够保质保量的顺利开展、保障企业在数据领域的投入能够有价值产出。这样一套行之有效的方式方法我们称为“数据工程”，而该体系的落地过程称为“数据工程化”。

　　什么是数据工程？

　　数据工程能够加速数据接入、处理、计算、使用的全流程，但是对数据工程到底是什么缺少一个清晰的描述。

　　同时定义了在落地实施过程中如何确保需求准确性、设计灵活性、开发便捷性、维护低成本性、架构可修改性等保障性能、质量的原则。

　　总的来说，正是因为数据有着不同的种类、不同种类数据处理有着不同的特征，让我们对上述定义再换一个角度来审视：

　　数据工程是一套体系。

　　数据工程是用来加速数据到价值过程的规模化最佳实践。

　　数据工程是软件工程的一部分。

　　数据工程不是传统软件工程在数据领域的简单重现。

　　数据工程并不是单一的大数据系统或平台的落地，因此数据工程的价值并不能仅从普通的信息系统的角度来看。

　　数据工程的好与坏，往往与企业的组织架构、团队协作、实施能力等息息相关。而针对企业所处数字化转型的不同阶段、所处行业业务特点以及企业本身组织架构，数据工程价值凸显的点也往往不尽相同。

　　数据工程落地

　　在面对业务协同性不够、业务决策路径不清晰、组织架构可能导致的部门墙等诸多问题上，企业应当汇聚多业态、多链路中所涉及的不同业务数据、打通全产业链、构建业务生态，打造以数据为中心的价值创新产品，通过数据去产生新洞见、发现新业务、打造新产品、验证新想法，从而驱动业务的快速迭代。

　　白皮书推荐三步走战略：数据愿景对齐、数据工程落地实施、数据持续运营。三步自顶向下，先确定总体目标，再进行目标拆解，由目标制定具体措施，再到具体工程实践，最后以持续运营手段，完成数据从业务中来，再到业务中去的完整价值闭环。

　　数据愿景对齐作用主要是明确企业数据愿景，保证后续步骤不偏离企业本身的价值实现，主要包括业务场景价值的的探索识别、优先级评估、数据架构设计、技术架构设计等。

　　白皮书指出，数据工程是数字经济下确保数据价值转化的重要保障www.cechina.cn，是加速数据转化为价值的重要手段，数据工程能力应对的不仅仅是当下的挑战，更是应对未来数字经济大趋势的秘密武器。

　　随着需要处理的数据量的增长，为了处理数据领域的各种新问题，各种新技术、新概念逐渐涌现，现代数据仓库、数据湖、湖仓一体、分布式数据架构、机器学习、数据云原生等逐一登上舞台，数据工程的发展道阻且长。

图说工控