【艾瑞咨询】2021年中国数据中台行业白皮书
随着企业的信息化实践逐渐落地,市场需求持续增加,数据中台行业正处于快速发展阶段。当前,数据中台正向多领域、多行业拓展。数据中台是构建在与业务深度结合的运作机制之上,因此企业在数据中台的实际建设过程中更需要掌握方法才能发挥其真正效能。本报告将通过桌面研究、专家访谈等多种研究方法,从数据中台的驱动因素出发,对目前国内数据中台行业的发展现状、市场容量、集中度、发展趋势等维度内容进行分析研究,展示数据中台应用的领域和场景。
核心摘要:
数据中台不是简单的一套软件系统或者标准化产品,更多的是一种强调资源整合、集中配置、能力沉淀、分步执行的运作机制,是一系列数据组件或模块的集合,为企业数据治理效率的提升、业务流程与组织架构的升级、运营与决策的精细化赋能。2020年数据中台市场规模达到68.2亿元。随着企业数字化转型驱动,市场需求将持续增加,数据中台行业增长势头明显,市场规模快速扩张,预计将在2023年达到183.2亿元。当前数据中台行业集中度较低,公有云厂商、数字化解决方案提供商、数据与智能公司及垂直的独立中台开发商纷纷入局。但随着数据中台的技术架构和方法论趋于完善,现阶段建设的难点更多聚焦在如何将成熟的技术方案与行业及企业的实际情况和特征结合,即企业更需要厂商切身的咨询规划服务,以发挥数据中台的效能。
数据中台应用的业务领域和场景众多,其中营销领域发展最早,目前应用也最广泛成熟;而在管理会计领域,由于数据价值高且对经营决策意义重大,数据中台深化管理运营的效用明显。从行业来看,当前数据中台在金融和泛零售行业的应用和部署程度高,在政务、工业、医疗等行业仍有较大的发展空间。
数据中台发展驱动因素
政策推动企业信息化转型
各行业陆续颁布核心政策,为信息化转型提供支持和引导
顺应信息化时代发展,我国很早便部署了信息化发展规划,自起步以来,多呈现政策先行的节奏,为行业的转型提供了战略参考。近年来,随着5G技术和标准的发展,我国加快、提前部署各类基础设施,本着适度超前的原则,为企业的转型、创新提供土壤。简而言之,我国信息化建设紧密围绕着打造网络强国、建设数字中国、“互联网+”行动计划等国家战略,充分发挥信息化驱动引领作用,积极推进以物联网、云计算、大数据、人工智能、区块链等为代表的新一代信息技术与行业深度融合。各领域信息化建设紧紧围绕行业任务部署及关键战略统筹,以新技术、新模式为支撑,强调网络安全保障能力的同时,积极规划产业进程,稳步促进信息化转型。
数字经济规模稳步扩张
数字经济结构优化升级,对GDP贡献持续增强
我国数字经济维持高速增长,在信息通信新技术、新业态的带动下,传统行业焕发出新的活力,质量效益显著提升,2019年数字经济对GDP增长的贡献率达到67.7%,已经成为国民经济增长强大的引擎之一。数字产业化和产业数字化是数字经济发展的核心。数字产业化不断演进升级,与服务业全面融合发展后,正向实体经济范围拓展。产业数字化从单点应用向行业协同发展演进,利用数字技术进行全方位、全链条的降本增效,促进高质量发展,成为数字经济越来越重要的增长动力。“两化”协同发展,数字经济内部结构持续优化,为市场创造新动能的同时也带来了新的挑战,如何价值化数据并与传统生产要素融合,驱动传统产业向信息化、智能化转型升级,已经成为数字经济发展的关键问题,这既是挑战也是机遇,所以加快推进数据价值化进程是企业发展的本质要求。
数据孤岛林立的系统架构
底层计算和存储架构的多源和异构形成系统烟囱和数据孤岛
早期业务发展过程中,企业为了解决一些当下的业务问题,按照垂直的、个性化的业务逻辑部署IT系统,各种信息系统大多是独立采购与建设的,与流程、底层系统耦合较深,横向和上下游系统之间的交叉关联也较多,导致企业内部形成多个数据孤岛,很难做到信息的完全互联互通。同时在新平台、新业务、新市场的拓展过程中,系统没法直接复用和快速迭代,产生的数据也无法与传统模式下积累的数据互通,进一步加剧了数据孤岛的问题。分散的数据无法很好地应对前端业务变化,难以支撑企业的经营决策,因此亟需一套机制将新老模式融合,整合分散在各个孤岛的数据,形成数据服务能力。
数据的价值化需求
形成数据全生命周期的闭环为企业赋能
近年,多数企业的认知已经从“跟风转型”过渡到“数据驱动转型”,认识到数据是企业的新型资产。而数据收集、存储和处理成本的大幅下降和计算能力的大幅提高,为数据资产化应用提供了经济环境基础。事实上,多数企业已经拥有了较好的数据基础,然而在现实情况中,并不是所有的企业都能获得显著的收益,其主要原因之一在于没有形成数据全生命周期的闭环,所以价值化数据的比例低,无法作为关键生产要素为企业注入新动能。如今,数据资产化程度低、数据服务提供效率与业务诉求不匹配等“让数据用起来”的问题成为摆在企业面前的新型数字化转型难题。
数据中台概述
数据中台的内涵
是技术的概念,更是企业管理的概念
数据中台居于前台和后台之间,是企业级的数据共享、能力复用平台。数据中台通过将企业全域海量、多源、异构的数据整合资产化,为业务前台提供数据资源和能力的支撑,实现数据驱动的精细化运营,是一系列数据组件或模块的集合。企业基于自身的信息化建设基础和业务特点对数据中台的能力进行定义,基于能力定义选择和利用数据组件搭建中台。各类数据技术是构建数据中台的基础,能够高效对数据进行统一收集、处理、储存、计算、分析和可视化呈现,使数据最终与业务链条结合,真正转化为企业核心资产。而从广义上,数据中台更是一种企业组织管理模式和理念,集公司战略决心、组织架构、技术架构于一体,企业从战略上构建统一的协同基座即中台化组织,以协调和支持各业务部门,用技术拓展商业边界,为新业务、新部门提供成长空间。
数据中台的能力保障
系统落地需要供求双方多维度的能力
数据中台的搭建涉及技术诸多,在整个技术构架上需要考虑可拓展性、敏捷性、轻量化,并注重与前台的交互,灵活地通过服务编排实现应用功能,以满足前台需求。当前数据中台遵循“高内聚、松耦合”的设计原则,融合分布式、微服务、容器云、DevOps、大数据处理及高可用高性能高并发架构,已形成了一套较为成熟的方法论。
因此现阶段,数据中台的建设难点更多的聚焦在如何将成熟的技术方案与行业及企业的实际情况和特征结合,基于真实应用场景,规划设计数据中台建设的可行性方案。企业自身的资源配置能力、管理经验、组织架构、业务梳理能力,以及数据中台服务商在企业中台搭建过程中为企业数据治理提供的咨询规划服务,逐渐成为数据中台建设过程中的关键性要素。
数据中台的核心价值
降低数据建设成本,提高数据治理效率
数据中台的建设天然会帮助企业打通数据孤岛,并建设统一的数据标准,包括数据建设规范和数据消费规范。此外,数据中台基于原有的数据关系及SOA架构等企业数据管理的经验,能解决企业信息管理中“数据烟囱”的问题,从全生命周期的角度管理数据。随着数据中台的建设,数据二义性逐渐消除,透明度和利用率大大提高,有效发挥数据及分析技术对前台业务的复用价值,降低数据计算与数据存储成本,减少因数据体系建设不一致或重复建设导致的人力成本浪费等。
由于系统和能力容易复用,当业务量增加或数据连接点、流程发生改变时,打通的数据中台可以避免系统的重复建设,支撑新业务形态的产生和快速发展;由于数据中台整合了业务与技术两大职能,业务产生的数据省去了跨部门传递的步骤,而基于技术产生的数据分析结果也可直接转化为业务优化方案。数据实时共享,直接赋能业务,使企业数据治理全链条的时效性与灵敏度得到提升,同时避免了技术与业务两部门因信息不对称而导致的认知偏差。
激活数据商业价值,赋能企业运营与决策
提升对数据的管理利用能力是企业数字化转型的重要目标。数据中台与过去的数据工具相比,最大的优势在于基于企业组织、战略及业务框架设计,对企业全域的数据资产进行高效的开发、应用及质量管理。通过将数据资产化,将不同系统、不同类型的数据纳入一个可对比、可计算的范围,使其更易于企业日常经营活动中进行搜索、过滤和管理,充分激活数据的商业价值。
此外,数据中台匹配和衔接了当前业务与数据间协作的需求,形成价值链闭环。在实现数据接口标准化和在线交互实时化的基础上,集成可快速复用的数据生产力工具或模块,使数据具备敏捷地对外服务的能力,智能服务全流程的部门及人员,使每个层级的员工都能快速制定适合自己的数据决策服务,有效赋能业务决策。
改造企业业务流程,升级企业组织架构
传统的作业方式通常呈现“流水线”的特点,往往由业务人员基于行业经验进行流程设计,结合商业套件建立和操作业务系统。数据仅仅是用于监测业务进展和洞察规律的副产物,最终的决策由业务人员进行,因此决策不确定性较强,整个业务流程的迭代速度极慢,很难与当前快速变化的前端应用匹配。而随着数据中台在整个业务链条中的部署和应用,大数据进入决策阶段,企业的业务流程也逐渐快速、扁平化,由原先依赖业务人员经验的流程驱动逐步转向数据驱动。
另外,传统企业数据孤岛、业务割裂、资源分配等问题,其根源往往来自于组织架构的分割,尤其当业务需要涉及跨部门协同时,“部门墙”的现象十分严重,甚至出现冲突和制衡。因此数据中台的部署应用既是打通了数据的壁垒,更是打通了部门、事业群间的壁垒,使企业组织灵敏性得到提升。
数据中台行业发展现状
数据中台的市场规模
行业增长势头明显,市场规模快速扩张
伴随着数据量的爆发式增长、数据处理技术的进步,以及数据中台产品逐渐实现商业化、需求端企业对数据中台的认知开始树立,2019年可以称为数据中台元年。当前我国数据中台行业处于从萌芽转向高速发展的过渡期,整体仍处在相对基础的发展阶段,但由于企业数字化转型驱动市场需求不断增加,行业增长势头明显,市场规模快速扩张。
此外,随着数据中台逐渐实现从理论架构到实际部署的落地实践,需求端企业对数据中台的理解和信任程度逐渐加深,而行业玩家也正积极探索和拓展数据中台的更多呈现形式,例如挖掘服务于中小微企业的实施路径,以助力各类企业数字化转型全流程。因此数据中台产品类型与服务内容有待进一步拓展,未来参与布局数据中台的企业数量也将快速增加,市场增量空间广阔。
数据中台的玩家类型
行业集中度较低,市场竞争格局尚未成型
数据中台行业的主要参与者指帮助下游企业搭建数据中台并提供服务的供应厂商。整体而言,数据中台行业尚处于发展成型的早期阶段,参与者众多但行业集中度较低,尚未形成鲜明的市场竞争格局。
数据中台供应商主要由五类厂商构成:头部互联网企业、数字化解决方案提供商、大数据公司、独立中台开发商及人工智能厂商。市场不断有新玩家进入,各类型的厂商都具有不同的竞争优势,处在占领市场份额、凭借优势领域构建进入壁垒的扩张阶段,与此同时也带来了一些产品区分度低、边界不明、业务混杂等行业乱象。
数据中台的客户画像
有数据基础、多元化经营的各行业头部企业为主要客户
事实上,并非所有企业都需要或适合部署数据中台。是否进行数据中台的建设,与企业所处行业、发展阶段以及自身的数据成熟度和数字化程度等因素相关。对于初创公司以及一些业务较为单一的企业,现阶段实际不存在数据互联互通的问题,则并不适合也并非必须搭建中台,因为数据中台的建设模式较重,建设周期较长,需要投入较高的资金和人力成本,短期内反而不利于这一类企业的快速发展。
我们认为,满足以下至少三种情况的公司适合进行数据中台的部署:①业务场景具备不确定性,迭代速度快,所处市场环境变化快,需要具备快速试错和敏捷反应的能力;②生态和流程系统复杂,有多条产品线或横跨多种业态,各业务单元间存在功能模块低水平重复建设的问题;③由于事业部等的组织架构,导致数据和信息系统存在互联互通问题,需要打通壁垒进行统一管理;④营收具有一定规模,信息化建设达到一定水平,但信息技术仍对企业发展存在制约,需要进行整体的技术升级、业务重构;⑤对外需要多业态扩张,多消费渠道触达,希望协调整个产业链上下游合作伙伴之间资源。
数据中台应用的业务领域
营销领域:发展最早,落地最广泛
随着进入数字化营销时代,线上营销场景已经实现云化,线下营销场景也可以通过IoT、AI等技术实现对用户行为数据的获取和完全跟踪,目前营销获客领域的数据基础设施已达到较高的成熟度。然而企业获取的销售、营销数据也愈发零散、且往往都是孤立存在;日益碎片化的触达时段及场景、层出不穷的媒介载体和复杂的社交数据,也使全景化的消费者画像和用户标签体系难以整合建立;与此同时,爆发式的海量数据使企业原有的CRM系统算力和能力难以满足业务的计算分析需求。
营销数据中台在集数据采集、融通聚合、管理服务等功能于一体的基础上,基于场景的特点开发专门的数据模型、标签体系等多种数据智能应用,构建用户360°全景画像,深入洞察目标客群特征,分析交易销售数据及营销效果,助力企业实现基于智能营销和消费者智能运营及管理的数据管理、洞察分析和决策支持。
管会领域:激活财务数据价值,深化管理会计应用,落实企业经营战略
在过去的信息化建设过程中,基于ERP系统的管理会计往往以独立、零散的模块化工具应用(如预算、成本管理、合并报表)各自存在,缺乏整体规划和统一的数据平台支撑。特别是对于多元化经营的集团型企业,各版块都搭建一套不同的ERP系统,财务、业务和管理信息系统间通过开发接口进行连接和集成,形成蛛网结构,造成开发成本高,数据口径不统一,接口独立运营而无法统一管理等问题。此外,自动化程度低、时效性差使系统难以满足瞬息万变的商业环境下企业的实时分析与决策等管理需求,以及前端的业务模式快速变化创新下对业务运营的快速响应需求。
管理会计数据中台汇集企业内部业财数据,同时打通外部的社会大数据到内部的业财数据,统一规范和口径,实现数据的有效共享和复用。通过分析企业全财务流程,识别、提取并沉淀财务核心能力,减少各前端系统对财务功能的重复开发,使财务人员更多地基于财务数据和实际业务,做出科学、场景化的分析预测和经营决策,真正激活财务数据价值。
此外,随着创新应用不断扩展,管理会计与基础财务会计的关系也将被重构。基于一个更实时、更精细、更统一的底层数据支撑,管理会计将不再依赖于财务会计信息就能进行全场景数据处理,并反过来生成财务会计规则化、格式化的信息。
在众多企业数字化转型软件商和服务商中,元年科技由于具有丰富的财务管理以及业务和行业经验,在数据中台常规基础功能模块的基础上引入偏向业务建模的适配插件,形成真正实现业财税一体化的行业解决方案,已成为国内管理会计、财务管理这一专业领域的示范者。
数据中台应用的行业场景
行业应用成熟度高:金融行业
相对而言,金融行业是数据资产化更为成熟的行业,信息化建设起步早、资金投入巨大,因此信息化水平高,数据标准化程度高,且技术实力也较强。然而,伴随着数据量快速积累和膨胀、数据结构和类型趋于多元化,各种高并发、需要强一致性和横向扩展能力的业务场景越来越多。传统金融行业数据研发效率低,数据时效性差,数据质量难以保障,数据标准模型无法适应快速变化的业务需求,且缺乏数据深度使用和综合分析的能力,方法论体系亟需迭代升级。另外,在强监管与统一风控的形势下,对IT设施的服务能力和运营能力要求也越来越高。
对于数字化转型升级中的金融机构而言,数据中台是实现全渠道、全链路的敏捷业务能力的有效方案。根据数据治理的需求,落地全生命周期的标准管理流程,帮助企业实现内部部门连接和与终端客户的连接,实现跨部门、多业务系统数据的统一管理,以提升数据质量,形成数据管理的工作环境,并提供数据服务,更快地应对政策、规则、需求的变化。
目前,金融行业是数据中台落地渗透率最高、应用最成熟、数据服务类型最丰富的行业之一。
行业应用成熟度高:泛零售业
在信息化建设过程中,零售企业积累建设了包括ERP、MES、CRM、WMS、TMS、POS等在内的各种业务系统,而随着线上线下各种零售渠道的涌现,线下门店、自有商城、电商平台、社交软件平台等渠道也带来大量碎片化的数据。业务系统的割裂和渠道的分散逐渐暴露出弊端,即无法通过统一的会员数据管理搭建全场景的消费者画像以实现精准营销,无法实时更新“进-销-存”数据并与营销数据结合以实现智能化的数据分析。
由于数据中台架构兼具强兼容和扩展性,且封装完成了适用于各种业务场景的复杂算法,通过API标准数据接口就能支持企业快速对接零售智能应用和业务系统,帮助企业减少对原有业务系统的改造,提高复用效率。依托数据中台,零售企业能打通企业内外部数据,充分进行数据流通。数据中台的建设整体上提升了零售企业的数据能力,使企业能够以数据为导向进行销售策划、选品铺货策略制定、商品运转与库存预测等,实现对消费者的精准分析以及对终端市场变化的灵活应对。
行业仍有开发空间:政务
近年来,政府部门信息化建设投入不断加大,政务云化进程也不断加速,基础设施建设已趋于成熟。然而,政务服务具有专业性强、流程环节多、处理情形复杂等特点,多以多线方式进行信息化建设,如税务系统、公安系统等,造成了严重的数据孤岛情况。同时,各政务服务部门间的信息化水平也存在极大的差异。因此当前的政务系统存在功能重叠度高、应用分散、部门协同困难等问题,亟需建立组织、用户、协同、业务均在线的数据体系,解决政务服务业务创新速度落后于社会需求的问题,推动数据和业务的融合,提升服务型政府供给侧能力。
政府部门依托数据中台提供的统一的数据采、建、管、用能力,能实现政务领域数据的统一管理,基于各部门打通的数据能展开更深度的数据洞察,提升部门内和跨部门的办公及办事效能,促进政府工作精细化开展,全面提升政府面向公众的便捷服务能力、科学化的决策能力,为政府带来新的治理模式和服务模式。
数据中台应用的挑战
数据中台应用的挑战
企业内外的认知和推广仍面临挑战
尽管数据的价值属性已经获得业界的广泛共识,但是选择观望的企业依旧占据大多数,数据中台在认知和推广上仍然面临着多方面的挑战。从企业内部来看,管理者对数据治理一知半解,如果在没有深入梳理企业业务现状及需求的情况下盲目建设数据中台、追求“大而全”的概念,可能导致数据中台落地效果不佳。如果数据中台不能发挥降本提效的作用,反而使得实际使用者在适应时耗费更多的时间和精力,那么数据中台在企业内部的推广必然受到阻碍。
而从市场环境来看,数据中台外在表现为偏定制化的解决方案,它们涉及不同的应用领域、覆盖不同的生产环节,很难有一套面对全行业、全领域通用的中台产品,因此企业对数据中台的认知非常依赖市场内正确信息的传递和头部企业的成功案例示范。整体而言,认知和推广仍是数据中台应用的挑战,这需要供应商和企业长期共同协作来解决。
数据标准化困难、耗时费力
多数企业在过去的信息化建设过程中,有一些遗留的数据问题待解决:①多源异构的数据需要标准化:企业从不同的角度切入,多点建设了很多单链的业务系统,造成不同系统中架构、标准不一致,同一个项目中生产、运营、营销的数据编码定义不一致。②各种信息系统积累的数据需要集成打通:数据在保持及时性、准确性和完整性的同时进行PaaS层和IaaS层、各系统之间的集成打通。③业务数据量大,多源异构数据处理的技术水平要求高。④各部门数据共享意愿低:部分数据的敏感性、重要性较高,相关部门共享资源的意愿较低。这些问题在客观上阻碍了数据共享、复用的过程。
数据中台未来发展趋势
数据中台未来发展趋势
深入下沉市场,产品更加标准化
数据中台的核心在于共享和沉淀能力,随着数据中台在行业头部及领先企业逐渐落地,供应商经历了各类业务场景能力沉淀的过程。在深度上,数据中台厂商承载细分行业的各类定制化业务,不断沉淀业务能力。在广度上,随着不同业务场景的持续输入,数据中台厂商产品的能力越来越丰富,覆盖的领域也越来越广泛。完善数据中台的深度和广度,提炼和整合数据中台的服务,尤其是对于对数据中台能力要求相对简单的中小企业,为客户提供标准化的整体解决方案将成为数据中台服务商的产品方向。
深耕细分领域,场景愈加精细化
首先,数据中台所提供的底层技术支撑能力,需要供应商在软件架构、云技术、容器编排、DevOps等多方面有充足的技术储备,还需要具备资本和技术实力的双重积累。纵观中国数据中台行业,虽然界限并不明晰,但是大致形成了以阿里、腾讯等技术雄厚的头部企业侧重提供底层架构技术,其他中小供应商侧重提供行业化服务和产品的竞争格局。其次,没有一家供应商可以覆盖企业庞大的、所有的需求,尤其是多组织、多板块、跨业务的大型企业,所以在一个领域内已经完成实践和形成规模的供应商会优先深耕本领域,提供更加细分的场景切入口。最后,企业也会根据业务需求面向不同领域的数据中台产品进行选择,不会局限于一家中台服务商。随着创业公司不断成长,细小赛道逐渐被填充,愈加激烈的市场竞争会使差异化成为供应商采取的产品战略。