导读
当前,全球已进入大数据时代,大数据正以一种革命风暴的姿态闯入人们视野,其技术和市场在快速发展,而驾驭大数据的呼声则一浪高过一浪。随着大数据蕴涵价值的逐步释放,使其成为IT信息产业中最具潜力的蓝海。鉴于在技术和产业层面,国际上在大数据领域还未形成技术和市场的垄断,技术应用创新机会较多;当前大数据技术和应用需求的蓬勃兴起,及开源技术提出的革命性挑战,各家IT厂商均需同等面对,这无形中缩短了彼此起步的差距,这意味着国内企业在开拓大数据市场上存在巨大的机遇!
01
中国大数据产业
发展现状与前景预测
1. 中国大数据产业发展现状分析
大数据产业链建设情况
目前,IT产业在发展过程中已经形成了一些层次分布,有做服务器和底层系统的,有做软件的CONTROL ENGINEERING China版权所有,有做应用的,大数据也需要在原有的架构上加以发展。原来做基础设施的企业,如联想、华为,也要向大数据转型,提供低成本、低能耗的大型存储器,这是大数据产业的基础。中间层是类似Hadoop、MapReduce的数据分析软件,原有的软件产业也要转型,由卖软件转为以数据为中心。再往上就是百度、腾讯、阿里巴巴等大数据应用服务公司,需要增加数据分析的效用。
大数据产业市场规模分析
据贵阳大数据交易所发布的《2016年中国大数据交易产业白皮书》数据显示,2014年,中国大数据产业规模大约为1038亿元,2015年产业整体规模达到1692亿元。随着大数据应用范围的不断扩大,大数据所形成的价值正在快速提升。
大数据应用行业投资分布
2015年,我国政府大数据应用份额依然占比最高,达到11.38%;其次是电信和金融行业,份额分别为9.35%和8.90%;电商、医疗和能源行业紧随其后,三者占比分别为7.92%、7.63%和7.50%。其余行业占比均低于7%,但从全球发展趋势来看,未来企业的占比将有所提高,而政府的占比将有所减少。
大数据产业面临的挑战
大数据在开始应用的同时,也在基础软件研发、智慧城市建设、数据流动性等方面尚存在一些不足。主要表现在以下几个方面:
2. 中国大数据应用实践分析
大数据在经济预警方面的应用
在2008年金融危机中,阿里平台的海量交易记录预测了经济指数的下滑。2008年初,阿里巴巴平台上整个买家询盘数急剧下滑,预示了经济危机的来临。数以万计的中小制造商及时获得阿里巴巴的预警,为预防危机做好了准备。
大数据在市场营销方面的应用
与传统的市场研究方法不同,大数据的市场研究方法不再局限于抽样调查,而是基于几乎全样本空间。例如,百度拥有中国最大的消费者行为数据库,覆盖95%的中国网民,搜索市场占比达87%。百度基于最真实的用户行为数据和多维度研究工具,帮助宝洁精准的定位了消费者的地域分布、兴趣爱好等信息,根据百度分析的结论CONTROL ENGINEERING China版权所有,宝洁适时地调整了营销策略。
大数据在医疗领域的应用
中国目前已经有十余座城市开展了数字医疗。病历、影像、远程医疗等都会产生大量的数据并形成电子病历及健康档案。基于这些海量数据,医院能够精准地分析病人的体征、治疗费用和疗效数据,可避免过度及副作用较为明显的治疗,此外还可以利用这些数据进行实现计算机远程监护,对慢性病进行管理等。
大数据在金融领域的应用
大数据能够解决金融领域海量数据的存储、查询优化及声音、影像等非结构化数据的处理。金融系统可以通过大数据分析平台,导入客户社交网络、电子商务、终端媒体产生的数据,从而构建客户视图。依托大数据平台可以进行客户行为跟踪、分析,进而获取用户的消费习惯、风险收益偏好等。针对用户这些特性,银行等金融部门能够实施风险及营销管理。
3. 中国大数据产业前景预测
大数据产业总体规模预测
据贵阳大数据统计来看,中国大数据产业市场在未来五年内,仍将保持着高速增长。预计2016年末,市场规模将达到2485亿元,而随着各项政策的配套落实及推进,到2020年,中国大数据产业规模或达13626亿元的高点。
大数据产业细分市场预测
1、大数据基础架构硬件市场预测
2014年,我国大数据相关硬件市场在451亿元,到2015年已经达到795亿元的规模。随着大数据相关产业的快速发展及应用场景的扩大,我国大数据硬件层市场将迎来一个崭新的快速发展的局面。预计2016年市场规模将达到1093亿元,2020年将突破至2385亿元。
2、大数据技术市场发展前景预测
就中国大数据市场而言,大数据软件市场占比较小。2012年,大数据软件市场规模约为0.54亿元,2014年市场规模约为2.48亿元,前瞻预测,2016-2021年,中国大数据软件市场规模年均复合增长率约为65%。预计到2021年,其市场规模达到80亿元。
3、大数据服务市场发展前景预测
2012年,大数据服务市场规模约为1.16亿元,2014年,其市场规模约为6.13亿元;前瞻预测,2016-2021年,中国大数据服务市场年均复合增长率将超过软件市场和硬件市场,年均复合增速将达到75%,到2021年,中国大数据服务市场规模有望达到300亿元。
02
中国企业大数据
需求与应用趋势调查
1. 中国大数据产业发展现状分析
企业数据系统架构存在的问题
针对企业的数据系统架构,被调查者认为运营成本过高、资源利用率低、应用部署过于复杂和扩展性差这四方面的问题几乎同等重要,其中运营成本过高以27.74%成为被调查者眼中企业数据系统架构最严重的问题。因此,如果企业部署新的大数据解决方案,就应摒弃原系统中的问题,或者改良系统架构,或者推倒重来。
企业面临的数据技术难题
在大数据的影响下,现有数据系统架构的问题日益凸显,在企业面临的数据处理技术挑战的调查中,23.87%的被调查者认为数据读写瓶颈是最大的技术挑战,20.16%选择了数据类型多样化,16.26%选择了存储压力,16.26%选择了系统性能瓶颈。从排名前三位的技术挑战中可以看出,大数据中快速的数据流转(velocity)和多样的数据类型(variety)成为最困扰企业用户的两个关键特性,同样也是最亟待解决的关键问题。
企业数据挖掘和分析面临的问题
关于数据挖掘与分析应用,29.40%的被调查者认为这些应用最大的问题是分析不准确,21.36%的被调查者选择了分析速度慢,18.34%选择了价格昂贵。从这三个方面来看CONTROL ENGINEERING China版权所有,用户最担心的还是企业花钱部署数据挖掘与分析类应用,却不能通过分析做出正确的决策。
分析的速度也是一个重要的问题。随着企业数据量越来越大,进行一次分析所用的时间也越来越长。起初企业总是利用下班时间跑报表,但这种方式越来越不能满足实时决策的需求,常常会错过商机。因此从软硬件角度优化分析速度,即是企业经营决策的需求,又是数据分析产品新的考察指标。
2. 企业大数据应用现状与规划
企业数据处理产品的服务商
由下图可以看出,企业现有数据产品的服务商www.cechina.cn,排在前六位的分别是Oracle(27.93%)、IBM(15.99%)、Microsoft(14.41%)、Apache Hadoop(9.01%)、EMC(8.33%)以及SAP(7.66%)。Oracle以绝对的优势拔得头筹,可见其在数据库、数据分析和大数据方面的地位。
企业大数据投入情况
关于企业在大数据领域的投入问题,28.83%的被调查者选择20-49.9万元,27.48%的被调查者选择0-19.9万元,17.57%的被调查者选择50-99.9万元,即56.31%的企业用户对大数据的投入小于50万元。另外,150万元以上的只占13.96%。由此可见,企业对于大数据的投入仍处于初级阶段,并且以Hadoop和NoSQL为代表的大数据基础设施都属于开源产品,硬件方面也可使用廉价的PC服务器,所以投入并不高。
企业部署开源大数据解决方案的计划
如前文所述,Hadoop、NoSQL这样的开源大数据解决方案能够节省资源、提高系统利用率,是性价比极高的选择。由下图可知,19.82%的企业用户正在使用开源大数据技术,22.97%的企业用户计划于1年内部署,9.91%计划于2年内部署,没有相关计划和不确定的人群占到47.29%。由此看出,Hadoop等开源大数据技术相当热门,已经有至少52.71%的企业用户已经或计划部署相关解决方案。
企业大数据的部署规模
从被调查者所在企业考虑或已经部署的大数据节点来看,选择0-5个节点的为40.54%,6-10个节点的为22.07%,11- 20个节点的为16.67%,21- 50个节点的为10.81%,51-100个节点的为2.70%,而101个以上节点的为7.21%。由此可见,大数据的部署还处在初级规模,大多数企业还未部署,或部署少量节点。相信随着数据量的不断增加,大数据相关的节点规模会不断增加。
3. 企业大数据应用趋势分析
企业关注的数据管理新技术
如下图所示,分布式存储与计算成为最受关注的数据管理新技术,比例达到29.86%;其次是内存数据库技术,占到23.30%;云数据库排名第三,比例为16.29%。此外,列式数据库技术、NoSQL也获得较多关注。从调查结果来看,以Hadoop为代表的分布式存储与计算已成为人们心目中大数据的关键技术。以SAP HANA为代表的内存数据库技术和以SQL Azure为代表的云数据库技术,也将成为占据重要地位的数据管理创新平台。
企业如何看待商业智能的未来
对于商业智能未来的趋势预测,调查显示排在前三位的是丰富的挖掘模型、实时的分析、精准的特定目的分析,其比例分别为27.22%、19.88%和19.11%。其后是社交网络分析、云端服务和移动BI。由此看出人们期待商业智能应用能够在这些方面做出改变。
03
典型领域大数据
应用价值与需求分析
1. 政府
电子政务建设现状
1、市场规模
电子政务是中国信息化建设的重要内容,是国家实施政府职能转变,提高政府管理、公共服务和应急能力的重要举措,有利于带动整个国民经济和社会信息化的发展。在国家的大力支持和推动下,中国电子政务取得了较大进展,市场规模持续扩大。据不完全统计,2015年,电子政务市场规模约为2218亿元,同比增长15.52%。
2、市场结构
在总体市场规模持续平稳增长的同时,中国电子政务建设的投入结构也发生了变化。通常电子政务的投入顺序是硬件、软件和服务。据统计,中国电子政务行业近年来总体复合增长率为12%,未来仍将稳步增长。近年来,中国电子政务建设中硬件投入的比例虽然仍较高,但已呈现出逐年下降的趋势,预计未来几年硬件增速将逐步下降。相反,软件投入和IT服务所占比例逐年上升,市场规模越来越大,预计软件和服务占比将持续上升,未来软件增速保持在17%,服务增速则超过25%。
政府大数据应用需求
目前中国经济社会发展已经进入新的阶段,发展中不平衡、不协调、不可持续问题突出。因此,加强电子政务建设,管理好政府的数据资产,完善政府决策流程,将是未来数年大数据在公共管理领域发展的重要方向。大数据将对政府部门的精细化管理和科学决策发挥重要作用,从而提高政府的服务水平。舆情监测、交通安防、医疗服务等将是公共管理领域重点应用领域。
政府大数据应用场景
利用大数据整合信息,将工商、国税、地税、质监等部门所收集的企业基础信息进行共享和比对,通过分析,可以发现监管漏洞,提高执法水平,达到促进财税增收、提高市场监管水平的目的。建设大数据中心,加强政务数据的获取、组织、分析、决策,通过云计算技术实现大数据对政务信息资源的统一管理,依据法律法规和各部门的需求进行政务资源的开发和利用,可以提高设备资源利用率、避免重复建设、降低维护成本。
政府大数据应用价值分析
大数据的发展,将极大地改变政府的管理模式。其包容性将模糊掉政府各部门间、政府与市民间的边界,信息孤岛现象大幅消减,数据共享成为可能,从而提高政府各机构的协同办公效率和为民办事效率,提升政府社会治理能力和公共服务能力。具体而言,依托大数据的发展,有利于节约政府投资、加强市场监管,从而提高政府决策能力、提升公共服务能力,实现区域化管理。
2. 电信
行业大数据应用需求分析
电信运营商拥有丰富的数据资源优势。就国内运营商而言,目前移动用户数已经突破11亿。在大数据的应用模式上,运营商可以基于用户行为分析、行为理解、行为预测的客户深度洞察,将数据封装为服务,形成对外开放、可商业化的核心能力,带来商业模式的创新。此外,运营商还可以借助数据分析改善用户产品体验,优化网络质量,助力市场决策,刺激业务创新。
2014年,中国电信行业IT投资为639.63亿元,同比增长25%。
行业大数据应用场景分析
在电信行业,大数据成为智能管道转型的有效途径。中国移动广东公司构建新一代详单账单查询系统,可为用户提供详单账单的实时查询,客户满意度大大提高。
对电信行业来讲,像实时营销、线路监控、新业务挖掘,也是未来电信行业比较有潜力的大数据应用的场景。
行业大数据应用价值分析
对于电信运营企业而言,大数据主要是大客户的行为数据。运营商可以利用大数据提升管道智能化水平,更加精准地发现客户需求,提升行业信息化服务的能力。随着智能手机的不断普及,用户的行为信息日益丰富和完善,深度分析与挖掘这些数据,让其产生价值,将给运营商带来新机遇。
行业大数据应用前景分析
电信业拥有丰富的大数据资源,以及电信业拥有足够的大数据分析能力并非难事,电信业开展新业务尤其是BI(商业智能)的潜力巨大。现实也确实如此,电信业感受到了压力,并计划把握通信技术大规模普及的契机,获得更为丰富的数据资源,再将这些数据资源加以挖掘和提炼价值,把握大数据带来的巨大潜力和机遇。2014年,电信行业大数据应用市场规模约为3.3亿元,前瞻产业研究院大数据产业研究小组预测,2016-2021年,电信行业大数据应用市场规模年均复合增长率将达到65%。到2021年,中国电信行业大数据应用市场规模将达到66.59亿元。
3. 金融
行业信息化建设现状
1、市场规模
2012年中国金融业IT投资规模为1066.6亿元,同比增长7.0%,增速较2011年下降2.1个百分点。2013年,中国金融业IT投资规模约为1165.8亿元,同比增长9.3%。2014年,中国金融业IT应用投资规模增长12%至1305.70亿元。2015年,中国金融业IT应用投资规模约为1500.2亿元。
2、产品结构
在产品投资类别方面,硬件依旧是2015年金融行业用户投资购买最重要的产品类别,占整体IT应用市场的45.20%;其次是IT服务,占整体IT应用市场的35.00%;2015年金融行业用户对软件产品的投资购买需求规模在整体IT应用市场中的比重为19.80%。
行业数据量及其特征
经过多年的发展与积累,目前中国的大型商业银行和保险公司的数据量已经达到100TB以上级别,并且非结构化数据量在迅速增长。基于报告对大数据的定义(通常数据量大于100TB,数据量年增率大于60%,数据采集是高速数据流,且数据包含结构化与非结构化数据称为大数据),前瞻产业研究院大数据产业研究小组分析认为中国金融行业正在步入大数据时代的初级阶段,并且呈现快速发展势头。
行业大数据应用场景分析
金融行业主要如信用卡、防欺诈、电子支付业务等,对大数据有比较大的需求。
行业大数据应用价值分析
在数据大集中的背景下,大数据对金融行业产生的影响巨大,比如银行业的客户市场细分化程度日趋提高,对数据的集中管理、应用、安全的需求更加迫切。保险企业则大力向电子商务模式转变,而证券公司间的竞争则早已突破地域限制,网上证券交易发展迅猛。数据的挖掘整理,以及有效分析对于提升客户服务水平的价值日趋凸显。
行业大数据应用前景分析
随着数据价值被越来越多的认可,尤其是在金融企业业务转型时期,基于数据的业务及内部管理优化使得金融领域的大数据应用市场规模在未来几年将以高于整体水平的速度增长。
04
中国大数据
产业链投资机会分析
整体来看,大数据产业涉及的领域包括数据生成、数据存储、数据处理以及数据应用等;其产品与服务则包括硬件产品、基础软件、应用软件、信息服务等,以下分别从这几个方面分析大数据产业链的投资机会。
1. 硬件层面投资机会分析
大数据对数据存储需求
◆中国数据容量
中国数据信息量更是以高于全球的增速在发展,数字信息量占全球比例已经从2006年的7.9%提升至2010年的9.1%,2013年,占比提升至14%,前瞻预测到2020年,中国在全球数字世界中所占的份额将增至21%。
◆存储能力
相比信息量的年均45%的增速,存储能力的年均增速仅有30%。存储能力与信息总量之间的缺口在2010年达到248亿GB,未来存储能力与信息总量的缺口将逐渐增加,进一步刺激着存储领域在未来一段时间的爆发增长。
数据存储市场格局现状
◆移动硬盘市场格局
2014年,中国移动硬盘市场希捷以35.00%的关注份额位居品牌关注榜首位,关注份额较上年上涨0.75个百分点;西部数据以26.80%的关注份额位居排行榜第二位,关注份额与排名首位的希捷相差8.2个百分点;东芝位居第三位,关注份额为10.30%;前三位之后品牌的关注份额均在10.0%以下。
◆U盘市场格局
2014年,中国U盘市场金士顿以20.0%的关注份额位居品牌关注排行榜首位,关注份额较上年下降7.6个百分点;PNY以13.0%的关注份额位居第二位,关注份额与排名首位的金士顿差距由上年的16.9%缩小至7.0%;威刚保持第三位,关注份额为12.8%。
服务器市场格局现状
2014年,中国服务器市场竞争形势激烈,品牌关注集中,前八家品牌累计占据95%以上的关注比例。其中,IBM以37.8%的关注比例成为最受用户关注的品牌,领跑服务器市场;戴尔、惠普分别以26.3%、12%的关注比例分居第二、三位;其他上榜品牌关注比例均在10%以下。
硬件层面投资机会分析
大数据时代对企业的存储架构、数据中心的基础设施等提出了挑战,为了更快、更好、更准确地按需存储数据,需要企业提高存储性能和计算能力,这些潜在需求的存在为存储器和服务器等硬件提供商提供了一个不错的发展机会。但是,由于国际巨头在存储和服务器市场垄断优势明显,中国本土企业很难获得较大的市场机会。分析认为,在存储和服务器等硬件市场,中国本土企业很难在短期内实现对国际巨头的超越,大数据时代中国企业在硬件层的投资机会不大。
2. 软件层面投资机会分析
基础软件投资机会分析
虽然最近几年,在传统数据库软件市场,国产数据库比重持续提升,但Oracle、IBM、Microsoft和Sybase依然牢牢占据国内数据库软件市场的前四位,拥有超过90%的市场份额。而大数据时代的数据库软件将更多是基于新一代的Nosql架构,中国企业无论是技术积累还是市场开拓离国际企业仍有较大差距。因此,短期内不看好中国企业在基础软件层的投资机会。
应用软件投资机会分析
依靠对客户需求的了解、强大的客户关系资源等优势,分析认为国内IT企业的投资机会将主要集中在应用软件层。
目前,国内各个行业之间IT投资规模和信息化建设程度差别还很大,国内IT投资主要集中在通信、政府、金融、电力等领域。
3. 信息服务层面投资机会
IT基础设施服务业投资机会
急速膨胀的数据量将推动中国企业在硬件设备上的支出和数据中心的建设。虽然国内硬件层企业投资机会不大,但是大数据推动的数据中心建设热潮将对以数据中心为主要服务对象的IT基础设施服务业产生极为明显的溢出效应,未来IT基础设施服务市场有望长期受益于大数据概念。2014年,中国数据中心IT市场规模为1414亿元。据不完全统计,2015年,中国数据中心IT市场规模约为1600亿元。
信息咨询服务业投资机会
随着大数据技术产品未来的成熟,并成功从数据中为企业挖掘出真实的价值,中国传统企业将逐步意识到数据的价值和信息化所带来的好处。随着大数据概念的持续扩散,国内信息化建设程度偏低的制造业和建筑业信息化进程将有望加快,为企业信息化建设服务的IT咨询服务业将会长期受益。
信息安全行业投资机会
根据测算,目前全球只有三分之一不到的信息数据可以说有着最起码的安全保护。随着大数据时代数据价值得到企业越来越大的重视,数据安全将越发显得重要,信息安全行业将迎来一个发展契机。分析认为,信息安全市场将是大数据时代继智能数据分析产品之后最具潜在投资价值的市场。2014年,中国信息安全产品市场规模为271.39亿元。2015年市场规模达到294亿元。
4. 中国大数据产业投资象限
总体来看,服务器、存储设备等硬件产品和以数据库为代表的基础软件市场,中国企业投资机会寥寥。受益于客户资源优势与本地化服务的优势,中国大数据投资机会将重点集中于应用软件层和信息服务层。
大数据时代国内投资潜力最大的将是智能分析软件(BI)与信息安全领域。与各行业信息化建设程度差异相关,未来大数据智能分析软件产品的主要应用领域仍然会是政府、金融、通信、电力四大行业,与数据生命周期全程相关的信息安全领域则有望全面受益。而IT基础设施服务和咨询实施服务在大数据产业的潜在受益规模不一定很大,但受益于大数据产业的溢出效应,却很可能是大数据时代受益确定性较高的两个领域。
05
大数据产业
融资现状与趋势分析
1. 大数据产业投资热度分析
大数据产业投资热潮
近年来,各大IT企业一方面通过并购以后进行技术整合,另一方面依靠企业自身的研发实力,纷纷推出自身的大数据分析产品。Google、IBM、EMC、Oracle、微软、惠普、SAP、Teradata等在内的世界知名企业都先后发布了针对大数据的产品,这些企业几乎囊括了目前全球最顶尖的搜索服务、数据库、服务器、存储设备、企业解决方案的主要提供商,足以显示大数据在产业界的汹汹来势。
大数据产业投资趋势
大数据是继云计算、物联网之后IT产业又一次颠覆性的技术变革。云计算主要为数据资产提供了保管、访问的场所和渠道,而数据才是真正有价值的资产。如何盘活这些数据资产,使其为国家治理、企业决策乃至个人生活服务,是大数据的核心议题,也是云计算内在的灵魂和必然的升级方向。
因此,大数据时代将引发新一轮信息化投资和建设热潮。据预测,到2020年全球将总共拥有75ZB的数据量,而麦肯锡则预测未来大数据产品在三大行业的应用就将产生7千亿美元的潜在市场,未来中国大数据产品的潜在市场规模有望达到1.57万亿元,给IT行业开拓了一个新的黄金时代。
2. 大数据产业并购趋势分析
大数据产业并购特征
无论是IT巨头还是市场新秀都觉察到了大数据所带来的前所谓有的机遇,并开始行动。IT巨头通过收购来弥补自身在大数据领域的技术、资源和人才方面的缺失,抢占市场先机;市场新秀抓住大数据市场的某一细分领域积极融资,力图抓住机遇的羽翼腾飞。
大数据产业并购趋势
创业型公司的快速增长将对那些长期被甲骨文和IBM等公司控制的领域形成挑战。为了增强实力,加快战略布局,跨国IT企业正纷纷收购创业型公司。IBM、甲骨文、EMC、SAP等国际IT巨头已经花费超过15亿美元用于收购相关数据管理和分析厂商。可以预见,未来3- 5年,大数据市场将迎来一个重要的并购期。
3. 大数据产业融资机会分析
大数据产业融资模式
1、PE/VC
由于巨大的市场空间,围绕大数据领域正有大量的创业型公司在诞生并快速成长,它们之中可能出现新的世界级大公司,就如操作系统之于微软、社交网络之于Facebook。风险投资者的目光也从社交领域转向了大数据。
2、上市融资
除了获得PE/VC以外,大数据企业还可通过上市发行股份的方式进行融资。例如,Splunk是一家位于旧金山的创业公司,其开发的软件可以为机器生成的海量数据建立索引,将其整理成可以搜索的链接。企业可以像使用Google那样来搜索这些链接,用来实时分析消费者行为。早在2004年硅谷开始讨论大数据这个词,Splunk就已建立,到现在改企业约有3200家客户,遍布全球75个国家,其中一半以上为《财富》100强公司。
2012年4月19日,Splunk登陆纳斯达克,首日交易令人印象深刻,该公司股价当日报收于35.48美元www.cechina.cn,与17美元的IPO(首次公开募股)发行价相比翻了一番,估值达到32.8亿美元。
3、天使投资
2012年12月13日,在云基地和中关村管委会联合举办的中关村大数据论坛上,由宽带资本、红杉资本、北极光创投、金沙江创投和合疏资本联合发起创立的“云天使基金(Cloud Angel Fund)”正式对外发布。同时,“中云融汇”基金和“大数据实验室”孵化基金也宣布成立。据规划,这3只基金将专注于云计算和大数据创业。