鲍忠铁：大数据产业再创新高 即将迈进智能数据时代

　　【中国智能制造网 名家论谈】大数据产业发展了两年后，从探索阶段进入了应用阶段。数据被定义成重要的资源，正在得到企业的重视，在经营过程中发挥着重要的作用。企业看到了数据价值，从被动了解走向主动拥抱。数据如何同业务场景结合，如何变成生产力，如何指导业务决策成为企业关心的问题。数据本身是没有价值的，必须同商业需求结合在一起，才能够产生化学反映，体现商业价值。大多数企业还是将精力放在数据架构、技术平台、数据采集等探索工作，没有理顺数据价值应用的发展路径，也没有从数据中看到真正的商业价值，看到智慧的力量。

鲍忠铁

 

　　大数据时代，企业面临海量的数据，其中80%的数据为非结构化数据。企业需要对所有数据进行整合，将数据作为一种资产进行管理。数据的商业价值在很大程度上是同数据的实效性正向相关的，硅谷80%大数据公司正在从事数据清洗和整理的工作，一方面说明大数据的清洗加工是个巨大市场，另一方面也说明了海量数据的实时处理是个难题。我们先回顾一下2016年中国大数据产业发展情况。
 

　　1、大数据产业发展概况
 

　　2015年中国大数据产业进入爆发增长的元年，2016年大数据产业保持高速增长，其中典型的事件有：贵州获批建设大数据试验区；贵阳数博会上升为博览会；总理到现场支持大数据产业发展；国务院印发《促进大数据发展行动纲要》系统部署大数据发展工作；在国家工信部的牵头带领下，《大数据产业“十三五”发展规划》正式颁布。工业大数据、大数据资源开放共享、大数据交易、大数据安全、大数据标准、大数据行业应用等领域称为研究重点，提出了将大数据产业分为金融大数据、能源大数据、农业大数据、医疗大数据等三十多个分支行业，代表了大数据正在更深融入各行业产业。
 

　　2、大数据产业融资情况
 

　　2016年是中国市场的资本寒冬，很多创业公司深感融资困难，大数据领域企业的融资也受到一些影响，融资总额有所下降，具有技术和商业模式优势的大数据企业融资影响不大，但是初创型企业融资比较困难。2015年有超过50家大数据相关的创业公司获得40多亿元投资，中国大数据市场一片欣欣向荣。2016年全年预估有30多家企业获得融资，融资总额不会超过2015年。
 

　　考虑到中国降低IOE等国外技术厂商的需要，云计算技术和商业模式成熟，信息化技术平台换代到需求，数据商业价值的逐步体现，大数据产业仍然是未来风险投资的重点领域，特别是2016年人工智能在的崛起，让大数据产业未来发展的前景越来越乐观。大数据产业是一个基础产业，覆盖各个领域，其中人工智能是解决具体商业问题的手段，是大数据产业发展中支撑和衍生出的一个产业。
 

　　3、大数据产业的技术发展
 

　　2016重要的一个事件是Spark 2.0版的发布，将大数据开源产品的商业化推进了一大步，Spark 2.0 对标准的SQL支持，统一DataFrame和Dataset API。现在已经可以运行TPC-DS所有的99个查询，这99个查询需要SQL 2003的许多特性；采用第二代Tungsten engine，建立在现代编译器和MPP数据库的想法上，并且把它们应用于数据的处理过程中，高性能提升10倍；一种新颖的流处理方式，Structured Streaming APIs，利用Catalyst优化器来发现什么时候可以透明的将静态的程序转到增量执行的动态工作或者无限数据流中。从实用性的角度，Spark提升的几个功能确实是企业用户特别看重的内容，Databricks以及社区开始重视商业需求，Spark向商业产品化的方向转变正在加速，企业对大数据平台稳定性和一致性要求将很快解决。
 

　　4、大数据应用案例
 

　　在大数据应用领域，我们看了更多成熟的大数据案例。大数据正在技术主导型产业发展转向价值应用型产业：
 

　　? 实时图像处理和识别技术帮助公安系统将违章车辆车牌识别的准确度提升了几十倍；借助于实时监控和图像识别，民警及时解救出多名被拐卖的儿童；刑事案件破案周期在技术进步的驱动下，正在逐步缩短。
 

　　? 交通大数据正在帮助城市管理者优化红绿灯，机动车的通行效率提升了30%。
 

　　? 金融行业，借助于数据采集和分析，识别出恶意欺诈分子，提升了风险管理水平，降低了营销成本。
 

　　? 地产行业，利用外部数据进行项目土地投策分析和商铺配置分析，优化了商业地产投资，提升了项目回报率。
 

　　? 养殖业通过测算在栏母猪的数量，预测未来生猪供应量和猪饲料的价格，帮助养殖户提前进行饲料准备和定制生猪出栏计划。
 

　　? 零售行业依据客户消费纪录，借助于线上和线下数据的打通，为客户推荐喜欢的产品。
 

　　? 旅游景点和旅游局参考景区人流热度来引导客户游览路线，提升了游客浏览体验，降低了事故的发生。
 

　　?  医疗行业，由于基因计算成本的下降，基因检测二代测序价格从8万元降到万元左右，达安基因所售的防御重疾易感基因检测(包含9项慢病、14种癌症)检测套餐价为9800元。
 

　　5、智能时代的到来
 

　　我们不再鼓吹大数据的魔力，我们提倡掌握智能数据，一种经过处理和分析，可以帮助企业实现商业价值的数据。智能数据来源于我们企业生产经营，也来源于行为数据等非结构化数据，还来源外部商业环境生产出来第三方数据。大数据时代提升了人们对数据价值的认识，智能数据(Smart Data)帮助实现数据对商业的价值。人工智能是实现数据商业价值的重要手段，SmartDP是实现数据价值的载体。
 

　　数据过去分散在企业的各个系统中，是企业流程中的副产品，企业主要利用数据进行ROI分析和财务分析。但即使是信息化程度较高的金融行业，也仅仅利用了不到40%的数据。大量数据的价值没有被发现，数据还没有被当作一种资产去管理和挖掘价值。数据的积累和人工智能的发展相辅相成。按照人工智能专家吴恩达(Andrew Ng)的说法，“数据是人工智能的燃料，如果只有很大的引擎(算法)而没有充足的数据作为燃料，人工智能这艘火箭是无法实现腾飞的”。同时人工智能带来更多的应用场景，比如聊天机器人和自动驾驶汽车，这些应用场景也在不断产生新的数据。现在，数据已经不仅仅只是“大”，它还变得更加“智能”，更加有用——我们已经进入智能数据时代!
 

　　数据、人工智能和人类智慧，成为智能数据时代的三大要素。数据的积累，可以为人类提供更多更细的洞察分析，人类经验得以增强，人类智慧得以增长。比如，通过更多来自于手机的用户行为分析，企业可以对自己的用户有更多了解，包括他们的生活喜好、消费习惯等，以此产生更多的营销的机会。并且人工智能本身也需要人类智慧的介入，以引导人工智能的方向，提高人工智能的效率。比如，AlphaGo也需要不断的和人类围棋高手对战，依靠人类智慧的辅助，才能持续提升棋力。