推陈出新是历史必然 大数据10大常见问题

　　【中国智能制造网 市场分析】云计算技术就是一个容器，大数据正是存放在这个容器中的水，大数据是要依靠云计算技术来进行存储和计算的。
　　　　1、云计算与大数据是什么关系?
　　
　　云计算的关键词在于“整合”，无论你是通过现在已经很成熟的传统的虚拟机切分型技术，还是通过google后来所使用的海量节点聚合型技术，他都是通过将海量的服务器资源通过网络进行整合，调度分配给用户，从而解决用户因为存储计算资源不足所带来的问题。
　　
　　大数据正是因为数据的爆发式增长带来的一个新的课题内容，如何存储如今互联网时代所产生的海量数据，如何有效的利用分析这些数据等等。
　　
　　他俩之间的关系你可以这样来理解，云计算技术就是一个容器，大数据正是存放在这个容器中的水，大数据是要依靠云计算技术来进行存储和计算的。
　　
　　两者关系：
　　
　　首先，云计算是提取大数据的前提。
　　
　　信息社会，数据量在不断增长，技术在不断进步，大部分企业都能通过大数据获得额外利益。在海量数据的前提下，如果提取、处理和利用数据的成本超过了数据价值本身，那么有价值相当于没价值。来自公有云、私有云以及混合云之上的强大的云计算能力，对于降低数据提取过程中的成本不可或缺。
　　
　　其次，云计算是过滤无用信息的“神器”.
　　
　　收集的数据中，一般而言，90%属于无用数据，因此需要过滤出能为企业提供经济利益的可用数据。在大量无用数据中，重点需过滤出两大类，一是大量存储着的临时信息，几乎不存在投入必要;二是从公司防火墙外部接入到内部的网络数据，价值极低。云计算可以提供按需扩展的计算和存储资源，可用来过滤掉无用数据，其中公有云是处理防火墙外部网络数据的佳选择。
　　
　　再次，云计算可分析数据。
　　
　　数据分析阶段，可引入公有云和混合云技术，此外，类似Hadoop的分布式处理软件平台可用于数据集中处理阶段。当完成数据分析后，提供分析的原始数据不需要一直保留，可以使用私有云把分析处理结果，即可用信息导入公司内部。
　　
　　后，云计算助力企业管理虚拟化。
　　
　　可用信息终用来指导决策，通过将软件即服务应用于云平台中，可将可用信息转化到企业现有系统中，帮助企业强化管理模式。
　　
　　上升到我国互联网整体发展层面，虽然我国在互联网服务方面具有的优势，然而，越来越多的企业认识到，与云计算的结合将使大数据分析变得更简单，未来几年，如能在大数据与云计算结合领域进行深入探索，将使我们在市场更具竞争力，这是非常关键的问题。
　　
　　2、大数据需要什么人才?
　　
　　大数据需要以下六类人才：
　　
　　(1)大数据系统研发工程师
　　
　　这一专业人才负责大数据系统研发，包括大规模非结构化数据业务模型构建、大数据存储、数据库构设、优化数据库构架、解决数据库中心设计等，同时，还要负责数据集群的日常运作和系统的监测等，这一类人才是任何构设大数据系统的机构都必须的。
　　
　　(2)大数据应用开发工程师
　　
　　此类人才负责搭建大数据应用平台以及开发分析应用程序，他们必须熟悉工具或算法、编程、优化以及部署不同的MapReduce，他们研发各种基于大数据技术的应用程序及行业解决方案。其中，ETL是很抢手的人才，他们所做的是从不同的源头抽取数据，转换并导入数据仓库以满足企业的需要，将分散的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，后加载到数据仓库，成为联机分析处理、数据挖掘的基础，为提取各类型的需要数据创造条件。
　　
　　(3)大数据分析师
　　
　　此类人才主要从事数据挖掘工作，运用算法来解决和分析问题，让数据显露出真相，同时，他们还推动数据解决方案的不断更新。随着数据集规模不断增大，企业对Hadoop及相关的廉价数据处理技术如Hive、HBase、MapReduce、Pig等的需求将持续增长，具备Hadoop框架经验的技术人员是抢手的大数据人才，他们所从事的是热门的分析师工作。
　　
　　(4)数据可视化工程师
　　
　　此类人才负责在收集到的高质量数据中，利用图形化的工具及手段的应用，清楚地揭示数据中的复杂信息，帮助用户更好地进行大数据应用开发，如果能使用新型数据可视化工具如Spotifre，Qlikview和Tableau，那么，就成为很受欢迎的人才。
　　
　　(5)数据安全研发人才
　　
　　此类人才主要负责企业内部大型服务器、存储、数据安全管理工作，并对网络、信息安全项目进行规划、设计和实施，而对于数据安全方面的具体技术的人才就更需要了，如果数据安全技术，同时又具有较强的管理经验，能有效地保证大数据构设和应用单位的数据安全，那就是抢手的人才
　　
　　(6)数据科学研究人才
　　
　　数据科学研究是一个全新的工作，够将单位、企业的数据和技术转化为有用的商业价值，随着大数据时代的到来，越来越多的工作、事务直接涉及或针对数据，这就需要有数据科学方面的研究专家来进行研究，通过研究，他们能将数据分析结果解释给IT部门和业务部门管理者听，数据科学专家是联通海量数据和管理者之间的桥梁，需要有数据专业、分析师能力和管理者的知识，这也是抢手的人才。
　　
　　3、大数据行业的从业者是从哪获得数据的?
　　
　　大数据行业的从业者有多种途径获得数据，也就是我们常说的数据源，具体有一下几种：
　　
　　(1)官方数据(政府部门或企业直接提供的数据或数据接口);
　　
　　(2)半官方数据：如各类行业协会，俱乐部;
　　
　　(3)各个平台的数据：如淘宝网、京东、唯品会，有些会免费开发数据，还有一部分是付费的数据软件;
　　
　　(4)再然后就是从业者自己收集的数据，一般都是用一些数据采集工具或软件，工具如：爬虫软件，百度蜘蛛等;
　　
　　(5)后就是购买的数据，一般有一些专门数据采集的机构，像像艾瑞、浪潮，以及传统的调研企业。
　　
　　数据的获取方式有很多种，同样，数据的使用方式也有很多种，比如说行业销售趋势，有人用销售额数据，有人用销量数据。数据就像一个任人打扮的姑娘，使用的人会选取自己想要的数据来展示，所以考量数据的真实性，一个是数据来源，还有就是数据的选择是否合理。