智能工厂将给数据分析带来难题
发布日期：2015-07-06 浏览次数 ：557
【导读】根据调查发现，目前大数据战略为95%的企业带来了收益。但随着物联网技术的深入应用，越来越多的智能工厂将给数据分析带来前所未有的难题。
“利用大数据分析系统，我们的工程师可以一时间发现机器出现的异常，从而将受损失的产品数量降到zui低。”中芯技术顾问王邕保对大数据的作用深有感触。在中芯这样的大型制造型企业中，每天各个部门都面临着很多基于数据的决策，从工业大数据中降低损失获取价值是zui大诉求。随着《制造2025》和“互联网＋”战略的提出，工业大数据的应用，将成为企业提升生产力、竞争力、创新力的关键要素，也是我国工业转型必须面对的重要课题。
实时数据流形成
工业领域数据采集速度变得更快，形成了实时数据流的分析。
大数据已经开始摆脱概念炒作的“雾霾”，开始走向实操阶段。近日，调研机构Vanson Bourne对11个中来自零售业、金融服务、医疗卫生、银行业、电信业、保险业和政府的1000名IT管理者进行了调查。调查结果显示，大数据战略为95%的企业带来了收益，96%的大型企业已经或计划在未来一年内实施大数据项目。值得注意的是，区参与调查的全部企业正在或将会利用大数据进行目标更的市场和销售活动。
那么，对于工业大数据而言，与其他行业应用相比，又有哪些不同之处呢？
SAS行业实践总监Thomas Roehm表示，制造业应用大数据技术已有相当长的一段时间，不论是企业ERP系统还是生产车间的感应器等设备采集的数据，都能进行存储和分析。需要指出的是，与之前相比，目前工业大数据技术应用zui大的变化就是数据采集的速度更快了，从而形成了实时数据流的分析，这样带来的好处是可以加速工业企业建立预测模型。例如，提高良品率分析的效率，从而能更加及时地采取预防措施提高良品率，减少浪费并减低运营成本。当然，在完善供应链、提高产品质量方面也会有促进作用。
不过，Thomas Roehm也表示，无论是在未来的工业4.0阶段还是智能制造领域，工业大数据zui大的挑战仍然是数据本身，特别是实时海量的数据如何更加快速采集、存储和分析。
让数据动起来
数据模型是非结构化数据分析的基础，通过分析获取价值更重要。
在工业领域，随着物联网技术的深入应用，将诞生越来越多的智能工厂，产品全生命周期中各个环节会产生大量的数据类型更为复杂的数据，例如半结构化和非结构化数据。对于这些数据，不仅给数据存储带来挑战，更给数据分析带来前所未有的难题。
“关于大数据的存储，市面上已经有很多的解决方案，这方面技术已经相对成熟。但是，数据存储下来并不是我们应用大数据技术的目的，如何分析和使用，让大数据动起来，为业务提供价值更为重要。”CA Technologies Erwin研发经理王铮表达了这样的观点。关于这方面，不同厂商提出了不同的方法。据介绍，基于多年的研究，CA认为数据模型是非结构化数据分析的基础，大数据分析的关键在于如何建立准确的能够自我学习不断完善的数据模型。
“随着非关系型数据库的崛起与非结构化数据量的增长，企业的数据库环境会逐步转变为异构混合环境，关系型数据库和非关系型数据库共存。这对管理带来了更大的挑战，以前只需要几个DBA就可以管理的中心型关系数据库，现在则需要更多，尤其是非关系型数据库的加入，并且投入更多管理工具来维护和监控这个复杂的环境。”王铮补充道。
达梦数据库有限公司董事长冯玉才认为平台化将是大数据技术发展的趋势。“近年来，数据量的规模化增长和应用场景的越发丰富，使传统IT架构信息系统已无法满足需要，企业级大数据管理不仅面临着有效存储、实时分析和再处理以及各种信息安全风险等诸多挑战，而且在大数据整合、管理、分析、呈现等各个环节，还需考虑所采购的不同工具之间的兼容、适配以及建设和维护整套系统所带来的成本压力。因此，能够提供从大数据存储、交换、管理到分析和呈现的一体化大数据管理服务的大数据平台将成为未来市场的焦点。”冯玉才表示。
需要“干净”的数据
不仅要重视大数据技术应用，更要重视数据质量的管理。
对于大数据分析，也不能完全迷信。如果从一堆错误的数据里挖掘价值，那么得到的决策建议也是错误的。西安交大管理学院副院长冯耕中向记者表示，大数据时代企业不仅要重视大数据技术应用，更要重视数据质量的管理。Thomas Roehm也认为，数据分析一切都是源于数据本身，因此一定要保持数据的清洁和干净。
记者了解到，在工业生产中，传感器搜集的数据就具有数据不纯的问题，很多数据值是缺失的。例如，在进行相关温度测定的时候，有可能只是温度达到一定的预值之后传感器才可能进行数据采集，从而导致后收集到的数据是不完整的，这就带来了问题。对此，不仅需要企业改善数据的纯度，还需要对一些数据进行注入和补充，通过平均值或者是标准差等方式更好地进行建模分析，这样才能得到正确的决策。
“当企业将数据收集起来并放到数据仓库之后，需要进行数据质量相关的研究和管理，比如说判断数据值是否正确，是否出现了重复和冗余的情况。另外，还需要在数据库里部署相应的机制，这样可以扩展到针对所谓的事件流进行实时的研究分析并发现相关数据的规律，从而进一步判断数据值的缺失或者数据值不准确的情况，以此来保证收集数据的准确性。”Thomas Roehm这样建议。
Thomas Roehm还提醒道，工业企业除了生产之外，在产品营销方面也会产生大量的非结构化的数据，特别是来自类社交媒体的数据。例如，有一些人针对产品进行点评，相关点评的真实性有时候是值得怀疑的，这个人有可能对这个产品不感冒，或者持否定的态度，他会一直发表针对该产品的一些负面观点。那么如果企业把这种信息全部收集过来就有可能影响结果的真实性和客观性，这就需要数据质量管理，确保终分析的数据是优质的。
高端人才成掣肘
大数据产业不仅要有技术储备，还要解决好人才培养问题。
工业大数据技术不仅涉及IT还涉及工业技术。在工业领域应用大数据技术对于人才的复合型要求更为突出。例如，做汽车行业的数据分析，不仅需要计算机、统计学、数学等知识，还要拥有丰富的汽车行业知识和经验，通过这些知识经验进行建模，才能开发出合适的分析方法，从而找到数据的价值。
“高度多学科综合性是大数据研究的特点。”科学院院士徐宗本表示，“数据获取与管理涉及管理、物理、电子与信息等学科；数据存储与处理涉及计算机科学；数据分析涉及数据数学与统计学；大数据应用则与各行各业相关学科关联。要有技术储备，还要解决好人才培养问题。”
目前，人才培养的重要性已被产业界和教育界意识到。例如上海就已正式启动了“数据科学和大数据人才培养计划”。上海市数据科学重点实验室先期开展“大数据工程硕士项目”。同时，还面向在校大学生，建设一批研究生开放课程。除此之外，沪上大数据人才培养计划还包括数据科学博士与博士后培养。
推荐行情