加快物联网整体解决方案的速度

数据分析师应如何利用边缘数据模型进行实时数据洞察，还应让云参与对时间不太敏感的任务。

本文的主要内容：

边缘计算为实时数据分析和建模提供了新的机会。

但是，物联网边缘数据模型需要较少的整体方法来进行数据湖和建模。

数据分析师需要新的技能，以便能够在边缘和云中正确分类/提取和管理这些数据。

企业渴望使用物联网数据来了解成本、运营及其未来前景。

移动设备和物联网设备（IoT）生成的数据使组织能够降低成本，提高运营效率并进行创新。但是，只有组织可以在适当的时候从数据中获取意义。

反过来，为数据提供含义和背景将使数据分析人员负责构建可以传递有意义的数据模型。此外，这些数据量很大，并且来自许多不同的位置，而且速度极快。

除了诸如数据湖之类的整体数据存储之外，数据分析师还应设计边缘数据存储，以提高速度和实时洞察力，从而为每个业务部门和目的解决众多问题。

Zhamak Dehghani在一篇关于从集中式数据湖中获取实时数据的文章中写道：“不是将数据从域流到中央拥有的数据湖或平台，而是需要以一种易于使用的方式托管和服务其域数据集。”

在边缘上尤其如此，即使设备数量激增，计算处理资源也可能非常宝贵。通过边缘计算，数据算法可以在本地服务器或网关上甚至在设备本身上运行，从而实现对企业至关重要的更高效的实时应用。

机器学习平台Splunk的创新和数字生态系统高级主管Lerry Wilson说：“边缘将计算能力放在行动发生的地方。”

国际数据公司（IDC）的一项新预测估计，到2025年，将有416亿个IoT设备或“物”产生79.4 ZB的数据。这些数据还需要从无数的设备和业务部门获取，通常是孤立的和格式不同，这会增加额外的复杂性。

Wilson说：“这些组织内部的复杂性已经超出了仅保持这些设备正常运行的能力。” “您必须能够看到设备如何与设备交互。 “从安全的角度来看，这绝对至关重要，但从运营和业务角度来看也是如此。”

数据量和速度

从业人员强调，要有效地将边缘计算用于快速数据处理，就需要采用不同的方法来进行数据建模和提取。数据分析人员需要考虑如何使用数据以及可以容许多少延迟以及其安全性和存储要求。

这将需要一种混合的方式来处理数据，并需要新的边缘数据模型来支持速度，而不是总体的整体数据模型。

Peak Technologies的首席工程师Dan Sullivan说：“从数十万个传感器中获取原始数据，然后在其中进行最少的处理，然后将其余数据发送到一个集中的位置-这种方法将变得越来越流行。”

因此，例如，如果物联网数据可用于检测关键业务异常，则可能需要立即处理该数据。但是，随着时间的推移，环境数据可能并不重要，可以发送到云或本地数据中心进行进一步处理。

同时，尽管决策者希望这些数据随时可用，但快速的数据准备和清理可能会妨碍快速的数据处理。

实际上，根据TMMData和Digital Analytics Association（数字分析协会）进行的一项调查，近40％的数据专业人员每周花费20多个小时来访问、混合和准备数据，而不是进行实际分析。

物联网数据仍然需要进行这种准备，但分析人士表示，现在最好尝试先创建较少的整体模型，而这些模型需要大量的逻辑数据连接。目标是快速摄取数据，然后以目标方式查询数据。

“除了找出一个复杂的解决方案，我们还有两个简单的解决方案-而不是一个整体解决方案。当问题完全不同时，您不会尝试使用一种数据模型来回答所有问题。由于数据太多，您希望快速定位数据的子集。”

Sullivan指出，某些数据也可能会发送到云中以进行机器学习和算法训练。这些数据可能不需要这么低的延迟或快速的周转时间。

“从机器学习的角度来看，原始数据很重要，” Sullivan说。 “它没有像异常检测数据那样的延迟要求。您可以分类这些数据以进行机器学习，然后将其缓慢加载到云对象存储中。”

这种新的数据建模方法呼应了有关IoT数据管理的论文，声称IoT数据模型需要更灵活以适应实时数据管理和大量数据。

“尽管已经证明并行关系[数据库管理系统（DBMS）]优于非结构化DBMS范式，但从关系模型转向支持更灵活的数据库结构的数据库模型正变得越来越受欢迎。”

物联网数据管理技能仍然是一个障碍

专家们同意，关于数据去向以及如何最大程度地利用数据的这类决策需要独特的技能。

Rashi Deshai在一篇有关数据科学家的最高技能的文章中写道：“数据科学家是……全才型的大师。” “他们必须了解数学、统计学、编程、数据管理（和）可视化……80％的工作用于准备数据以在行业环境中进行处理。”随着数据量持续爆炸，数据管理已成为数据科学家的一项技能。

但是，组织内部可能缺少这些技能。他们要么需要通过额外的教育和培训来培养这些技能，要么应征募第三方合作伙伴关系。

Sullivan说：“这种举动将伴随着人们。” “只有很少的人了解如何大规模处理数据。在本地进行此操作很昂贵，但需要大量的工程经验。需要能够编写数据工程管道的人员来从中提取价值。”

正如另一个数据管理所指出的那样，这需要万事通技能集。

数据反映了IT数据管理中长期存在的技能短缺。

根据IoT World Today的2020年8月IoT采用调查，缺乏内部技能会阻碍IoT项目：27％的受访者表示，他们缺乏专业知识正在阻碍IoT部署。

Splunk的Wilson表示，运营部门和信息技术部门之间的孤岛也是一个障碍，但是OT开始在边缘看到自动化和机器学习的优点。

Wilson说：“人们开始为实时机器学习部署工具和过程。” “他们正在拥抱这个概念，以及为实现这一目标而开展的工作。”