文章正文
物联网趋势与数据科学自动化

发布时间:2017-05-02

  数据科学是对大数据或物联网(IoT)环境进行的任何分析练习的核心。数据科学涉及广泛的技术,业务和机器学习算法。数据科学的目的不仅是做机器学习或统计分析,而且还可以从没有统计知识的用户理解的数据中得出洞察。

  在诸如大数据和物联网等快节奏的环境中,数据类型可能随时间而变化,变得难以每次都维护和重新建立模型。这个差距需要一种自动化的方式来管理这些环境中的数据科学算法。数据科学的兴起旨在将我们从基于规则的系统转移到机器自身学习规则的系统中。机器学习使数据科学固有地部分自动化。需要手动干预的数据科学的一半仍然是自动化的。然而,这些领域涉及到人们的经验和智慧:数据科学家,商业专家,软件开发人员,数据集成商,目前有助于使数据科学项目运作的人。这使得数据科学的各个方面都难以实现自动化。但是,我们可以将数据科学自动化视为两级架构,其中:

  不同的数据科学学科/组件是自动化的

  所有单独的自动化组件都是互连的,以形成一个连贯的数据科学系统

  我们可以将数据科学系统视为自动化,只要它们足够能够在我们抛出数据集时解决我们的问题。此外,应该足够聪明地向我们提供我们可以理解的语言中的所有可能的解决方案。

  数据准备,机器学习,领域知识和结果解释是成功执行数据科学项目所需的四个主要任务。所有这些任务都必须转换为自动化模块,以创建一个自动化的数据科学系统(图1)。

物联网趋势与数据科学自动化

  数据准备自动化

  数据准备是每次创建模型时必须完成的重复任务。数据提取,数据清理和数据转换(例如估算空值和算法特定转换)是属于此类别的一些任务。许多组织将这些任务自动化,并将引擎标记为数据科学自动化工具。但是,大多数这些工具使用基于规则的逻辑来自动执行数据预处理任务。这是正确的做法吗?我们是否需要基于规则的系统来自动化数据科学,这是终止基于规则的系统诞生的?不,我们需要通过机器学习自动进行数据预处理。例如,关于什么预处理功能必须应用于问题的数据的决定是由机器本身做出的。

  特征工程是需要自动化的另一个数据准备领域。特征工程是将原始数据转换为属性/预测变量的技术,可提高机器学习项目的准确性。特征工程自动化仍处于初级阶段,也是一个积极的研究领域。麻省理工学院的数据科学家正在开发一种能够从原始数据生成特征的“深度特征综合”算法取得了令人难以置信的进步。

  自动机器学习/统计

  这是统计程序自动化的数据科学自动化领域。系统根据提供的数据集执行最佳算法。它隐藏了用户的复杂性和算法的数学复杂性,使其向群众提供。用户需要向自动统计学家提供数据。它了解数据,创建不同的数学模型,并根据最能说明数据的模型返回结果。自动统计学家是一个复杂的科学,因为它需要系统学习输入数据模式,找到最佳拟合值,并使用几种统计和机器学习算法自我优化其参数。这需要各种算法约束的推广和巨大的计算能力。

  通过利用基于云的服务器来管理高计算能力的需求,自动机器学习逐渐成熟。创建数据产品的组织逐渐包括诸如元学习的功能,基于数据集的元数据自动选择合适的机器学习算法的过程。像H2O.ai这样的组织通过引入几个内置功能来推广模型构建过程,并提供了许多模型调整选项,可以更好地控制算法。此外,他们已经将超参数调优作为几乎所有算法的特征,使数据科学家免于使用不同参数测试模型的繁琐过程。超参数调整是使机器学习模型重新运行多次的自动化尝试和错误的过程,以确定数据集上的模型的适当参数。

  洞察产生自动化

  数据科学项目的结果直到和除非业务用户或没有统计知识的观众理解它才有用。数据科学活动的奶油是讲故事的部分,数据科学家以全面透明的方式向人们解释结果。自动化此任务需要从统计学家友好的结果自动生成用户友好的文本。自然语言生成(NLG)是当前的前沿框架,可以帮助将语言翻译成自然语言。 Nlgserv和simplenlg是我们可以用于此任务的两个NLG框架。此外,我们可以使用马尔科夫链自动生成句子和制作故事。

  数据科学自动化的创新已经开始,并将在未来几年逐渐演变。我们目前正处于一个阶段,我们已经开始处理个别数据科学模块的自动化。从这里,我们需要转移到更通用的数据科学平台,所有模块都自动化并集成在一起。这是一个变化的开始,就像房间大小的计算机被转换为信用卡大小的计算机一样。

  • 观众报名
  • 申请展位
展会资讯更多 >>

IoT生态圈五大专委会正式启动招募,诚邀优秀伙伴加入!

展区介绍 | IOTE上海站,2024再聚首,两大展区展览物联网盛宴!

聚焦风口 | 23亿连接,撬动 2024 蕴藏的AIoT商机!

2023年IoT行业内上新了哪些产品?口碑和销量几何?

IOTE生态行成都站首日——成都市迈德物联网技术有限公司生产基地参观活动圆满举行

展商资讯更多 >>

得实集团携专业打印机解决方案,精彩亮相IOTE深圳物联网展

安泰可科技--携RFID标签加工技术百威勒纸业设备,精彩亮相IOTE深圳物联网展

联恒物宇科技有限公司--专业RFID电子标签供应商,精彩亮相IOTE深圳物联网展

埃威科技--工业互联智能边缘倡导者,精彩亮相IOTE深圳物联网展

钦天导航--高精度GNSS“芯”,联万物未来,精彩亮相IOTE物联网展

锐驰物联--深耕RFID标签行业,精彩亮相IOTE物联网展

传麒智能--RFID电子标签复合机等产品,精彩亮相IOTE物联网展

厦门爱陆通--专业通信产品与解决方案提供商,将亮相IOTE物联网展

GIBIT金之桥科技--电子纸墨水屏显示产品制造商,将精彩亮相IOTE物联网展

华大电子--“芯”产品和“芯”方案,将精彩亮相IOTE物联网展

行业资讯更多 >>

为什么说2024年会是传感器发展的黄金时代?

毛利率83%,营收净利双增长,这家传感器公司怎样布局?

45亿!封测龙头进军存储领域,看上西部数据的“灯塔工厂”

大华2亿美元挖掘“安防石油”,中东安防市场成香饽饽?

深圳是如何用科技防范电动车起火引起严重事故的?

买了233亿美元的瑞萨电子,赚了多少?

突发卖身传闻!AI芯片独角兽或将易主?

视觉消费类市场2023年总结&2024年展望

“裁员”加码AI,只为快速找到商业化出口!

20万亿智慧养老市场打开,新的消费格局正在形成

粤ICP备05006090号-11 版权所有©IOTE 物联网展始于2009 | 深圳市物联传媒有限公司
首页 观众报名
关于展会
联系我们

微信扫码
注册展会VIP观众

服务热线

18676385933

在线咨询

回到顶部