首页 国内 国际 要闻 社会 文化 健康 科技 教育 旅游 财经 实时

5种云计算所需的机器学习技能

2020-11-10 15:00:38 来源:深圳文化之窗
分享: 微信

机器学习和人工智能将会继续深入IT服务领域,并为软件工程师开发的应用程序提供补充。如果IT团队想跟上发展步伐,就需要提高他们的机器学习技能。

云计算服务为构建和部署人工智能和机器学习应用程序所需的一系列功能提供支持。在许多方面,人工智能系统的管理方式与IT专业人士在云平台中熟悉的其他软件非常相似。但只是因为可以部署应用程序,并不意味着可以成功地部署机器学习模型。

 

虽然这些共同点可能会促进过渡,但也存在着显著的差异。除了软件工程技能之外,组织的IT团队成员还需要拥有特定的机器学习和人工智能知识。除了技术专长之外,他们还需要了解目前可用的云计算工具来支持他们团队的计划。

IT专业人士需要探索在云端成功使用人工智能所需的五种机器学习技能,并了解亚马逊、微软和谷歌提供支持这些技能的产品。虽然这些技能有一些重叠,但不会有全能的技能。通过培养具有这些技能的团队成员,可以让组织获得利用基于云计算的机器学习的优势。

1. 数据工程

如果IT专业人员想在云平台实施任何类型的人工智能策略,都需要了解数据工程。数据工程包含一系列要求数据整理和工作流开发的技能,以及一些软件架构的知识。

IT专业知识的不同领域可以分解为IT专业人员应该完成的不同任务。例如,数据整理通常涉及数据源标识、数据提取、数据质量评估、数据集成和管道开发,以在生产环境中执行这些操作。

数据工程师应该能够轻松地使用关系数据库、NoSQL数据库和对象存储系统。Python是一种流行的编程语言,可以与批处理和流处理平台(如apachebeam)和分布式计算平台(如apachespark)一起使用。即使IT人员不是精通Python程序的专家,掌握一些Python语言的知识将使其能够从大量的开源工具中获取数据工程和机器学习。

数据工程在所有主要云平台中都得到了很好的支持。AWS公司提供了全面的服务来支持数据工程,例如AWS Glue,适用于Apache Kafka的Amazon Managed Streaming(MSK)和各种Amazon Kinesis服务。AWS Glue是数据目录以及提取、转换和加载(ETL)服务,其中包括对计划作业的支持。MSK是数据工程管道的有用构建块,而Kinesis服务对于部署可扩展流处理管道特别有用。

谷歌云平台提供了Cloud Dataflow,这是一项托管的Apache Beam服务,可以支持批处理和Steam处理。对于ETL流程,谷歌云平台提供了基于Hadoop的数据集成服务。

Microsoft Azure也提供了几种托管数据工具,例如Azure Cosmos DB、Data Catalog和Data Lake Analytics等。

2. 建立模型

机器学习是一门正在不断发展和进步的学科,IT人员可以通过研究和开发机器学习算法来从事自己的职业。

IT团队使用工程师提供的数据来构建模型和创建可以提出建议,预测值和对项目进行分类的软件。重要的是要了解机器学习的基础知识,即使许多模型构建过程都是在云中自动完成的。

作为模型构建者,需要了解数据和业务目标,制定问题的解决方案,并了解如何将其与现有系统集成的工作。

市场上的一些产品包括谷歌公司的Cloud AutoML,这是可以帮助组织使用结构化数据以及图像、视频和自然语言来构建自定义模型的服务,而无需对机器学习有更多的了解。 微软Azure在Visual Studio中提供了ML.NET模型构建器,该模型构建器提供了用于构建、训练和部署模型的界面。Amazon SageMaker是另一项托管服务,用于在云中构建和部署机器学习模型。

这些工具可以选择算法,确定数据中哪些特征或属性最有用,并使用称之为超参数调整的过程优化模型。这些服务扩展了机器学习和人工智能策略的潜在用途。正如人们驾驶汽车不必成为汽车机械工程师一样,IT专业人员也不需要获得机器学习的研究生学位来构建有效的模型。

3. 公平与偏差检测

算法做出的决策直接而显著地影响个人。例如,金融服务使用人工智能来做出有关信贷的决策,这可能会无意中对特定人群产生偏见。这不仅可能有拒绝信贷对个人带来的影响,而且还会使金融机构面临违反《平等信贷机会法》等法规的风险。

这些看似艰巨的任务对于人工智能和机器学习模型是必不可少的。检测模型中的偏差可能需要具有统计和机器学习技能,但是与模型构建一样,某些繁重的工作可以由机器完成。

FairML是用于审核预测模型的开源工具,可帮助开发人员识别工作中的偏见。检测模型偏差的经验还可以为数据工程和模型构建过程提供帮助。谷歌云的公平性工具在市场上领先,其中包括假设分析工具、公平性指标和可解释的人工智能服务。

4. 模型性能评估

模型构建过程的一部分是评估机器学习模型的性能。例如,根据准确性和召回率对分类器进行评估。回归模型(例如那些预测房屋出售价格的模型)是通过测量平均误差率来评估的。

如今表现良好的模型将来可能会表现不佳。问题不在于该模型是否以某种方式被破坏,而是该模型是根据不再反映其使用环境的数据进行训练的。即使没有突然的重大事件,也会发生数据漂移。重要的是评估模型并在生产中继续对其进行监视。

Amazon SageMaker、Azure Machine Learning Studio和Google Cloud AutoML等服务包括一系列模型性能评估工具。

5. 领域知识

领域知识并不是一种特定的机器学习技能,但它是成功的机器学习策略中最重要的部分之一。

每个行业都有一定的知识体系,必须以某种能力进行研究,尤其对于构建算法的决策者。机器学习模型受到约束以反映用于训练它们的数据。具有领域知识的IT人员对于知道在哪里应用人工智能,并评估其有效性至关重要。

 


(责任编辑:深圳文化之窗)


免责声明:本站所有文章内容不代表本站立场,本站不对其内容的真实性、完整性、准确性给予任何担保、暗示和承诺,仅供读者参考;文章版权归原作者所有!本站作为信息内容发布平台,信息均由网友投稿发布,页面展示内容的目的在于传播更多信息;本站内容不参与任何的商业性质服务与用途,阁下应知本站所提供的内容不能做为操作依据。如本文内容影响到您的合法权益(含文章中内容、图片等),请及时联系我们,我们核实后会及时删除处理。

相关文章

理解AI:为什么要在人工智能系统中寻求可解释性呢?

本文转载自公众号“读芯术”(ID:AI_Discovery)。或许这是你第一次听到人工智能前面加“可解释的”这个形容词,但其实它的涵义你一定能理解。可解释的人工智能(XAI)是指构建AI应用程序的技术和方法,...

来源:深圳都市报

别样双十一:打工人变尾款人,消费者回归理性

据记者观察,尽管今年“双十一”人们的消费热情依旧,但消费观念受疫情影响而发生了较大转变,以往消费者在大促期间疯狂“买买买”的习惯正被理性消费所取代,让后疫情时代下的首个“双十一”...

来源:热点资讯播报

京东2020谢春花“肆意生长”演唱会宣传片上线

今日,心喜文化旗下原创音乐人谢春花「京东2020谢春花“肆意生长”演唱会」宣传片正式上线。同时演唱会也已在大麦票务正式开票,即将于11月21日在上海梅赛德斯奔驰文化中心开唱,向阳而生,无畏前行,谢春花...

来源:热点资讯播报

《跨次元新星》Angelababy小鬼虞书欣为“抢选手”互放狠话

爱奇艺《跨次元新星》几期节目播出后,已成为年轻人们炙手可热讨论的话题。次元星在台前幕后的专业表现不断圈粉,让观众真切感受到了水平超稳、颜值超高的虚拟偶像图鉴。在第四期节目中,扩列师Angelababy...

来源:深圳热点资讯

“论文造假”翟天临晒近照 排演话剧发福明显

11月9日,翟天临罕见在社交平台晒近况。他晒出了话剧舞台照及与剧组成员的合影,并发长文透露自己一周内有两部话剧同时巡演,直呼感到压力山大。还记录了排练途中的心得,并感谢了剧组的同伴和每一位观众的鼓励。...

来源:深圳热点资讯

美公布涉伊新制裁 中资公司在列 具体清单都有哪些?

"据俄罗斯媒体报道,美国财政部在其网站上发布了新一轮与伊朗相关的制裁名单,声称这些企业和个人为伊朗国防和武装部队后勤部旗下军事公司协助采购美国产电子元件等敏感货物。据悉,共有四名个人和六家公司被列入其中。...

来源:深圳都市爆料

美媒: 共和党人开始准备2024年大选 具体怎么回事?

"11日,#美媒: 共和党人开始准备2024年大选#相关话题引发关注。据美媒报道,虽然美国大选尚未尘埃落定,但共和党已经有成员开始考虑填补“后特朗普时代”留下的“共和党权力真空”。尤其是那些有望出战2024年大选的“种子...

来源:热点资讯

支持港独立法会议员将丧失资格 具体怎么回事?

"11日,#支持港独立法会议员将丧失资格#相关话题引发关注。据悉,在11日闭幕的第十三届全国人民代表大会常务委员会第二十三次会议表决通过了《全国人民代表大会常务委员会关于香港特别行政区立法会议员资格问题的决定》...

来源:深圳房产频道

拜登谈到蓬佩奥 当场笑了 拜登是在笑什么?什么情况?

"当地时间11月10日,美国国务卿蓬佩奥在发布会上声称“已经准备好了过渡到特朗普政府的第二任期”。在谈及大选情况及总统权力交接时,拜登明确表示特朗普任期只能到1月20日。拜登称总统或国务卿的任何断言都没有证据。...

来源:深圳民生频道

TikTok再起诉美国政府 具体是什么情况??

"近日,一则“TikTok再起诉美国政府”的消息在网上引发关注。据悉,此前8月14日,总统特朗普颁发总统令强制要求字节跳动公司在11月12日之前剥离TikTok美国业务。...

来源:娱乐之窗

合作联系

联系方式

中华网新媒体 财经频道
互动/投稿邮箱:
852414410@qq.com
网上不良信息举报QQ:852414410
内侵权删除处理QQ:852414410
本站涵盖的内容、图片、视频等内容均由网友自助投稿或发布,本站不对内容真实性承担责任。若涉内容及版权问题,请联系我们进行删除!