导图社区 阿里云人工智能平台 PAI
人工智能平台 PAI(Platform of Artificial Intelligence)面向企业客户及开发者,提供轻量化、高性价比的云原生人工智能,涵盖DSW交互式建模、Designer拖拽式可视化建模、DLC分布式训练到EAS模型在线部署的全流程。
编辑于2024-03-10 09:17:30本合集包含10篇项目管理精品文章合集,包括:PMO战略管理、PMO如何管理项目经理工作、PMO如何管理危机项目、项目团队行动指南、用看板管理大型项目、项目集管理、项目进度管理、如何项目复盘、IPD流程管理、项目经理面试准备。非常具有收藏价值。
本合集包含一篇精品文章AIGC介绍和四款阿里云AI产品介绍。
本合集详细介绍了腾讯云计算产品,包括:云服务器CVM、批量计算、高性能应用服务、Batch、高性能计算平台、高性能计算集群、专用宿主机、GPU云服务器、裸金属服务器、清凉应用服务器。非常具有收藏价值。
社区模板帮助中心,点此进入>>
本合集包含10篇项目管理精品文章合集,包括:PMO战略管理、PMO如何管理项目经理工作、PMO如何管理危机项目、项目团队行动指南、用看板管理大型项目、项目集管理、项目进度管理、如何项目复盘、IPD流程管理、项目经理面试准备。非常具有收藏价值。
本合集包含一篇精品文章AIGC介绍和四款阿里云AI产品介绍。
本合集详细介绍了腾讯云计算产品,包括:云服务器CVM、批量计算、高性能应用服务、Batch、高性能计算平台、高性能计算集群、专用宿主机、GPU云服务器、裸金属服务器、清凉应用服务器。非常具有收藏价值。
人工智能平台 PAI
什么是人工智能平台PAI
什么是机器学习
机器学习是一门多学科交叉专业,涵盖概率论知识、统计学知识、近似理论知识和复杂算法知识,它使用计算机作为工具并致力于真实、实时地模拟人类学习方式,并将现有内容进行知识结构划分来有效提高学习效率。机器学习对研究问题进行模型假设,利用计算机从训练数据中学习得到模型参数,并最终对数据进行预测和分析。它可以在以下一些场景得到使用。
内容生成:根据需要,生成主题相关的文字、图片、视频、音频内容。
营销类场景:商品推荐、用户群体画像或广告精准投放。
金融类场景:贷款发放预测、金融风险控制、股票走势预测或黄金价格预测。
社交网络服务关系挖掘场景:微博粉丝领袖分析或社交关系链分析。
文本类场景:新闻分类、关键词提取、文章摘要或文本内容分析。
非结构化数据处理场景:图片分类或图片文本内容提取。
其他各类预测场景:降雨预测或足球比赛结果预测。
机器学习包括传统机器学习和深度学习,有以下几种类型:
监督学习(Supervised Learning):每个样本都有对应的目标值,通过搭建模型实现从输入特征向量到目标值的映射,例如解决回归和分类问题。
无监督学习(Unsupervised Learning):所有样本没有目标值,期望从数据本身发现一些潜在规律,例如解决聚类问题。
强化学习(Reinforcement Learning):相对较为复杂,系统与外界环境不断交互,在外界反馈的基础上决定自身行为,以达到目标最优化。例如阿尔法围棋和无人驾驶。
什么是人工智能平台PAI
PAI底层支持多种计算框架:
流式计算框架Flink。
基于开源版本深度优化的深度学习框架TensorFlow、PyTorch、Megatron和DeepSpeed。
千亿级特征样本的大规模并行计算框架Parameter Server。
Spark、PySpark、MapReduce等业内主流开源框架。
PAI提供的服务:
可视化建模和分布式训练Designer
Notebook交互式AI研发DSW(Data Science Workshop)
分布式训练DLC(Deep Learning Containers)
在线预测EAS(Elastic Algorithm Service)
PAI依托于阿里云及阿里巴巴集团多年的应用及技术积累,具备以下多种优势。
AI 研发全生命周期全链路:
支持数据标注、模型开发、模型训练、模型优化、模型部署以及AI运维管控,是一站式AI平台。
拥有140+种优化的内置算法组件。
支持业内TensorFlow、PyTorch等多种深度学习框架。
提供多种模式、大数据引擎深度结合、多框架兼容、自定义镜像等核心能力。
提供云原生架构的AI开发、训练、部署的产品。
多样的产品输出方式:
公共云支持全托管、半托管。
支持AI 高性能计算集群和轻量化输出产品形态。
业内领先的AI优化:
高性能的训练框架,稀疏训练场景,支持数十亿到数百亿的稀疏特征规模,数百亿到数千亿的样本规模,上千worker的分布式增量训练。
主流框架模型加速,使用PAI Blade提升RestNet50、Transformer+LM等十数个主流模型加速比。
该服务支持单独或组合使用。支持一站式机器学习,您只需准备好训练数据(存放到OSS或MaxCompute中),所有建模工作(包括数据上传、数据预处理、特征工程、模型训练、模型评估和模型发布至离线或在线环境)都可以通过PAI实现。
对接DataWorks,支持SQL、UDF、UDAF、MR等多种数据处理方式,灵活性高。
生成训练模型的实验流程支持DataWorks周期性调度,且调度任务区分生产环境和开发环境,从而实现数据安全隔离。
功能特性
丰富的机器学习算法
PAI的算法都经过阿里巴巴集团大规模业务的沉淀,不仅支持基础的聚类和回归类算法,同时也支持文本分析和特征处理等复杂算法。
支持对接阿里云其他产品
PAI训练的模型直接存储在MaxCompute中,可以配合阿里云的其他产品使用。
一站式的机器学习体验
PAI支持从数据上传、数据预处理、特征工程、模型训练、模型评估到模型发布的机器学习全流程。
支持主流深度学习框架
PAI支持TensorFlow、Caffe及MXNet等主流的机器学习框架。
可视化的建模方式
封装了经典的机器学习算法,并提供了可视化的建模,其支持使用拖拽的方式搭建机器学习实验而无需显式编程。
一键式的模型部署服务
PAI支持将Designer DSW 生成的训练模型一键式发布为Restful API接口,实现模型到业务的无缝衔接。
优质的技术保障
您在使用过程中遇到任何问题,请联系您的商务经理来处理,或者联系相关接口人
产品架构
1. PAI的产品架构
2. PAI的业务架构分为以下四层:
基础资源层(计算资源&基础设施):
基础设施包括CPU、GPU、高速RDMA网络以及容器服务ACK等。
计算资源包括云原生资源(灵骏计算资源和通用计算资源)和大数据引擎资源(MaxCompute和Flink)。
平台工具层(灵骏智算服务&人工智能框架):
人工智能框架:包括Alink、TensorFlow、PyTorch、Megatron、DeepSpeed及RLHF等智能框架,用于执行分布式计算任务。
优化与加速框架:包括DatasetAcc数据集加速、TorchAcc训练加速、EPL并行训练框架、Blade推理加速、AIMaster自动容错训练以及EasyCkpt秒级异步训练快照等。
按照机器学习全流程,PAI分别提供了数据准备、模型开发与训练以及模型部署阶段的产品:
1. 数据准备:PAI提供了标注服务,支持在多种场景下进行数据标注和数据集管理。
2. 模型开发与训练:PAI提供了可视化建模(Designer)、交互式建模(DSW)、分布式训练(DLC)以及特征平台(FeatureStore),满足不同的建模需求。
3. 模型部署:PAI提供了模型在线服务(EAS),帮助您快速地将模型部署为服务。
应用层(模型服务):支持模型服务包括ModelScope魔搭社区、PAI-DashScope、第三方MaaS平台和百炼。
业务层(场景化解决方案):PAI应用于自动驾驶、科研智算、金融风控、智能推荐等各个领域。阿里巴巴集团内部的搜索系统、推荐系统及金融服务系统等,均依赖于PAI进行数据挖掘。
3. PAI产品模块
名词 描述 智能标注(iTAG) 集成智能能力(黑盒)的数据集标注工具,有效降低标注工作量,快速获取高质量的标注数据集。 可视化建模(Designer) 面向AI领域的工作流设计工具,封装了丰富的机器学习算法组件。您无需代码基础,通过拖拉拽即可训练模型。 交互式建模(DSW) 面向AI开发者的云端机器学习交互式开发IDE,包含Notebook、VSCode及Terminal。您可以基于镜像指定NAS作为存储启动DSW。 容器训练(DLC) 快速将训练任务提交到当前工作空间关联的计算资源(例如通用计算资源)中,提交后的任务详情可以在PAI任务管理模块中查看。 模型在线服务(EAS) 支持大规模复杂模型的一键部署功能,实时弹性扩缩容,并提供完整的运维监控体系。 AI资产管理 提供包括数据集、模型、代码配置等核心AI资产的管理能力。 场景化解决方案 基于PAI平台能力孵化的垂直领域解决方案集合,方便您直接应用。