Ultimate-AWS-Certified-AI-Practitioner-AIF-C01

AWS Elastic Inference vs Amazon SageMaker Serverless Inference

AWS Elastic Inference Amazon SageMaker Serverless Inference
服务定位 提供GPU加速的推理加速服务,降低深度学习推理成本 提供无服务器推理选项,简化机器学习模型部署和扩展
核心功能 为Amazon EC2实例、SageMaker实例或ECS任务附加GPU加速的推理加速能力 自动预置、扩展和关闭计算容量,根据推理请求的数量进行扩展
使用场景 适用于需要高性能推理加速的深度学习应用 适用于具有间歇性或不可预测流量的应用程序
计费方式 按使用的推理加速容量计费 按运行推理代码的持续时间和处理的数据量计费,无空闲时间费用
集成与支持 集成到Amazon SageMaker、EC2和ECS中,支持TensorFlow、MXNet和PyTorch等框架 集成到SageMaker中,支持多种机器学习框架和模型部署选项
性能与灵活性 提供灵活的GPU加速选项,支持单精度和混合精度操作 自动扩展计算容量,无需预先预测流量需求或管理扩展策略
部署与管理 附加到现有实例或任务上,无需修改代码 无服务器选项,简化部署和管理,无需配置或管理底层基础设施
优势 降低推理成本,提高推理性能 适用于间歇性或不可预测流量的应用程序,成本效益高
使用建议 适用于需要高性能推理加速的深度学习场景 适用于需要灵活扩展和成本效益的机器学习推理场景

AWS Glue vs SageMaker Data Wrangler

AWS Glue SageMaker Data Wrangler
定位 完全托管的ETL(提取、转换、加载)服务 SageMaker Studio Classic中的功能,专注于简化机器学习数据准备过程
数据处理引擎 Apache Spark 支持PySpark,但主要优势在于可视化用户界面
主要功能 数据发现、转换、加载的完整ETL工作流 简化数据准备过程,提供300多种内置数据转换功能,无需编写代码
用户界面 提供可视化的ETL管道开发环境,但需编写Spark作业脚本 完全可视化的用户界面,通过拖放操作完成数据准备
数据准备流程 创建作业,定义数据源、转换逻辑和目标位置,调度作业执行 创建数据流,通过可视化界面选择和转换数据,可直接用于机器学习模型训练
数据质量和洞察 提供数据目录服务,但数据质量和洞察分析需自行编写代码或脚本 内置数据质量和洞察功能,自动分析数据异常,生成直观报告
集成和扩展性 与其他AWS服务紧密集成,支持自定义Spark作业 与SageMaker其他功能紧密集成,支持将数据流导出为Jupyter Notebook或Python脚本
适用场景 处理大规模数据、构建复杂ETL工作流的企业 专注于机器学习项目、希望简化数据准备过程的数据科学家和工程师
优势 强大的数据处理和转换能力,支持多种数据源和目标 直观的可视化界面,丰富的内置转换功能,快速准备机器学习数据

SageMaker AutoPilot vs SageMaker Pipelines

SageMaker AutoPilot SageMaker Pipelines
核心功能 自动构建、训练和调整最佳机器学习模型 自动化机器学习工作流,包括数据加载、预处理、训练、评估、部署等
主要目的 简化机器学习模型的开发过程,减少手动干预 实现机器学习工作流的自动化和可重复性,提高开发效率
关键特性 - 自动数据预处理
- 自动算法选择和超参数调优
- 提供最佳模型建议
- 可视化模型性能和结果
- 可视化工作流构建
- 支持多种数据源和预处理步骤
- 自动执行和监控机器学习工作流
- 支持版本控制和团队协作
使用场景 - 快速构建和测试机器学习模型
- 初学者或希望快速获得初步结果的场景
- 需要快速迭代和测试多种算法的场景
- 复杂的机器学习项目
- 需要自动化和可重复的工作流
- 团队协作和版本控制
- 需要持续集成和持续交付(CI/CD)的场景
集成与支持 与SageMaker Model Registry、SageMaker Experiments等集成
支持多种机器学习框架和算法
与SageMaker其他功能(如Training、Notebook、Model Registry等)无缝集成
支持多种数据源和预处理步骤
支持Python SDK和可视化界面
优势 - 减少手动干预,加快模型开发速度
- 自动选择最佳算法和超参数
- 提供易于理解的模型性能和结果
- 降低机器学习入门门槛
- 提高机器学习工作流的自动化和可重复性
- 简化复杂的机器学习项目
- 支持团队协作和版本控制
- 实现CI/CD,提高开发效率
定价 作为SageMaker服务的一部分,定价根据使用的资源和功能而定 同样作为SageMaker服务的一部分,定价根据使用的资源和功能而定

SageMaker Model Registry vs Amazon SageMaker Multi-Model Endpoints

SageMaker Model Registry Amazon SageMaker Multi-Model Endpoints
核心功能 模型管理与版本控制 部署和管理多个模型于单一端点
主要用途 存储、版本控制和共享机器学习模型 在一个端点上托管和调用多个模型,简化部署和管理
关键特性 - 模型注册与版本追踪
- 模型元数据管理
- 模型审批流程
- 与SageMaker其他功能集成
- 支持多个模型在同一端点
- 动态路由请求到正确模型
- 自动扩展和负载均衡
- 简化模型更新和回滚
使用场景 - 机器学习生命周期管理
- 模型版本控制和审计
- 团队协作与模型共享
- 合规性和治理
- 多模型服务部署
- 简化模型管理复杂性
- 提高资源利用率
- 快速响应模型更新需求
集成与支持 与SageMaker Pipelines、SageMaker Experiments等集成
支持模型的自动化工作流和审批流程
与SageMaker Studio、SageMaker Training等集成
支持模型的快速部署和更新
优势 - 提供集中化的模型存储和版本控制
- 简化模型审批和共享流程
- 增强模型的可追溯性和合规性
- 降低模型部署和管理成本
- 提高模型服务的灵活性和可扩展性
- 简化模型更新和回滚过程
- 优化资源利用和性能
定价 作为SageMaker服务的一部分,定价可能包括模型存储、版本控制等费用 根据端点使用的实例类型、数量以及请求量等因素定价

SageMaker Studio vs SageMaker Experiments

SageMaker Studio SageMaker Experiments
核心功能 集成开发环境(IDE) 实验管理与跟踪
主要用途 提供基于Web的可视化界面,用于机器学习模型构建、训练和部署的全流程开发 组织、跟踪、比较和评估不同的机器学习实验和模型版本
用户界面 统一的Web界面,包含笔记本、实验管理、自动创建模型、调试等功能 可视化界面,支持浏览进行中的实验、搜索先前的实验、查看结果和比较实验
关键特性 - 快速上传数据
- 创建新笔记本
- 训练和调优模型
- 部署模型到生产环境
- 实时协作
- 生成式AI驱动的编程辅助工具
- 自动捕获输入参数、配置和结果
- 存储实验信息以供后续查看和分析
- 支持实验比较和评估
- 集成到SageMaker工作流中
使用场景 - 端到端的机器学习模型开发
- 数据可视化与分析
- 模型调试与优化
- 团队协作与版本控制
- 机器学习实验的管理和跟踪
- 模型版本比较与选择
- 实验结果分析与报告
- 科研与产品开发中的实验迭代
集成与支持 集成SageMaker其他功能,如Autopilot、Ground Truth等
支持多种机器学习框架和算法
与SageMaker Studio、Jupyter Notebook等集成
支持实验数据的可视化与分析
优势 - 简化机器学习模型开发流程
- 提高团队协作效率
- 提供丰富的开发工具和资源
- 支持大规模模型构建与部署
- 提高实验管理效率
- 便于实验结果的分析与比较
- 支持实验数据的长期存储与检索
- 促进机器学习模型的迭代与优化
定价 作为SageMaker服务的一部分,定价根据使用的SageMaker资源(如实例类型、训练时间等)计算 同样作为SageMaker服务的一部分,定价包含在SageMaker的整体使用费用中

Amazon SageMaker Edge Manager vs AWS Greengrass vs AWS NEO

Amazon SageMaker Edge Manager AWS Greengrass AWS Neo
服务概述 提供边缘设备上的模型管理服务,包括模型部署、监控、更新及优化 边缘计算软件,使设备能在本地处理数据并与AWS云服务交互 机器学习模型优化服务,自动优化模型以适应不同硬件平台
主要功能 - 边缘设备上的模型部署、监控与更新
- 模型加密与签名保护
- 数据采样与分析,支持偏差检测与模型重训练(已停产)
- 本地运行Lambda函数、消息队列、数据缓存等AWS服务
- 与AWS IoT服务集成,实现设备连接与数据收集
- 数据同步与离线操作支持
- 自动优化TensorFlow、MXNet、PyTorch等模型,提高运行效率
- 模型格式转换,解决软件兼容性问题
- 支持资源有限的边缘设备执行复杂模型
使用场景 - 边缘设备上的机器学习模型部署与管理
- 需要对边缘模型进行实时监控与优化的场景(已停产)
- 物联网应用中的本地数据处理与云服务交互
- 低延迟、高可靠性的边缘计算需求
- 复杂模型在边缘设备上的高效运行
- 跨硬件平台的机器学习模型部署
集成与支持 - 集成Amazon SageMaker服务,支持多种机器学习算法
- 与AWS IoT Greengrass集成,简化模型管理(已停产)
- 支持多种操作系统与硬件平台
- 与AWS IoT、Lambda、S3等服务无缝集成
- 提供SDK与API,支持自定义组件开发
- 适用于多种机器学习框架与算法
- 与AWS SageMaker紧密集成,优化模型部署与运行
优势 - 简化边缘设备上的模型管理流程(已停产)
- 提供模型加密与签名保护
- 数据监控与分析功能有助于模型优化
- 强大的本地计算与数据处理能力
- 广泛的物联网协议支持
- 减少云依赖,提高响应速度与可靠性
- 自动优化模型,提高运行效率与兼容性
- 支持资源有限的边缘设备
- 加速机器学习模型在边缘的部署与应用
劣势 - 已停产,无法再用于新项目或扩展现有项目
- 功能可能受限于边缘设备性能
- 需要边缘设备具备足够的计算与存储资源
- 自定义组件开发需要一定技术门槛
- 优化效果可能因模型与硬件平台而异
- 需要与AWS SageMaker服务配合使用
备注 Amazon SageMaker Edge Manager已于2024年4月26日停产,用户需考虑迁移至其他服务或解决方案 AWS Greengrass是AWS边缘计算战略的重要组成部分,持续更新与扩展功能 AWS Neo作为SageMaker的一部分,为用户提供便捷的机器学习模型优化服务

说明:

  • Amazon SageMaker Edge Manager
    • 已停产:用户需考虑迁移至其他服务或解决方案,如使用AWS IoT Greengrass结合其他AWS服务来实现边缘设备上的模型管理。
    • 主要功能包括边缘设备上的模型部署、监控、更新及优化,以及模型加密与签名保护等。
    • 适用于需要实时监控与优化边缘模型的场景,但现已无法再用于新项目或扩展现有项目。
  • AWS Greengrass
    • 是AWS边缘计算战略的重要组成部分,持续更新与扩展功能。
    • 提供强大的本地计算与数据处理能力,支持多种操作系统与硬件平台。
    • 与AWS IoT服务集成,实现设备连接与数据收集,支持低延迟、高可靠性的边缘计算需求。
  • AWS Neo
    • 作为SageMaker的一部分,为用户提供便捷的机器学习模型优化服务。
    • 自动优化TensorFlow、MXNet、PyTorch等模型,提高运行效率,并解决软件兼容性问题。
    • 支持资源有限的边缘设备执行复杂模型,加速机器学习模型在边缘的部署与应用。

用户可以根据具体的应用场景和需求,选择适合的AWS服务来实现边缘计算与机器学习模型的优化与部署。

Amazon SageMaker Endpoint

Amazon SageMaker Endpoint 是Amazon SageMaker提供的一项关键服务,用于部署和托管机器学习模型,以便进行实时推理

核心功能

  • 模型部署:SageMaker Endpoint允许用户将训练好的机器学习模型部署到云端,从而可以通过API进行实时请求。无论是文本处理、图像识别,还是深度学习的其他应用场景,SageMaker Endpoint都能轻松应对。
  • 实时推理:部署在SageMaker Endpoint上的模型可以实时处理输入数据,并返回预测结果。这对于需要快速响应的应用场景至关重要。
  • 可扩展性:SageMaker Endpoint支持自动扩展和负载均衡,能够根据请求量动态调整资源分配,确保服务的可用性和性能。

使用场景

  • 实时预测:SageMaker Endpoint适用于需要实时预测的应用场景,如推荐系统、欺诈检测等。
  • 模型服务:用户可以将训练好的模型部署到SageMaker Endpoint上,作为服务提供给内部或外部用户使用。
  • 模型迭代:SageMaker Endpoint支持快速迭代和更新模型,用户可以根据新的数据或算法重新训练模型,并轻松地将其部署到生产环境中。

Cheat Sheet

  1. image-20250101154737256

Ultimate-AWS-Certified-AI-Practitioner-AIF-C01
https://leopol1d.github.io/2024/10/05/Ultimate-AWS-Certified-AI-Practitioner-AIF-C01/
作者
Leopold
发布于
2024年10月5日
许可协议