太酷了！iPhone、iPad、MacBook老旧设备组成异构集群，能跑Llama 3

今日应用

怪兽数字人

怪兽AI数字人为怪兽智能科技推出的产品，包含全息交互数字人、3D超写实交互数字人，AIGC生产、SaaS管理和直播服务平台。创始团队来自怪兽智能大数据平台，在互联网、物联网、智能软硬件等领域积累了丰富的行业经验，致力于打造全球领先的AIGC数字人智能平台。通过真人形象克隆、真人声音克隆、孪生姿态合成、唇形同步驱动、实时视频渲染、多素材集成人工智能等核心技术及模块式交付SAAS及应用软件系统，帮助客户实现数字人的短视频内容生产创作及直播宣传。怪兽AI为品牌商家及本地生活商家提供数字人克隆、数字人短视频生成、数字人直播解决方案、3D超写实全息交互屏及数字人交互解决方案。

今日话题

太酷了！iPhone、iPad、MacBook老旧设备组成异构集群，能跑Llama 3

 

重点标签 异构集群、AI领域、消费级硬件、分布式推理、模型优化

文章摘要

项目摘要：
通过使用消费级硬件设备，如iPhone、iPad和Macbook，可以构建一个异构集群推理方案，从而在AI领域实现更高效的模型运行。这个方案不仅限于特定操作系统，支持Windows、Linux、iOS，并且即将支持Android。项目作者@evilsocket展示了一个包含多种设备的集群，包括iPhone 15 Pro Max、iPad Pro、MacBook Pro (M1 Max)以及NVIDIA的高性能显卡。所有相关代码已经开源在GitHub上。

技术实现：
这一功能的实现依赖于一个名为Cake的Rust框架，它能够完成大模型的分布式推理，将不同操作系统的消费级硬件组合成一个集群。Cake框架的核心思想是将transformer块分片到多个设备上，使得那些通常无法在单个设备GPU内存中运行的模型能够进行推理。它通过分批处理连续的transformer块来最小化数据传输延迟。

使用指南：
用户首先需要安装Rust，然后通过运行特定的命令来编译和生成iOS绑定。使用时，需要运行worker节点和master节点，通过指定模型路径、工作模式、节点名称、拓扑文件和绑定地址来配置集群。topology.yml文件定义了哪些层由哪个worker提供服务。此外，为了优化内存和磁盘空间，可以使用cake-split-model工具仅向worker提供模型中实际需要的数据部分。

AIGC体验派：
7月17日，《AIGC体验派》第五期将探讨AIGC在营销领域的创新与安全问题，包括如何避免大语言模型的不当言论、确保创作内容的质量和安全，以及防止营销活动被不当利用。观众可以通过识别海报上的二维码或点击阅读原文报名参加直播。

版权声明：
文章版权归机器之心所有，转载需联系本公众号获得授权。投稿或寻求报道可通过content@jiqizhixin.com联系。

文章来源

原文地址: 点我阅读全文
原文作者: 机器之心