电脑平板组AI集群，在家就能跑400B大模型，GitHub狂揽2.5K星

今日应用

AI作excel

ExcelFormulaBot是一款能够智能将文本指令转换为Excel公式并支持SQL指令改写的高效助手。

今日话题

电脑平板组AI集群，在家就能跑400B大模型，GitHub狂揽2.5K星

 

重点标签 分布式AI推理、GitHub开源、点对点连接、隐私保护、本地化运行

文章摘要

极市导读：GitHub上一个名为exo的开源分布式AI推理框架，通过三台苹果电脑实现了400B大模型的运算，获得了2.5k星标。该框架采用点对点(p2p)连接方式，无需手动配置，几分钟内即可构建AI算力集群，支持跨设备分割和环内存加权分区策略。开发者已准备好迎接Llama3-405B模型，并表示exo将第一时间提供支持。exo框架最初只支持苹果设备，但随着版本迭代，已扩展至安卓手机和4090显卡。使用exo框架，可以在60秒内完成配置，支持图形化界面和OpenAI API。

网友讨论：这种利用本地设备运行大模型的方式在HakerNews上引发广泛讨论。优点包括隐私保护、模型离线访问和个性化定制。但也有人指出，旧设备算力与专业服务商相差甚远，成本无法比较。此外，作者使用的高端硬件价格昂贵，不如购买专业显卡。关于exo框架的兼容性问题，作者表示理论上支持所有能运行tinygrad的设备，但目前仍处于实验阶段。

框架作者解释：exo框架传输的是小型激活向量而非整个模型权重，本地网络延迟通常很低，不会显著影响性能。未来目标是让框架像Dropbox一样简单。exo官方列出了一些计划解决的缺点，并进行了公开悬赏。

GitHub链接：[https://github.com/exo-explore/exo](https://github.com/exo-explore/exo)
参考链接：[https://x.com/ac_crypto/status/1814912615946330473](https://x.com/ac_crypto/status/1814912615946330473)

极市干货：技术专栏、技术综述、极视角动态等，点击阅读原文进入CV社区，收获更多技术干货。

文章来源

原文地址: 点我阅读全文
原文作者: 极市平台