用日常设备运行自己的 AI 集群
大家好,又见面了,我是 GitHub 精选君!
背景介绍
AI 作为当下最引人注目的技术之一,其应用场景日益广泛,从自动化家居到智能办公,再到高级研究领域。然而,AI 模型的训练和推理通常需要强大的计算能力,对硬件的要求极高。对于大多数个人用户而言,高价的专业 GPU 往往是难以承受的;同时,随手可得的设备如智能手机、平板电脑、笔记本电脑等,虽然众多但往往未能充分利用。这一切,都在等待一个能够改变现状的解决方案。
今天要给大家推荐一个 GitHub 开源项目 exo-explore,该项目在 GitHub 有超过 17k Star。
一句话介绍该项目:Run your own AI cluster at home with everyday devices
项目介绍
exo 让人们可以在家中用日常设备运行自己的 AI 集群。忘掉昂贵的 NVIDIA GPU,利用你现有的设备组建一个强大的 GPU 集群:iPhone、iPad、Android、Mac、Linux,几乎任何设备!exo 的这一理念,为广大技术爱好者、研究人员、小型团队提供了前所未有的机会,让他们可以利用手头上看似普通的设备,完成复杂的 AI 模型运行任务。
exo 的主要功能包括:
1、广泛的模型支持:支持多种模型,包括 LLaMA、Mistral、LlaVA、Qwen 和 Deepseek 等。
2、动态模型分区:根据当前网络拓扑和可用设备资源,优化模型的分配。
3、自动设备发现:零手动配置,自动发现其他设备。
4、与 ChatGPT 兼容的 API:提供一行代码改变,即可在自己的硬件上运行模型。
5、设备平等:不使用主-从架构,设备之间点对点连接。
如何使用
首先,确保你的设备上安装有 Python>=3.12.0,并根据你的操作系统配置好相应的环境(在 Linux 上可能需要 NVIDIA 驱动、CUDA 和 cuDNN)。
git clone https://github.com/exo-explore/exo.git
cd exo
pip install -e .
# alternatively, with venv
source install.sh
然后,在所有想要参与集群的设备上运行 exo 即可,无需额外配置,设备间会进行自动发现。
# Device 1
exo
# Device 2
exo
项目推介
1、创新:exo 利用现有设备创建 AI 集群的理念,在节省成本的同时提升了设备的利用率。
2、实验性质:虽然 exo 目前仍处于实验阶段,但它展示了一种全新的、低成本参与 AI 计算的可能性。
3、社区支持:由 exo labs 维护,有机会参与早期的问题修复和功能贡献,加入一个正在成长的社区。
exo 开启了一扇门,让每个人都有可能参与到 AI 的革命中来,无论他们手头上拥有什么样的设备。在资源有限的情况下,exo 提供了一种独特而强大的解决方案,让 AI 的探索和应用变得更加民主化、普及化。
以下是该项目 Star 趋势图(代表项目的活跃程度):
更多项目详情请查看如下链接。
开源项目地址:https://github.com/exo-explore/exo
开源项目作者:exo-explore
开源协议:GNU General Public License v3.0
以下是参与项目建设的所有成员:
关注我们,一起探索有意思的开源项目。
更多精彩请扫码关注如下公众号。