会员专属,加入会员后,可免费下载!本站资源仅支持搭载Apple Silicon Mac M1/M2/M3 GPU加速芯片。
🍏 苹果Apple Silicon原生MLX框架Qwen-14B整合包!
苹果公司最近推出了一款新的机器学习框架,名为MLX,它类似于NumPy数组,并专为苹果芯片优化。这一框架旨在提高在苹果设备上运行各种规模机器学习模型的效率,尤其是大型模型。通过MLX,用户可以在Mac或iPhone上本地运行如llama3、apple openELM等大型模型,其运行效率比使用pytorch提高近3倍。MLX的推出可能使得Apple芯片成为未来在推理及训练方面性价比最高的选择。
Mac爱范团队整合了包含分别包含5亿和140亿参数的Qwen-14B模型,5亿参数的模型运行速度快得令人难以置信!
下面是视频演示:
🌟 MLX的关键特性
-
熟悉的API:MLX提供了一个Python API,该API紧密遵循NumPy的设计。此外,MLX还提供了一个功能齐全的C++ API,与Python API保持高度一致。通过如mlx.nn和mlx.optimizers等高级包,MLX的API在设计上与PyTorch非常相似,旨在简化更复杂模型的构建过程。
-
可组合的函数转换:MLX支持可组合的函数转换功能,这包括自动微分、自动向量化以及计算图优化,为开发者提供了高度的灵活性和效率。
-
延迟计算:在MLX框架中,计算操作是延迟执行的。这意味着数据数组只有在真正需要时才会被实体化,从而优化了内存的使用和计算效率。
-
动态图构建:MLX的计算图是动态构建的,这使得更改函数参数的形状时不会触发缓慢的编译过程,同时也使得调试过程更为简单和直观。
-
多设备支持:MLX支持在多种设备上执行操作,目前支持的设备包括CPU和GPU。
-
统一内存模型:与其他框架不同,MLX采用了统一内存模型。在这种模型中,MLX数组存储在共享内存中,任何设备上的操作都可以直接在这些数组上执行,无需进行数据迁移,大大提高了操作的效率和便捷性。
安装指南
为了简化安装流程,Mac爱范团队将上述工具封装成了一个独立的启动包,用户只需简单点击即可运行,无需配置繁琐的Python环境。以下是获取和安装该应用的详细步骤:
下载应用
前往下载页面:https://aifun.fans/212/,点击页面右侧的下载按钮进行下载。
注意:仅支持搭载有 Mac M1/2/3 系列芯片的设备。
安装步骤
-
从上述链接下载DMG镜像文件。 -
双击打开镜像文件,将会看到如下界面:
将app
文件拖拽到Applications
文件夹中。
-
复制安装完成后, 首次启动先不要在启动台打开,在应用程序文件夹右键打开
,原因参考Mac 安装软件常见问题
-
首次启动可能需要较长时间,请耐心等待。启动成功后界面如下:
-
软件会自动在默认浏览器打开操作界面,地址为 http://127.0.0.1:7860/,此时可以开始在浏览器中使用。