会员专属,加入会员后,可免费下载!本站资源仅支持搭载Apple Silicon Mac M1/M2/M3 GPU加速芯片。
Mac专属大模型应用Chat-with-MLX,支持RAG,附千问2整合包!
![](https://cdn.xueshu.fun/202406182303803.png/mac)
大家好,今天要给大家介绍一个为Apple Silicon Mac量身打造的革命性产品——Chat with MLX!这不仅是一个聊天工具,而是一个全功能的大型语言模型聊天界面。它利用了苹果自家的MLX框架,为用户带来了前所未有的隐私保护和聊天体验。Chat with MLX基于检索增强生成技术(RAG),能与多种开源模型互动,支持多种文件格式和通过URL添加的YouTube视频。这个应用不仅支持多语言交互,还能方便地集成任何HuggingFace和MLX兼容的开源模型,特别适合在MacOS和Apple Silicon上使用。
Chat-with-MLX的亮点
Chat-with-MLX 是一个基于“检索增强生成(RAG)”的聊天界面,它能够利用多种开源模型来提高聊天体验。通过这个工具,用户可以与他们的数据进行互动,支持多种文件格式(如doc(x)、pdf、txt)和通过URL添加的YouTube视频。它支持多语言交互,包括英语、西班牙语、中文、越南语和土耳其语。此外,Chat-with-MLX可以方便地集成任何HuggingFace和MLX兼容的开源模型,提供了在MacOS和Apple Silicon上使用Native RAG的示例。
使用场合
-
多语言数据查询:当你需要以不同语言查询特定数据,不论是文本、PDF文件还是在线视频。 -
借助强大模型提升聊天体验:利用先进的开源模型(如Google Gemma, Mistral, StableLM等)增强聊天应用的响应能力和信息的准确性。 -
研究和开发目的:对AI和机器学习有研究和开发需求的用户,特别是在Apple Silicon(如M1芯片)环境下,可以利用MLX框架高效开发和测试。 -
文档管理和检索:当需要从大量文本或多媒体内容中检索信息,提供更加直观、快速的访问方式。
主要功能
-
支持与数据聊天,包括各种文件格式和YouTube视频。 -
多语言支持。 -
易于集成各种HuggingFace和MLX兼容的开源模型。 -
在MacOS和Apple Silicon上原生支持RAG。
安装指南
为了简化安装流程,Mac爱范团队将上述工具封装成了一个独立的启动包,用户只需简单点击即可运行,无需配置繁琐的Python环境。以下是获取和安装该应用的详细步骤:
下载应用
前往下载页面:https://aifun.fans/280/,点击页面右侧的下载按钮进行下载。
注意:仅支持搭载有 Mac M1/2/3 系列芯片的设备。
安装步骤
-
从上述链接下载DMG镜像文件,将 app
文件拖拽到Applications
文件夹中。 -
复制安装完成后,首次启动先不要在启动台打开,在应用程序文件夹右键打开,如下所示,原因参考Mac 安装软件常见问题。 -
软件会自动在默认浏览器打开操作界面,地址为 http://127.0.0.1:7860/,此时可以开始在浏览器中使用。
![界面预览](https://cdn.xueshu.fun/202406181905672.png/mac)
-
选择模型后,点击加载模型就可以进行聊天了,点击 RAG 设置可以加载本地数据。
![模型选择](https://cdn.xueshu.fun/202406181908740.png/mac)
-
除了整合包中的通义千问模型,还可以在模型管理处添加其他 MLX 模型。
![模型管理](https://cdn.xueshu.fun/202406181910239.png/mac)
模型和内存配置
该表显示了不同模型大小在各种内存配置下的可用性。每个单元格中的左值表示4-bit量化的可用性,而右值表示对应模型大小和内存组合下8-bit量化的可用性。
例如,如果你的模型大小在14B到34B参数之间,并且有48GB的内存,你可以使用4-bit量化(✅),但8-bit量化不可用(❌)。
模型大小/ 内存 | 0.5B ~ 4B | 6B ~ 13B | 14B ~ 34B | 40B ~ 56B | 65B ~ 72B | 100B ~ 180B |
---|---|---|---|---|---|---|
8GB | ✅/✅ | ✅/❌ | ❌/❌ | ❌/❌ | ❌/❌ | ❌/❌ |
18GB | ✅/✅ | ✅/✅ | ✅/❌ | ❌/❌ | ❌/❌ | ❌/❌ |
36GB | ✅/✅ | ✅/✅ | ✅/❌ | ✅/❌ | ❌/❌ | ❌/❌ |
48GB | ✅/✅ | ✅/✅ | ✅/✅ | ✅/❌ | ❌/❌ | ❌/❌ |
64GB | ✅/✅ | ✅/✅ | ✅/✅ | ✅/✅ | ✅/❌ | ❌/❌ |
96GB | ✅/✅ | ✅/✅ | ✅/✅ | ✅/✅ | ✅/❌ | ✅/❌ |
192GB | ✅/✅ | ✅/✅ | ✅/✅ | ✅/✅ | ✅/✅ | ✅/❌ |
各位新老朋友,如果觉得这篇文章对你有帮助,请随手点个赞👍和在看👀吧!让我们一起享受Mac上的AI聊天新体验!