会员专属，加入会员后，可免费下载！本站资源仅支持搭载Apple Silicon Mac M1/M2/M3 GPU加速芯片。

Mac专属大模型应用Chat-with-MLX，支持RAG，附千问2整合包！

大家好，今天要给大家介绍一个为Apple Silicon Mac量身打造的革命性产品——Chat with MLX！这不仅是一个聊天工具，而是一个全功能的大型语言模型聊天界面。它利用了苹果自家的MLX框架，为用户带来了前所未有的隐私保护和聊天体验。Chat with MLX基于检索增强生成技术（RAG），能与多种开源模型互动，支持多种文件格式和通过URL添加的YouTube视频。这个应用不仅支持多语言交互，还能方便地集成任何HuggingFace和MLX兼容的开源模型，特别适合在MacOS和Apple Silicon上使用。

Chat-with-MLX的亮点

Chat-with-MLX 是一个基于“检索增强生成（RAG）”的聊天界面，它能够利用多种开源模型来提高聊天体验。通过这个工具，用户可以与他们的数据进行互动，支持多种文件格式（如doc(x)、pdf、txt）和通过URL添加的YouTube视频。它支持多语言交互，包括英语、西班牙语、中文、越南语和土耳其语。此外，Chat-with-MLX可以方便地集成任何HuggingFace和MLX兼容的开源模型，提供了在MacOS和Apple Silicon上使用Native RAG的示例。

使用场合

1. 多语言数据查询：当你需要以不同语言查询特定数据，不论是文本、PDF文件还是在线视频。
2. 借助强大模型提升聊天体验：利用先进的开源模型（如Google Gemma, Mistral, StableLM等）增强聊天应用的响应能力和信息的准确性。
3. 研究和开发目的：对AI和机器学习有研究和开发需求的用户，特别是在Apple Silicon（如M1芯片）环境下，可以利用MLX框架高效开发和测试。
4. 文档管理和检索：当需要从大量文本或多媒体内容中检索信息，提供更加直观、快速的访问方式。

主要功能

• 支持与数据聊天，包括各种文件格式和YouTube视频。
• 多语言支持。
• 易于集成各种HuggingFace和MLX兼容的开源模型。
• 在MacOS和Apple Silicon上原生支持RAG。

安装指南

为了简化安装流程，Mac爱范团队将上述工具封装成了一个独立的启动包，用户只需简单点击即可运行，无需配置繁琐的Python环境。以下是获取和安装该应用的详细步骤：

下载应用

前往下载页面：https://aifun.fans/280/，点击页面右侧的下载按钮进行下载。

注意：仅支持搭载有 Mac M1/2/3 系列芯片的设备。

安装步骤

1. 从上述链接下载DMG镜像文件，将app文件拖拽到Applications文件夹中。
2. 复制安装完成后，首次启动先不要在启动台打开，在应用程序文件夹右键打开，如下所示，原因参考Mac 安装软件常见问题。
3. 软件会自动在默认浏览器打开操作界面，地址为 http://127.0.0.1:7860/，此时可以开始在浏览器中使用。

• 选择模型后，点击加载模型就可以进行聊天了，点击 RAG 设置可以加载本地数据。

• 除了整合包中的通义千问模型，还可以在模型管理处添加其他 MLX 模型。

模型和内存配置

该表显示了不同模型大小在各种内存配置下的可用性。每个单元格中的左值表示4-bit量化的可用性，而右值表示对应模型大小和内存组合下8-bit量化的可用性。

例如，如果你的模型大小在14B到34B参数之间，并且有48GB的内存，你可以使用4-bit量化（✅），但8-bit量化不可用（❌）。

各位新老朋友，如果觉得这篇文章对你有帮助，请随手点个赞👍和在看👀吧！让我们一起享受Mac上的AI聊天新体验！