会员专属，加入会员后，可免费下载！本站资源仅支持搭载Apple Silicon Mac M1/M2/M3 GPU加速芯片。

Mac大语言模型本地知识库搭建教程，附安装整合包

AnythingLLM 是一个基于RAG（Retrieval-Augmented Generation）方案的知识库构建工具。它可以将不同格式的文档、资料或内容转换为统一格式，以便在与大型语言模型（LLM）进行对话时引用。AnythingLLM 支持多种语言模型、嵌入器和向量数据库，提供了丰富的使用场景和可能性。

• 💬 “anything llm” 是一款私人聊天GBT，能够与各种文件、文档和笔记进行互动。
• 🌐 该应用程序支持多用户管理和权限设置，能够与不同类型的大型语言模型（LLM）集成。
• 🖥️ 用户可以选择云托管或本地托管，本地托管免费且提供完整功能。

AnythingLLM 可以与 LM Studio 集成，用户通过连接并配置本地的语言模型，可以实现与聊天机器人的交互。利用 LM Studio 和 AnythingLLM Desktop，用户能够构建一个完全私有的端到端系统，无需依赖如 ChatGPT 等付费服务，即可与文档进行开源模式的交流。

安装教程

压缩包内容

1. 下载压缩包
   下载地址：https://aifun.fans/107/，请在页面右侧区域点击下载按钮。

2. 解压后，您将看到以下文件：

   • .dmg: AnythingLLM 安装软件包
   • .zip: 包含 LM Studio 安装包和通义千问模型文件

安装配置 LM Studio

• 请参考之前的文章LM Studio：在Mac中本地离线运行Qwen1.5-7B整合包进行 LM Studio 的安装和Qwen1.5-7B 的配置。

• 启动 LM Studio，开启本地大语言模型服务，如下图所示，点击 start server。下图中红框内的地址 http://localhost:1234/v1 就是服务的访问地址，AnythingLLM 后续会用到这个地址。

安装配置 AnythingLLM

• 安装完成后，设置 LLM 服务为 LM Studio，URL 填写上一步获取的地址：http://localhost:1234/v1，token 窗口设置为：4096。

• 选择词嵌入器为 AnythingLLM Embedder。

• 选择向量数据库为 LanceDB。

• 输入任意邮箱地址。

• 填写一个英文仓库名称，可根据个人喜好自行选择。

• 进入应用后，选择作为知识库的本地文件。

• 选择想要处理的文件。

• 执行词嵌入处理。

• 最后，就可以开始根据知识库内容进行对话了！

以上步骤介绍了如何使用 AnythingLLM 搭建本地大模型知识库。更多功能等待你去探索发现！