会员专属,加入会员后,可免费下载!本站资源仅支持搭载Apple Silicon Mac M系列 GPU加速芯片。
LM Studio:Mac平台本地运行阿里Qwen1.5-7B整合包
LM Studio是一个跨平台的桌面应用程序,它提供了一个直观的界面,用于在本地环境中运行和测试大型语言模型(LLMs)。该应用程序允许用户从Hugging Face平台下载并运行任何与ggml兼容的模型,并且提供了一套简单而强大的工具,用于配置模型并执行推理操作。LM Studio特别适合个人用户,它能够在没有网络连接的情况下,在您的笔记本电脑上完全离线运行LLMs。您可以通过内置的聊天界面或者搭建一个与OpenAI兼容的本地服务器来使用这些模型。
通义千问 Qwen1.5是由阿里巴巴推出的一款先进的大型语言模型。最新版本的模型提供了六种不同规模的型号:0.5B、1.8B、4B、7B、14B 和 72B,其性能仅次于GPT-4 Turbo。
由于LM Studio需要通过HuggingFace平台下载模型(需要联网),因此Mac爱范团队为了方便用户,将LM Studio和Qwen1.5-7B模型整合打包,用户只需直接下载并替换模型文件即可开始使用。
安装指南
下载应用
请访问下载页面:https://aifun.fans/71/,并点击页面右侧的下载按钮开始下载过程。
安装步骤
-
下载并解压缩后,您将看到以下内容: -
Qwen
: 包含Qwen1.5-7B模型的文件夹 -
.dmg
: LM Studio的Mac安装包
-
-
安装LM Studio过程非常简单,直接拖拽即可
打开LM Studio的界面如下所示:
-
接下来,导入模型。点击
Reveal in Finder
以打开模型文件夹。复制下载包中的
Qwen
文件夹,粘贴到刚才打开的模型文件夹中。 -
最后,开始对话。在界面右侧的对话框中选择Qwen模型,即可启动对话。
在M2芯片上测试Qwen-7B模型时,内存占用约为8GB,推理速度达到每秒10个token,速度相当快。
视频演示: