会员专属,加入会员后,可免费下载!本站资源仅支持搭载Apple Silicon Mac M1/M2/M3 GPU加速芯片。

LM Studio:Mac平台本地运行阿里Qwen1.5-7B整合包

LM Studio是一个跨平台的桌面应用程序,它提供了一个直观的界面,用于在本地环境中运行和测试大型语言模型(LLMs)。该应用程序允许用户从Hugging Face平台下载并运行任何与ggml兼容的模型,并且提供了一套简单而强大的工具,用于配置模型并执行推理操作。LM Studio特别适合个人用户,它能够在没有网络连接的情况下,在您的笔记本电脑上完全离线运行LLMs。您可以通过内置的聊天界面或者搭建一个与OpenAI兼容的本地服务器来使用这些模型。

LM Studio示意图
LM Studio示意图

通义千问 Qwen1.5是由阿里巴巴推出的一款先进的大型语言模型。最新版本的模型提供了六种不同规模的型号:0.5B、1.8B、4B、7B、14B 和 72B,其性能仅次于GPT-4 Turbo。

Qwen1.5各型号尺寸
Qwen1.5各型号尺寸

由于LM Studio需要通过HuggingFace平台下载模型(需要联网),因此Mac爱范团队为了方便用户,将LM Studio和Qwen1.5-7B模型整合打包,用户只需直接下载并替换模型文件即可开始使用。

安装指南

下载应用

请访问下载页面:https://aifun.fans/71/,并点击页面右侧的下载按钮开始下载过程。

安装步骤

  1. 下载并解压缩后,您将看到以下内容:

    • Qwen: 包含Qwen1.5-7B模型的文件夹
    • .dmg: LM Studio的Mac安装包
  1. 安装LM Studio过程非常简单,直接拖拽即可

    打开LM Studio的界面如下所示:
    LM Studio界面

  2. 接下来,导入模型。点击Reveal in Finder以打开模型文件夹。

    导入模型
    导入模型

    复制下载包中的Qwen文件夹,粘贴到刚才打开的模型文件夹中。

    复制粘贴模型文件
    复制粘贴模型文件
  3. 最后,开始对话。在界面右侧的对话框中选择Qwen模型,即可启动对话。

    开始对话
    开始对话

在M2芯片上测试Qwen-7B模型时,内存占用约为8GB,推理速度达到每秒10个token,速度相当快。

视频演示:

本站分享的AI软件只提供Apple Silicon M系列芯片,Mac系列电脑只要是M系列芯片都可以运行

由于商品的特殊性,本站不支持退款,所以在开通会员之前,请确认你的需求。如果不放心,可以开通体验会员体验,满意再升级其他会员套餐。