本地跑大模型，竟然只需一个文件！

深度之眼 · 公众号 · · 2024-11-28 20:42

正文

今天介绍一个 无需安装，无需配置环境，一键在本地运行大模型的项目 ：llamafile！

它将模型和运行环境打包成一个独立的可执行文件。大家无需安装运行环境或依赖库，只需下载这个文件就可以使用！

一个文件能同时支持macOS、Windows、Linux、FreeBSD、OpenBSD、和NetBSD系统，不用担心兼容性。而且资源需求非常低，配置不高的电脑也能流畅运行！

想体验开源大模型，却没有显卡，或者被那些看起来复杂的 python 和 cuda 配置吓到的同学，一定要体验一下这个本地大模型！

模型文件我已经帮大家下载到网盘了，扫码就能获取网盘链接！

扫码下载无需安装，一键运行大模型

下载到本地后，运行方法非常简单。

如果你是 Windows 系统

修改文件名，增加 .exe 后缀，如改成 llava-v1.5-7b-q4.exe
双击文件开始对话，或者打开 cmd 或者 terminal 命令行窗口，进入模型所在目录 .\ llava-v1 .5-7b-q4 .exe
浏览器打开 http://127.0.0.1:8080 即可开始聊天

如果你是 Linux、Mac 系统

终端运行（注意 Mac 系统可能需要授权，在【设置】→ 【隐私与安全】点击【仍然打开】进行授权） ./llava-v1.5-7b-q4.llamafile
浏览器打开 http://127.0.0.1:8080 即可开始聊天

这样一个无需环境配置，本地一键启动的大模型就部署好了！

如果是生成文字的话，它的速度比ChatGPT快很多！

此外，模型还支持多模态，大家可以上传图片，让模型来描述内容！

想体验的同学， 直接扫码就能获取模型的网盘链接！

扫码下载无需安装，一键运行大模型

chatbox 等 gpt 客户端使用设置

选择 openai api，设置 url 为对应的 ip 和端口即可，如下图所示：

python接口调用

#!/usr/bin/env python3
from openai import OpenAI
client = OpenAI(
    base_url="http://localhost:8080/v1", # "http://:port"
    api_key = "sk-no-key-required"
)
completion = client.chat.completions.create(
    model="LLaMA_CPP",
    messages=[
        {"role": "system"