专栏名称: 深度之眼

入行人工智能，学算法公式，写毕业论文，看经典书籍，刷全球公开课，就来深度之眼

无需安装，一个文件本地运行大模型！

深度之眼 · 公众号 · 科技自媒体 · 2024-11-21 20:45

正文

今天介绍一个 无需安装，无需配置环境，一键在本地运行大模型的项目 ：llamafile！

它将模型和运行环境打包成一个独立的可执行文件。大家无需安装运行环境或依赖库，只需下载这个文件就可以使用！

一个文件能同时支持macOS、Windows、Linux、FreeBSD、OpenBSD、和NetBSD系统，不用担心兼容性。而且资源需求非常低，配置不高的电脑也能流畅运行！

想体验开源大模型，却没有显卡，或者被那些看起来复杂的 python 和 cuda 配置吓到的同学，一定要体验一下这个本地大模型！

模型文件我已经帮大家下载到网盘了，扫码就能获取网盘链接！

扫码下载无需安装，一键运行大模型

下载到本地后，运行方法非常简单。

如果你是 Windows 系统

修改文件名，增加 .exe 后缀，如改成 llava-v1.5-7b-q4.exe
双击文件开始对话，或者打开 cmd 或者 terminal 命令行窗口，进入模型所在目录 .\ llava-v1 .5-7b-q4 .exe
浏览器打开 http://127.0.0.1:8080 即可开始聊天

如果你是 Linux、Mac 系统

终端运行（注意 Mac 系统可能需要授权，在【设置】→ 【隐私与安全】点击【仍然打开】进行授权） ./llava-v1.5-7b-q4.llamafile
浏览器打开 http://127.0.0.1:8080 即可开始聊天

这样一个无需环境配置，本地一键启动的大模型就部署好了！

如果是生成文字的话，它的速度比ChatGPT快很多！

此外，模型还支持多模态，大家可以上传图片，让模型来描述内容！

想体验的同学， 直接扫码就能获取模型的网盘链接！

扫码下载无需安装，一键运行大模型

chatbox 等 gpt 客户端使用设置

选择 openai api，设置 url 为对应的 ip 和端口即可，如下图所示：

python接口调用

#!/usr/bin/env python3
from openai import OpenAI
client = OpenAI(
    base_url="http://localhost:8080/v1", # "http://:port"
    api_key = "sk-no-key-required"
)
completion = client.chat.completions.create(
    model="LLaMA_CPP",
    messages=[
        {"role": "system"

请到「今天看啥」查看全文

推荐文章

新消费日报 · 苹果+阿里=iPhone中国AI？

12 小时前

新消费日报 · 苹果+阿里=iPhone中国AI？

12 小时前

河南日报 · 董宇辉退出

20 小时前

河南日报 · 董宇辉退出

20 小时前

大皖新闻 · 唯一非好莱坞影片！《哪吒2》进入全球票房榜前30！网友：吒儿太争气了

昨天

大皖新闻 · 唯一非好莱坞影片！《哪吒2》进入全球票房榜前30！网友：吒儿太争气了

昨天

国家林业和草原局 · 春晚幕后 | 让更多人了解生态保护建设工作者的故事

昨天

国家林业和草原局 · 春晚幕后 | 让更多人了解生态保护建设工作者的故事

昨天

重庆之声 · 今天，送别黄旭华院士！

昨天

重庆之声 · 今天，送别黄旭华院士！

昨天

知心 · 让心归零（深度好文）

8 年前

济宁拉呱 · 过年发压岁钱有诀窍，都来学学不吃亏!

8 年前

EV视界 · 【深度】百废待举低速电动车如何走出困境？

7 年前

炉石传说 · 排名对战2017年四月赛季——安戈洛之谜

7 年前

VIP生活范 · 【内含中奖名单】假期出游的6套完美穿搭！穿上美美过五一~

7 年前