链接:
https://blog.csdn.net/weixin_74814027/article/details/
145933302spm=1001.2014.3001.5502
安装本地大模型(win版)
第一步:安装ollama
`https://ollama.com/download`
第二步:在ollama 官网搜索
`https://ollama.com/`
第三步:在终端执行部署
ollama run gemma2:2b
Linux安装
ShellGPT
第一步:ShellGPT 配置
现在,当我们运行 Ollama 后端时,我们需要配置 ShellGPT 以使用它。为了与本地 LLM 后端通信,ShellGPT 利用
LiteLLM
[1]
。要安装它,请运行:
`[root@localhost ~]# pip install shell-gpt --break-system-packages`
第二步:编辑.sgptrc配置文件
vi
~/.config/shell_gpt/.sgptrc
,加入以下选项
vi ~/.config/shell_gpt/.sgptrc #编辑shell-gpt配置文件
DEFAULT_MODEL=ollama/gemma2:9b #制定要使用的模型
OPENAI_USE_FUNCTIONS=false
SHOW_FUNCTIONS_OUTPUT
=false
API_BASE_URL=http://192.168.79.249:11434 #设置本地服务器ip地址
现在您可以将 ShellGPT 与 Ollama 后端一起使用。
如下例所示:
[root@localhost ~]# cat ~/.config/shell_gpt/.sgptrc
CHAT_CACHE_PATH=/tmp/chat_cache
CACHE_PATH=/tmp/cache
CHAT_CACHE_LENGTH=100
CACHE_LENGTH=100
REQUEST_TIMEOUT=60
DEFAULT_MODEL=ollama/deepseek-r1:32b
DEFAULT_COLOR=magenta
ROLE_STORAGE_PATH=/root/.config/shell_gpt/roles
DEFAULT_EXECUTE_SHELL_CMD=false
DISABLE_STREAMING=false
CODE_THEME=dracula
OPENAI_FUNCTIONS_PATH=/root/.config/shell_gpt/functions
OPENAI_USE_FUNCTIONS=false
SHOW_FUNCTIONS_OUTPUT=false
API_BASE_URL=http://10.0.0.1:11434
PRETTIFY_MARKDOWN=true
USE_LITELLM=true
SHELL_INTERACTION=true
OS_NAME=auto
SHELL_NAME=auto
OPENAI_API_KEY=123
初始化ShellGPT
初始
API Key
的時候隨便填個字串
[root@localhost ~]# sgpt
ShellGPT 功能测试
shellgpt语法列表
╭─ Arguments ──────────────────────────────────────────────────────────────────────────────────────────────╮
│ prompt [PROMPT] The prompt to generate completions for. │
╰──────────────────────────────────────────────────────────────────────────────────────────────────────────╯
╭─ Options ────────────────────────────────────────────────────────────────────────────────────────────────╮
│ --model TEXT Large language model to use. [default: gpt-4o] │
│ --temperature FLOAT RANGE [0.0<=x<=2.0] Randomness of generated output. [default: 0.0] │
│ --top-p FLOAT RANGE [0.0<=x<=1.0] Limits highest probable tokens (words). [default: 1.0] │
│ --md --no-md Prettify markdown output. [default: md] │
│ --editor Open $EDITOR to provide a prompt. [default: no-editor] │
│ --cache Cache completion results. [