专栏名称: 自动驾驶之心

自动驾驶开发者社区，关注计算机视觉、多维感知融合、部署落地、定位规控、领域方案等，坚持为领域输出最前沿的技术方向！

多模态DeepSeek？Align-DS-V初体验~

自动驾驶之心 · 公众号 · · 2025-02-18 07:30

正文

作者 | 张小白编辑 | 自动驾驶之心

原文链接：https://zhuanlan.zhihu.com/p/21823562679

点击下方卡片，关注“ 自动驾驶之心 ”公众号

戳我-> 领取 自动驾驶近15个 方向学习路线

>> 点击进入→ 自动驾驶之心 『大模型』 技术交流群

本文只做学术分享，如有侵权，联系删文

1、背景

参考

m.aitntnews.com/newDetail.html?newId=11039

DeepDeek-R1多模态版本Align-DS-V开源地址：

huggingface.co/PKU-Alignment/Align-DS-V

2、准备conda环境（python3.10，后来发现准备错了）

conda create -n transformer python=3.10 -y

conda activate transformer

pip install transformers

3、下载模型

export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download PKU-Alignment/Align-DS-V --resume-download  --local-dir /home/zhanghui/models

好像下载的位置有点问题，做一下迁移：

cd /home/zhanghui/models

mkdir -p PKU-Alignment/Align-DS-V

mv *.json PKU-Alignment/Align-DS-V/

mv pytorch_model.bin PKU-Alignment/Align-DS-V/

mv README.md PKU-Alignment/Align-DS-V/

mv assets PKU-Alignment/Align-DS-V/

mv .gitattributes PKU-Alignment/Align-DS-V/

4、安装align-anything框架（这是训练和评估用的，现在貌似用不着）

git clone [email protected]:PKU-Alignment/align-anything.git

git clone https://github.com/PKU-Alignment/align-anything

nvcc -V

conda install nvidia/label/cuda-12.3.0::cuda

#export CUDA_HOME=$CONDA_PREFIX

cd align-anything

pip install -e .[all]

安装pytorch：

pip3 install torch torchvision torchaudio

检查torch是否支持GPU：

请到「今天看啥」查看全文

推荐文章

小众软件 · 另外两件事[250312]

昨天

小众软件 · 真的很老的古董更新：RBTray

昨天

APPSO · 本地部署满血版 DeepSeek 有多猛？我用 10 万块的顶配 Mac 实测了

2 天前

APPSO · iPhone 将迎来 10 年来最大型系统更新，最快 6 月发布

2 天前

南方能源观察 · 两会声音 | 能源央企“一把手”谈行业发展新思路

2 天前

人民日报 · 【提醒】支付宝说要把欠的敬业福还给你！你集齐“五福”了吗？

8 年前

吴晓波频道 · 万达电商五年三换CEO，错的不是CEO是王健林 | 小巴问大头

8 年前

玩转手机摄影 · 第1组 |《青春不散场》毕业照作品展

7 年前

结构金融研究 · [CAS资讯]央企混改将开启“十万亿级”国有资产证券化空间

7 年前

深交所 · 深圳市场监管动态

7 年前

多模态DeepSeek？Align-DS-V初体验~

正文

(adsbygoogle = window.adsbygoogle || []).push({}); 1、背景

2、准备conda环境（python3.10，后来发现准备错了）

3、下载模型

4、安装align-anything框架（这是训练和评估用的，现在貌似用不着）

请到「今天看啥」查看全文

1、背景