专栏名称: 3D视觉工坊
1、OpenCV的技术传播; 2、3D点云与重建技术; 3、Vslam技术; 4、深度学习; 5、技术干货分享。
目录
相关文章推荐
新加坡眼  ·  新加坡托儿费涨了,但政府出手了! ·  23 小时前  
新加坡眼  ·  周末City ... ·  昨天  
新加坡眼  ·  新加坡又要发钱了!PR也能领 ·  昨天  
新加坡眼  ·  在新加坡工作的中国人要交所得税吗? ·  2 天前  
51好读  ›  专栏  ›  3D视觉工坊

DeepSeek开源最后一天,GPT-4.5有些拉胯...

3D视觉工坊  · 公众号  ·  · 2025-03-02 00:00

正文

来源:JackCui

添加小助理:cv3d001,备注:方向+学校/公司+昵称,拉你入群。文末附3D视觉行业细分群。

扫描下方二维码,加入 「3D视觉从入门到精通」知识星球 ( 点开有惊喜 ) ,星球内凝聚了众多3D视觉实战问题,以及各个模块的学习资料: 近20门秘制视频课程 最新顶会论文 、计算机视觉书籍 优质3D视觉算法源码 等。想要入门3D视觉、做项目、搞科研,欢迎扫码加入!

AI 领域的「开源狂欢周」终于迎来最终时刻!

DeepSeek开源周最后一天,直接放出终极杀器:

Fire-Flyer File System(3FS) ——AI 训练 & 推理的超高性能分布式存储系统,让数据吞吐量飙升到 6.6 TiB/s

smallpond ——基于 DuckDB + 3FS 的轻量级大数据处理框架,PB 级数据处理从此不再卡顿。

与此同时,OpenAI 也终于憋不住了, 正式发布 GPT-4.5

最大、最贵、最“懂”人的 OpenAI 模型,专注情商优化,不过 API 价格直接贵到离谱...

开源项目地址:

https://github.com/deepseek-ai/3FS

https://github.com/deepseek-ai/smallpond

项目一经发布,网友纷纷表示:

多角度出击,厉害了。

这个 Fire-Flyer 文件系统听起来就像是一个火箭动力的橡果发射器。

一、3FS

3FS(Fire-Flyer File System) 是 DeepSeek 专门为大规模 AI 训练 & 推理设计的 高性能分布式文件系统,完美解决存储瓶颈,让 GPU 不再被 I/O 拖后腿,吞吐量 6.6 TiB/s。

3FS 核心特点

  1. 超大规模分布式架构——可以横向扩展,结合 上千块 SSD + RDMA 网络 ,实现存储资源的全局调度;

  2. 超高速吞吐——官方实测,在 180 个存储节点上,读吞吐量高达 6.6 TiB/s

  3. 高一致性——使用 CRAQ(Chain Replication with Apportioned Queries)协议,确保所有计算节点的数据访问都保持一致;

  4. AI 训练 & 推理优化——支持 Dataloader 加速、LLM 推理 KVCache 缓存、并行 Checkpoint ,让大规模的大模型训练速度拉满。

性能到底有多猛?

存储节点:180 台服务器,每台配置 16 块 14TiB NVMe SSD + 2×200Gbps RDMA**
500+ 计算节点并行读写,训练任务背景负载下仍能保持 6.6 TiB/s 读吞吐量。

具体优化点

  1. 存储解耦 :计算节点可以不关心数据分布,任何节点都能快速读取数据,不再受本地存储限制;

  2. 智能数据流调度 :基于FoundationDB 事务型 KV 存储,支持高效的元数据管理,查询 & 读取超快;

  3. KVCache 支持 :LLM 推理时,直接将 KVCache 存储在 3FS,而不是消耗宝贵的 GPU 内存, 高吞吐 & 低延迟 解决方案来了。

一句话总结:3FS让AI训练的存储优化更上一层楼!

二、smallpond

除了 3FS,DeepSeek 还放出了 smallpond ,这是一款 轻量级大数据处理框架 ,基于DuckDB + 3FS,让PB 级数据处理变得超简单!

smallpond 亮点:

  1. 无状态,开箱即用 ——不像 Hadoop/Spark 需要复杂部署,smallpond 直接 Python 导入即可用,简单高效;

  2. DuckDB + 3FS,计算效率拉满 ——支持 SQL 查询,像操作数据库一样处理超大规模数据集;

  3. 极致性能 ——实测在 110.5 TiB 的数据集上,30 分钟完成排序,吞吐 3.66 TiB/min!

上手也十分简单,让我们来看一下。

  1. 安装
pip install smallpond
  1. 快速使用:
import smallpond
sp = smallpond.init() # 初始化 smallpond

df = sp.read_parquet("data/large_dataset.parquet"# 读取 Parquet 文件
df = df.repartition(3, hash_by="user_id"# 数据分区
df = sp.partial_sql("SELECT user_id, COUNT(*) AS event_count FROM {0} GROUP BY user_id", df) # SQL 处理
df.write_parquet("output/result.parquet")# 保存结果

print(df.to_pandas())# 转换为 Pandas DataFrame 进行分析

一句话总结 :smallpond 是AI时代的数据处理氮气加速器。

三、OpenAI

此外,OpenAI GPT-4.5 也来了,不过这价格很贵,比 DeepSeek 贵 200 多倍...

昨晚,OpenAI 终于推出了 GPT-4.5 ,它不是最强的 AI ,但是 OpenAI 强调起了情商。

GPT-4.5 最大亮点:

  • 更高“情商” ——回答更自然、更加体贴,甚至能「读懂你的情绪」;

  • 推理更强 ——回答数学 & 物理问题更精准,幻觉率大幅降低;

  • 更懂上下文 ——在连续对话中保持更连贯的思维逻辑,不会突然「失忆」。







请到「今天看啥」查看全文