专栏名称: AGI Hunt
关注AGI 的沿途风景!
目录
51好读  ›  专栏  ›  AGI Hunt

AI能理解颜色吗?——将色彩进行嵌入的研究

AGI Hunt  · 公众号  ·  · 2024-10-17 00:00

正文

AI 居然也懂得色彩美学?

Jina AI 最近玩了一把"变色龙"游戏,让我们看到了 AI 眼中的缤纷世界!

你可能会问: AI 怎么可能理解颜色呢?它又不是人类,哪来的"眼睛"?

让我们一起来看看这个有趣的实验。

AI 的调色盘:从文字到色彩的奇妙跳跃

Jina AI 的研究团队做了一件看似简单却很有意思的事:

  1. 收集了 500 个颜色名称(从"棱镜红"到"光子白")

  2. 用 jina-embeddings-v3 模型将这些名称转换成向量

  3. 通过 UMAP 算法将高维向量压缩到二维平面

  4. 最后用原始的十六进制颜色代码在平面上绘制散点图

看似平平无奇的操作,结果却令人惊叹!

色彩星图:AI 眼中的调色板

生成的图像简直就像一幅抽象艺术画:

  • 边缘区域 :形成了清晰流畅的色彩集群,纯色占据主导地位

  • 中心区域 :犹如打碎的万花筒或彩色玻璃窗,色彩混合异常复杂

这个结果让研究人员大吃一惊。

要知道, jina-v3 模型可是在通用文本上训练的,而不是专门针对颜色的数据

这意味着什么?

它证明了 AI 模型能够从普通语言中捕捉到颜色的语义信息,而且做得相当不错!

深入探索:AI 的色彩认知

研究团队还发现:

  • 模型似乎能够很好地识别"原型"颜色(比如纯红、纯蓝)

  • 但在处理混合色彩时,情况就变得复杂起来

这种表现方式, 与人类对颜色的认知惊人地相似 。我们也更容易识别和命名纯色,而对于微妙的色彩变化则较难描述。

实验复现:你也来当个 AI 调色师

如果你也想亲自体验这个有趣的实验,Jina AI 贴心地提供了 Google Colab 链接:

https://colab.research.google.com/drive/19cV0ZnRDPF1Qhi48RZ2ahlqg4TodVDih#scrollTo=DhMol-SG6Gob

你可以尝试使用不同的 LoRA 适配器,看看它们会如何影响色彩流形。

500 个颜色名称的列表也公开了,感兴趣的朋友可以去看看:

https://gist.github.com/hanxiao/ba498a60eca5ea79a2d225ed9d3b23cc

这项研究不仅有趣,还可能对 AI 的色彩理解产生诸多影响。它揭示了嵌入模型是如何感知和标记颜色的,为我们打开了一扇了解 AI "思维"的新窗口。

Jina AI 的这项研究再次证明: AI 的能力远不止于处理冰冷的数字和文字,它正在逐步理解这个丰富多彩的世界,用自己独特的方式诠释着色彩的魅力。

👇







请到「今天看啥」查看全文