来源：机器学习AI算法工程本文约1200字，建议阅读5分钟
本文介绍了YOLO-World开集目标检测。
关于Demo：尽管YOLO-World官方给出了在线试用的Demo：https://huggingface.co/spaces/stevengrove/YOLO-World 但还是不如在自己电脑上离线运行一遍来得直接。恰好，近期Ultralytics（YOLOv8）也新增了对YOLO-World的支持，我们不如直接体验一把。其是一个使用开放词汇进行目标检测的新框架，且是以YOLOv8框架为detector，所以其特点就继承了YOLO系列，也即轻量、快速、性能好。另外，既然是文本和图片一起作为输入，那么就需要有一个文本embedding的模块，这里用的是CLIP，其将用户输入的词汇列表转换为特征向量，与输入图像一起进行推理。2. 安装（更新）
由于YOLO-World主要包括两部分内容：YOLO-style的检测器、用于文本embedding的CLIP。因此，我们需要安装一个Ultralytics库、一个CLIP库。
更新：pip install -U ultralyticspip install openai-clip
https://github.com/ultralytics/assets/releases/download/v8.1.0/yolov8s-world.pt当然，也可以使用其他模型，可自行从Ultralytics的官网下载：。这里没有用到CLIP，因为没有设定词汇，也就不需要进行text embedding了yolo predict model=yolov8s-world.pt source=path/to/image.jpg imgsz=640
from ultralytics import YOLO if __name__ == '__main__': model = YOLO('yolov8/yolov8s-world.pt') model.set_classes(["person"]) results = model.predict('image_01.jpg') results[0].show()
这里，我们设定了只包括一个词汇的词汇表：["person"]，那么自然，我们也可以根据需要设定多个词汇。由于设定了词汇表，所以就会用到CLIP，它会将各个词汇进行嵌入，转换为text feature。上述代码中用到了set_classes()，其实现如下： def set_classes(self, text): """Perform a forward pass with optional profiling, visualization, and embedding extraction.""" try: import clip except ImportError: check_requirements("git+https://github.com/openai/CLIP.git") import clip model, _ = clip.load("ViT-B/32") device = next(model.parameters()).device text_token = clip.tokenize(text).to(device) txt_feats = model.encode_text(text_token).to(dtype=torch.float32) txt_feats = txt_feats / txt_feats.norm(p=2, dim=-1, keepdim=True) self.txt_feats = txt_feats.reshape(-1, len(text), txt_feats.shape[-1]) self.model[-1].nc = len(text)
运行效果：
["person", "motorcycle"]：运行过程中，时间消耗也是极小的，这也符合YOLO系列的风格。Speed: 0.9ms preprocess, 43.5ms inference, 1.1ms postprocess per image at shape (1, 3, 448, 640)
可以预见的是，YOLO-World会是未来实时开放词汇检测领域的一个重量级选手。
数据派THU作为数据科学类公众号，背靠清华大学大数据研究中心，分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识，努力建设数据人才聚集平台、打造中国大数据最强集团军。
新浪微博：@数据派THU
微信视频号：数据派THU
今日头条：数据派THU
