专栏名称: 歸藏的AI工具箱
互联网科技博主 产品设计师、模型设计师、 不会代码的独立开发者。 关注人工智能、LLM 、 Stable Diffusion 和设计。
目录
相关文章推荐
练瑜伽  ·  崩塌了……果然还是轮到她了 ·  13 小时前  
大树乡谈  ·  闲聊三五句 ·  2 天前  
51好读  ›  专栏  ›  歸藏的AI工具箱

大语言模型还能用来预测流行病?#AI创造营##ai# Prime-20250107105417

歸藏的AI工具箱  · 微博  ·  · 2025-01-07 10:54

正文

2025-01-07 10:54

大语言模型还能用来预测流行病? #AI创造营# #ai#

Prime Intellect 训练了一个 7B LLM 用来帮助与大流行监测、病原体检测和新兴健康威胁

数据集来源于大量人类废水样本,使用深度宏基因组(新一代)测序方法进行处理和测序。

METAGENE-1 的目标是捕获人类微生物组中存在的所有基因组信息分布。

数据集进行了字节对编码(BPE)分词,专门针对宏基因组序列进行了优化,然后预训练我们的模型。

在技术报告中详细说明了预训练数据、分词策略和模型架构,强调了能够有效建模宏基因组数据的考虑因素和设计选择。

项目页面: 网页链接






请到「今天看啥」查看全文