欧洲初创公司
Pruna AI
近日宣布,将其
AI
模型优化框架进行开源。该框架通过运用缓存、剪枝、量化和蒸馏等先进技术,有效提升了
AI
模型的运行效率,同时最大限度地减少了质量损失。
Pruna AI的CTO John Rachwan表示,该框架实现了模型存储、加载及压缩后评估的标准化,确保了优化后的模型依然能够保持高质量表现。其功能与Hugging Face对Transformer和Diffuser模型的标准化相类似,但Pruna AI更加专注于AI压缩和优化方法的整合与创新。
值得注意的是,大型AI实验室如OpenAI等已在内部采用类似技术进行优化。例如,OpenAI通过蒸馏技术打造了GPT-4 Turbo,而Black Forest Labs也基于此开发了Flux.1-schnell图像生成模型。然而,Pruna AI的独特优势在于提供了一个统一的工具,使得开发者能够轻松组合和运用不同的优化方法。
目前,该框架已经支持大语言模型(LLM)、扩散模型(Diffusion Models)、语音识别和计算机视觉等多种AI模型,特别在图像和视频生成方面表现出色。Scenario和PhotoRoom等知名企业已经成为其现有用户。
除了提供开源版本外,Pruna AI还推出了企业级优化服务。同时,公司计划推出自动化压缩代理功能,允许用户根据实际需求设定优化目标,如“提升速度但准确率损失不超过2%”,代理将自动完成优化过程。企业级版本将按照使用时长进行收费,类似于云端GPU计费模式,有助于企业显著降低推理成本。此前,Pruna AI已成功将Llama模型缩小8倍,且准确性损失极小。
此外,Pruna AI于数月前完成了650万美元的种子轮融资,投资方包括EQT Ventures、Daphni、Motier Ventures和Kima Ventures等知名机构。