专栏名称: 黄建同学
数码博主 超话主持人(ChatGPT超话) 头条文章作者 我的学习笔记,关注AI+新能源
目录
相关文章推荐
爱可可-爱生活  ·  【视觉自回归模型论文集:汇总了自回归视觉模型 ... ·  22 小时前  
爱可可-爱生活  ·  几篇论文实现代码:《DVLO: Deep ... ·  4 天前  
爱可可-爱生活  ·  【mcts-llm:集成了蒙特卡洛树搜索(M ... ·  5 天前  
爱可可-爱生活  ·  [RO]《Learning ... ·  1 周前  
51好读  ›  专栏  ›  黄建同学

LM Studio 0.3.4竟然集成了Apple MLX !!-20241009115947

黄建同学  · 微博  · AI  · 2024-10-09 11:59

正文

2024-10-09 11:59

LM Studio 0.3.4竟然集成了Apple MLX !!!#ai##ai创造营#

这意味这在 Apple M系列芯片上可以以超快的速度、100% 本地和离线方式运行设备上的 LLM!

包括:
> 在 M3 上以 ~250 tok/秒的速度运行 Llama 3.2 1B
> 支持总是以结构化 JSON 输出
> 通过代码或者Chat UI使用模型
> 同时运行多个模型
> 从 Hugging Face Video 下载任何模型。

Blog:lmstudio.ai/blog/lmstudio-v0.3.4

Apple的LMStudio MXL Engine还是开源的:github.com/lmstudio-ai/mlx-engine

ChatGPT