专栏名称: 黄建同学

数码博主超话主持人（ChatGPT超话）头条文章作者我的学习笔记，关注AI+新能源

目录

相关文章推荐

黄建同学 · 这个视频太可怕了！#ai##科技# ... · 昨天

爱可可-爱生活 · 【(免费书稿)《Beej's ... · 昨天

宝玉xp · //@MachineLearning-ZJU ... · 2 天前

爱可可-爱生活 · 【星辰语义大模型TeleChat2：国产自研 ... · 3 天前

爱可可-爱生活 · 欢迎收听「爱可可AI前沿快报」，用最通俗的语 ... · 4 天前

51好读 › 专栏 › 黄建同学

浏览器里的LLM: web-llm，高性能浏览器内 LLM 推理-20241001133218

黄建同学 · 微博 · AI · 2024-10-01 13:32

正文

2024-10-01 13:32
本条微博链接

浏览器里的LLM: web-llm，高性能浏览器内 LLM 推理引擎#ai##程序员#

它通过硬件加速将语言模型推理直接引入 Web 浏览器。所有内容都在浏览器内运行，无需服务器支持，并通过 WebGPU 加速。

WebLLM与OpenAI API完全兼容。也就是说，你可以在本地对任何开源模型使用相同的 OpenAI API ，其功能包括流式传输、JSON 模式、函数调用（WIP）等。

访问：github.com/mlc-ai/web-llm

ChatGPT

推荐文章

黄建同学 · 这个视频太可怕了！#ai##科技# I-XRAY：只需看一眼就能-20241002090545

昨天

爱可可-爱生活 · 【(免费书稿)《Beej's C编程指南》：一本面向初学者的C语-20241001103601

昨天

宝玉xp · //@MachineLearning-ZJU:-20241001090157

2 天前

爱可可-爱生活 · 【星辰语义大模型TeleChat2：国产自研的千亿参数大语言模型-20240929141010

3 天前

爱可可-爱生活 · 欢迎收听「爱可可AI前沿快报」，用最通俗的语言，介绍最前沿的学术-20240929081006

4 天前

装个好房子 · 技巧 | 只需要一面墙，还你一个超赞的洗衣房

7 年前

人力资源心理学 · “从明天开始”的努力,可能会毁掉你

7 年前

蒲公英Ouryao · 《无菌工艺模拟试验指南》热议要点总结

7 年前

声乐助手 · 网课预约｜通向辉煌的高音——换声区及高音区核心技术点详解

7 年前

乐趣投资 · 你考虑过以老师的角色阅读一本书吗？

7 年前

Sov5搜索 · 小百科 · 移动版

51好读 - 好文章就要读起来!