关于 AI 时代的硬件到底应该做成什么样？
AngryMiao 最早部署了章鱼，这是第一个训练了硬件 API 可以操作硬件的模型。之后发现 Qwen2.5 的替代方案，微调部署后 14G 内存。
再之后 Qwen 0.5， 2GB 内存，实测也可以理解人类语言，给出硬件控制代码。
功耗优化方面，限制模型的输出可能结果集可以有效的提升本地模型的续航能力。4600 毫安电池可以认为支持大概 2500 次调用。模型输出限定后，调用次数翻倍。
简单结论，未来本地模型，本地数据缓存，配合云端模型，持久化数据库应该是 ai device 的标配技术架构。
对于本地模型的要求就是小内存占用，低功耗。与此同时，因为模型足够小，在功耗优化乐观的情况下，实时学习/或者某种频率的自己微调，有机会成为可能。
而云端模型，应该就是通吃的，永远用最聪明的，用户又不差那点钱。不需要有实时学习能力（规模太大了也不现实），数据库应该是传统关系数据库配合 RAG 的概率高。
那么 AI Device 品牌，在云端应该尽量少干活。大规模模型的发展速度太快了，你根本追不上。确保知识 update 即可。被逼无奈，可以做点提示词工程，数据持久化的事情就好了。
AngryMiao 最早部署了章鱼，这是第一个训练了硬件 API 可以操作硬件的模型。之后发现 Qwen2.5 的替代方案，微调部署后 14G 内存。
再之后 Qwen 0.5， 2GB 内存，实测也可以理解人类语言，给出硬件控制代码。
功耗优化方面，限制模型的输出可能结果集可以有效的提升本地模型的续航能力。4600 毫安电池可以认为支持大概 2500 次调用。模型输出限定后，调用次数翻倍。
简单结论，未来本地模型，本地数据缓存，配合云端模型，持久化数据库应该是 ai device 的标配技术架构。
对于本地模型的要求就是小内存占用，低功耗。与此同时，因为模型足够小，在功耗优化乐观的情况下，实时学习/或者某种频率的自己微调，有机会成为可能。
而云端模型，应该就是通吃的，永远用最聪明的，用户又不差那点钱。不需要有实时学习能力（规模太大了也不现实），数据库应该是传统关系数据库配合 RAG 的概率高。
那么 AI Device 品牌，在云端应该尽量少干活。大规模模型的发展速度太快了，你根本追不上。确保知识 update 即可。被逼无奈，可以做点提示词工程，数据持久化的事情就好了。
