满血版AI大模型,本地部署非常贵。
硬件贵,5~6位数价格的硬件,才能流畅运行。
电费高,高负载情况下,很费电。
性能差,并发一多,卡到怀疑人生。
理性来看,目前一般人做本地部署,其实并不划算,综合体验极差,对接Api才是最优解。
但是,AI领域热度最高的话题一直是:本地部署。
硬件贵,5~6位数价格的硬件,才能流畅运行。
电费高,高负载情况下,很费电。
性能差,并发一多,卡到怀疑人生。
理性来看,目前一般人做本地部署,其实并不划算,综合体验极差,对接Api才是最优解。
但是,AI领域热度最高的话题一直是:本地部署。