【财新网】“到底是卖算力赚钱,还是卖 token(词元) 赚钱?这是目前所有推理服务厂商都会面临的核心问题。” 上海无问芯穹智能科技股份有限公司CTO李伯勋在6月12日的北京智源大会上指出,以词元作为大模型服务的计费单位的“卖Token”业务并不好做。
李伯勋分析,模型即服务(MaaS)的门槛很高,要求模型部署后的精度对齐、高速低成本、高可靠稳定性和高算力供给。他举例,一些客户反映,使用供应商的模型的精度比原厂模型的精度差30%,即便是同样的开源模型,如果模型部署和细节设计不同,最后的结果也是不同的。
























京公网安备 11010502034662号 