热点雷达HOT RADAR

新研究称AI模型使用成本受不同语种影响…

在其中一个AI模型中,不同语言的Token消耗量最多相差17倍。

2026年10月31日 星期六 537 字 · 约 1 分钟 分类 科普 35 次阅读

先看事实

当地时间28日,据外媒RestofWorld报道,人工智能语言公平研究联盟上月发布的一项研究发现,AI模型处理不同语言时,消耗的Token(词元)数量可能相差悬殊。

细节在这里

还有一点值得注意:研究人员将不同语言因此产生的额外成本称为隐性的“分词器税”,网络内容较少的语言尤其容易受到影响。研究发现,即使是互联网上最常用的20种语言,Token消耗量也存在明显差异,最高是最低的1.5至5倍。

如果将测试范围扩大到200种语言,差距还会进一步扩大。乔杜里以教学为例解释道:老师要想教好学生,就得记住学生以前犯过什么错误、接受过哪些讲解。

具体来看,”乔杜里认为,语言处理效率应当像准确性、速度和可靠性一样,成为AI产品的基本要。要求所有语言获得完全平等的待遇或许不现实,但长期存在的巨大差距仍需合理解释,并制定改进计划。

原文提到,”IT之家从报道中获悉,改善这一问题的办法之一,是提高底层数据的质量。。

几个观察

腾讯新闻上这类话题起来得快,落得也快。真正值得留意的增量信息,往往出现在热度回落之后——那时候留下来的,才是有人认真核过的事实。

事情还没到能下结论的阶段,先把已经确认的部分记下来,比急着判断更有用。

本文由 热点雷达 基于多家媒体公开报道重新组织撰写,用于信息聚合与理解辅助; 涉及事实、数据均以原始报道与官方通报为准,转载请注明出处。
今日热点往期日刊全网热榜 站内搜索关于本站RSS 订阅