先看事实
当地时间28日,据外媒RestofWorld报道,人工智能语言公平研究联盟上月发布的一项研究发现,AI模型处理不同语言时,消耗的Token(词元)数量可能相差悬殊。
细节在这里
还有一点值得注意:研究人员将不同语言因此产生的额外成本称为隐性的“分词器税”,网络内容较少的语言尤其容易受到影响。研究发现,即使是互联网上最常用的20种语言,Token消耗量也存在明显差异,最高是最低的1.5至5倍。
如果将测试范围扩大到200种语言,差距还会进一步扩大。乔杜里以教学为例解释道:老师要想教好学生,就得记住学生以前犯过什么错误、接受过哪些讲解。
具体来看,”乔杜里认为,语言处理效率应当像准确性、速度和可靠性一样,成为AI产品的基本要。要求所有语言获得完全平等的待遇或许不现实,但长期存在的巨大差距仍需合理解释,并制定改进计划。
原文提到,”IT之家从报道中获悉,改善这一问题的办法之一,是提高底层数据的质量。。
几个观察
腾讯新闻上这类话题起来得快,落得也快。真正值得留意的增量信息,往往出现在热度回落之后——那时候留下来的,才是有人认真核过的事实。
事情还没到能下结论的阶段,先把已经确认的部分记下来,比急着判断更有用。
本文由 热点雷达 基于多家媒体公开报道重新组织撰写,用于信息聚合与理解辅助;
涉及事实、数据均以原始报道与官方通报为准,转载请注明出处。