2小时前发布
按 token 收费跟按字数收费不是一回事,判断一份报价贵不贵,先得把它换算成同一把尺子。
token 是模型处理文本时的切分单位,不是一个字。中文里一个字可能对应一个 token,也可能两个字才凑成一个,碰上人名、型号、编号会切得更碎。英文按词根切,一个 token 大致是四个字母上下。同一段话,中文的 token 数看着比字数略多,英文看着比单词数略少,差多少取决于这家模型用的分词表。
为什么不按字数计费?因为算力花在 token 上,不在笔画上。上下文占用、显存开销、每次推理的耗时,都跟 token 数挂钩,跟这段话读起来是长是短没什么关系。
拿到报价我一般看三处:输入和输出是不是一个价(输出往往贵两到四倍),百万 token 的档位有没有阶梯价,重复提交的相同前缀能不能按缓存价算。这三项对齐,两家的数字才有可比性。
粗算的办法:中文按字数乘一点五估 token,英文按字符数除四估,再留两成余量。各家切分方式不同,落到账单上会有出入,以服务商公布的计费口径为准。
把换算拆成两组对照就清楚了:一组是中文对英文,一组是输入对输出。
中文对英文。中文一个字大多落在零点六到一点五个 token 之间,常用字偏省,成语、人名、编号偏费,一百个汉字大概六十到一百五十个 token。英文按子词切,一个 token 平均对应四个字符,一百个字母的句子约二十五个 token。同样一段意思,中文写出来 token 数常常比英文少,这也是有人拿英文压成本的原因,不过翻译本身也有损耗。
输入对输出。输入是你发过去的提示词、文档、历史对话,输出是模型生成的回答。多数服务商的输出单价是输入的两到四倍,原因在生成方式:输入能并行算,输出要一个 token 一个 token 往外蹦,越往后越慢。
两组对照合起来看,报价单上的「每百万 token」才有意义。有的标价低,是只标了输入;有的标价高,是把长上下文的加价算进去了。比较之前先确认标的是哪一栏。
上下文上限用的是同一套单位。标 128K 指的是输入加输出合计的 token 数,不是字数。一篇三万字的报告估算下来四万 token 上下,单次放进去还有余量,但连着十几轮对话不清理,历史记录会一点点把这个额度吃掉。
我拿一份自己写的稿子试了半小时,比看十篇解释都管用。
先复制一段正文到字数统计里,一千二百字,不含标点。再把整段贴进一个带 token 计数的小工具,读出来一千六百多。我起初以为工具算错了,换一个再试,数字差不多,才承认中文确实不是一个字一个 token。后来把标点全删了再测,数字掉了一百多,才知道标点、换行、空格都算钱。
换成英文再试。同一篇稿子用翻译软件转过去,单词七百出头,token 数九百多。中文一千二百字要一千六百 token,英文九百 token,同样的信息量,中文反而更费,这跟我原先的猜想正好相反。
再试输出。我让它照着原文缩写,限定三百字,返回的结果数下来四百多个 token。输出的字比输入的金贵,报价单上输出单价高,不是随口定的。
三步试完,我再估成本就用一个笨办法:中文按字数乘一点三,英文按单词数乘一点三,输出部分再乘一点五,末尾加两成余量。算出来的数和实际账单差得不多,够用来判断一个需求做不做得起。各家分词方式不一样,具体还是以账单为准。
最多设置5个标签!
按 token 收费跟按字数收费不是一回事,判断一份报价贵不贵,先得把它换算成同一把尺子。
token 是模型处理文本时的切分单位,不是一个字。中文里一个字可能对应一个 token,也可能两个字才凑成一个,碰上人名、型号、编号会切得更碎。英文按词根切,一个 token 大致是四个字母上下。同一段话,中文的 token 数看着比字数略多,英文看着比单词数略少,差多少取决于这家模型用的分词表。
为什么不按字数计费?因为算力花在 token 上,不在笔画上。上下文占用、显存开销、每次推理的耗时,都跟 token 数挂钩,跟这段话读起来是长是短没什么关系。
拿到报价我一般看三处:输入和输出是不是一个价(输出往往贵两到四倍),百万 token 的档位有没有阶梯价,重复提交的相同前缀能不能按缓存价算。这三项对齐,两家的数字才有可比性。
粗算的办法:中文按字数乘一点五估 token,英文按字符数除四估,再留两成余量。各家切分方式不同,落到账单上会有出入,以服务商公布的计费口径为准。
把换算拆成两组对照就清楚了:一组是中文对英文,一组是输入对输出。
中文对英文。中文一个字大多落在零点六到一点五个 token 之间,常用字偏省,成语、人名、编号偏费,一百个汉字大概六十到一百五十个 token。英文按子词切,一个 token 平均对应四个字符,一百个字母的句子约二十五个 token。同样一段意思,中文写出来 token 数常常比英文少,这也是有人拿英文压成本的原因,不过翻译本身也有损耗。
输入对输出。输入是你发过去的提示词、文档、历史对话,输出是模型生成的回答。多数服务商的输出单价是输入的两到四倍,原因在生成方式:输入能并行算,输出要一个 token 一个 token 往外蹦,越往后越慢。
两组对照合起来看,报价单上的「每百万 token」才有意义。有的标价低,是只标了输入;有的标价高,是把长上下文的加价算进去了。比较之前先确认标的是哪一栏。
上下文上限用的是同一套单位。标 128K 指的是输入加输出合计的 token 数,不是字数。一篇三万字的报告估算下来四万 token 上下,单次放进去还有余量,但连着十几轮对话不清理,历史记录会一点点把这个额度吃掉。
我拿一份自己写的稿子试了半小时,比看十篇解释都管用。
先复制一段正文到字数统计里,一千二百字,不含标点。再把整段贴进一个带 token 计数的小工具,读出来一千六百多。我起初以为工具算错了,换一个再试,数字差不多,才承认中文确实不是一个字一个 token。后来把标点全删了再测,数字掉了一百多,才知道标点、换行、空格都算钱。
换成英文再试。同一篇稿子用翻译软件转过去,单词七百出头,token 数九百多。中文一千二百字要一千六百 token,英文九百 token,同样的信息量,中文反而更费,这跟我原先的猜想正好相反。
再试输出。我让它照着原文缩写,限定三百字,返回的结果数下来四百多个 token。输出的字比输入的金贵,报价单上输出单价高,不是随口定的。
三步试完,我再估成本就用一个笨办法:中文按字数乘一点三,英文按单词数乘一点三,输出部分再乘一点五,末尾加两成余量。算出来的数和实际账单差得不多,够用来判断一个需求做不做得起。各家分词方式不一样,具体还是以账单为准。
一周热门 更多>