当前位置:网站首页>bpe 中文tokens

bpe 中文tokens

2022-08-06 07:47:10Kun Li

一分钟搞懂的算法之BPE算法 - 知乎来自 深度学习自然语言处理 微信公众号 作者 zenRRan昨天总结实验数据分析的时候发现一个机器翻译的其中的一个脚本,其中用到的算法就是BPE算法,刚开始感觉很高大上的,因为总是听到带上算法帽子的东西就觉得666…https://zhuanlan.zhihu.com/p/38130825

bpe如上所述讲的很细。

中文词编码,目前主要是vocab.txt,是21128版本,在chinese_clip或者chinese_bert中都是这个版本。

bpe英文词编码,目前是dalle和clip都使用的bpe_simple_vocab_16e6版本,262145版本。

原网站

版权声明
本文为[Kun Li]所创,转载请带上原文链接,感谢
https://blog.csdn.net/u012193416/article/details/126145524

随机推荐