bloom
-
文本生成模型解码策略对比(13种)
目前常见的文本生成解码策略对比分析,涉及到Greedy Search、Beam Search、Top-K采样、Top-p(核)抽样、对比搜索解码策略、Multinomial sampling 多项抽样、Beam-search multinomial sampling、多样化波束搜索解码
-
Bloom论文阅读笔记,大模型是怎么训练的?
Bloom是一个开源可商用模型,它是如何一步步设计的?用了哪些数据和硬件资源?模型结构细节是怎样的?训练细节是怎样的?......