当前位置：首页
> MoE混合专家模型
MoE混合专家模型，大模型时代的分而治之革命
当模型大到一定程度，该怎么办？在人工智能飞速发展的今天,大语言模型（LLM）的参数量已经从最初的几亿飙升到了万亿级别，GPT-4、PaLM、LLaMA等模型的出现，让我们见证了"大力出奇迹"的威力，随着模型规模的不断膨胀，一个严峻的问题摆在了所有研究者面前——训练成本和推理成本呈指数级增长，一个万亿...