获悉,3月21日,英伟达GTC大会上公布了快手的大模型训练解决方案。该解决方案通过计算通信重叠、异构存储利用、通信资源管控、算子优化等手段,在超长文本场景下可支持百万级别的训练。与sota开源方案相比,在训练性能上提升了30%以上。