之前讨论的负载均衡损失可能会导致稳定性问题。我们可以使用许多方法来稳定稀疏模型的训练，但这可能会牺牲模型质量。例如，引入 dropout 可以提高稳定性，但会导致模型质量下降。最终的 loss 被乘以专家数量 ，这样即使专家数量变化，loss 也能保持恒定。这�