由于采用了很大规模的并行（包括数据并行和专家并行），如果某个GPU的计算或通信负载过重，将成为性能瓶颈，拖慢整个系统；同时其他GPU因为等待而空转，造成整体利用率下降。因此需要尽可能地为每个GPU分配均衡的计算负载、通信负载。 国家京剧院院长王 ...