Maosong 投稿量子位 | 公众号 QbitAI仅使用20K合成数据,就能让Qwen模型能力飙升——模型主观对话能力显著提升,还能实现模型自我迭代。合成数据大法好!最近,来自上海AI ...
研究小组还特别关注合成数据规模对模型性能的影响,结果显示从5K逐渐增加到200K时,模型对话能力明显提升,但在达到20K后性能提升的幅度开始减缓。此外,令人振奋的是,经过Condor合成数据训练后,模型实现了自我迭代,无论是7B还是72B版本,都展现出显著的性能改进。