本申请提供了一种模型回复质量的评估方法及相关设备，该方法包括：获取问题文本和利用多个目标模型分别对问题文本回复得到的多个回复文本；通过多个不同角色模型对多个回复文本分别进行回复质量评估，确定与多个回复文本分别对应的多个多角色评估结果；从多个不同维度对多个回复文本的回复质量进行排序，确定多个回复文本的多维度排序结果；根据多个多角色评估结果和多维度排序结果，确定多个回复文本的质量评估结果。该方法能够减少评估过程中的偏见问题，实现细粒度的评估，提升模型回复的质量评估准确性。