大型语言模型（LLMs）在复杂推理任务上表现突出，而小型语言模型（SLMs）面临挑战，如Mistral-7B在GSM8K数据集上的准确度仅为36.5%。微调可以提升推理能力，但许多LLM依赖的微调数据可能来自更强大的模型，如GPT-4。研究者探索使用更优的教师LLM或LLM自身知识来提升SLM的推理能力，例如通过自我探索和自我奖励的RAP方法。然而，自我探索方法存在问题，如难以有效探索解答空间和辨别高质量推理步骤，导致效果有限。 1.LLMs在探索解答空间时面临困难，自我探索方法可能因低质量推理而陷入困境。 2.SLMs难以识别高质量的推理步骤，且难以确认最终答案的正确性，导致自我探索效果不佳。 与GPT-4等大型模型相比，SLMs在自我优化和输出质量提升方面存在挑战，可能影响模型的广泛应用。 针对这些问题，微软亚洲研究院和哈佛大学提出rStar方法，通过自博弈相互推理提升SLMs的推理能力，无需依赖微调或更优模型。

我在看了大模型安全综述的文档后，对大模型的安全风险，现有的大模型对抗攻击类型，如何评估对抗攻击有效性以及对对抗越狱有了一些基本的了解。主要包含LLMs的安全风险挑战；对抗性攻击的类型与方法；防御策略；评估对抗攻击有效性的方法；越狱攻击。