在2023科技领域，大语言模型（LLM）的应用日益广泛，但其在回答问题时存在的问题引起了关注。Meta团队提出的新注意力机制S2A通过解决LLM容易受到上下文虚假相关性的问题，显著提升了模型的准确性和客观性。这一机制的提出得到了深度学习领域的重要人物LeCun的认可，他表示这将有助于使LLM更具推理能力。
传统LLM存在的问题包括对无关信息的过度敏感和容易受到用户观点的影响。S2A通过更深思熟虑的注意力机制，即System2Attention，有效解决了这些问题。以一个数学计算的例子为证，S2A可以过滤掉无关信息，使模型更关注问题的实质，从而提高答案的准确性。
论文地址：https://arxiv.org/pdf/2311.11829.pdf
S2A的实现方式是利用LLM本身构建，通过指令调整的LLM来删除不相关的文本，重新生成上下文。这不仅使模型能够在输出响应之前深思熟虑地推理，还能够控制注意力焦点，类似于人类的方式。实验证明，S2A显著提高了模型的性能，使其更适应复杂的推理任务。
随着理解的加深，添加的文本是无关紧要的，应该被忽略。通过引入更深思熟虑的注意力机制，S2A为解决LLM的问题提供了一种可行的方法，为大型语言模型的进一步发展铺平了道路。
llm注意力深思熟虑注意力机制语言模型pdf准确性上下文大语言模型深度学习大型语言模型回答问题stem数学计算urlarxiv
