語言模型（LLM）在資安領域展現出巨大的應用潛力，例如快速評估威脅、優化漏洞修補優先級建議等，為資安決策提供高效解決方案。然而，要充分發揮其價值，LLM 在文本評分任務中的隱藏偏好與穩定性挑戰必須被有效解決。本次演講將聚焦於此，並分享我們在改進評分框架上的最新研究成果。

我們的研究分析了 LLM 在評分過程中容易受到選項順序影響而產生偏誤，並提出了排列策略與加權調整方法，有效提升了評分的準確性和一致性。演講內容涵蓋：LLM 隱藏偏好問題的實驗設計與觀察、基於機率分佈的加權調整方法、以及整合多排列結果的技術成果。特別是藉由 G-EVAL 資料集的驗證，我們展示了這些技術在改善模型評分表現方面的顯著效果。

無論您是從事語言模型研究，還是專注於資安技術與決策，本次演講都將帶給您實用的技術見解與啟發。