更新 'README.md'

This commit is contained in:
liuchs 2024-11-12 09:59:13 +08:00
parent 42a1d03144
commit e204844c2e
1 changed files with 13 additions and 0 deletions

View File

@ -1,2 +1,15 @@
# 2024暹星杯-赛题二 # 2024暹星杯-赛题二
事实一致性检测算法
背景:幻觉带来事实不一致是目前影响大模型落地的主要障碍之一,幻觉导致模型生成的内容与客观世界的事实不符(事实是指公认的或者可以被权威信息源验证的)。
要提升大语言模型事实一致性能力,首先要解决的问题是检测生成内容是否包含事实不一致。当前事实一致性的检测主要依靠人工来完成,费时费力,严重制约了大语言模型的能力优化。
在此背景下,参赛选手设计出一个事实一致性检测算法,能以较高地准确率检测出事实不一致。
要求::
给定一段模型生成内容(以<问题答案>的形式给出),以及支持推理的“鹏城 Mind 7B”模型版本参赛选手开发优化模型生成内容的事实一致性检测算法以检测该段内容是否包含事实不一致。
评比方式:
在“鹏城 Mind 7B”模型200条生成内容上测试提交的检测算法评估检测算法的调和平均数F1-ScoreF1-Score与准确率ACC和召回率的关系为 ),调和平均数相同情况下,检测效率高则排名优先。