16 lines
1.2 KiB
Markdown
16 lines
1.2 KiB
Markdown
# 2024暹星杯-赛题二
|
||
事实一致性检测算法
|
||
|
||
背景：幻觉带来事实不一致是目前影响大模型落地的主要障碍之一，幻觉导致模型生成的内容与客观世界的事实不符（事实是指公认的或者可以被权威信息源验证的）。
|
||
要提升大语言模型事实一致性能力，首先要解决的问题是检测生成内容是否包含事实不一致。当前事实一致性的检测主要依靠人工来完成，费时费力，严重制约了大语言模型的能力优化。
|
||
在此背景下，参赛选手设计出一个事实一致性检测算法，能以较高地准确率检测出事实不一致。
|
||
|
||
要求：：
|
||
|
||
给定一段模型生成内容（以<问题，答案>的形式给出），以及支持推理的“鹏城 Mind 7B”模型版本，参赛选手开发优化模型生成内容的事实一致性检测算法，以检测该段内容是否包含事实不一致。
|
||
|
||
评比方式：
|
||
|
||
在“鹏城 Mind 7B”模型200条生成内容上测试提交的检测算法，评估检测算法的调和平均数F1-Score（F1-Score与准确率ACC和召回率的关系为 ），调和平均数相同情况下，检测效率高则排名优先。
|
||
|