[24’] HIO: Alleviating Hallucinations in Large Vision-Language Models through Hallucination-Induced Optimization

🔍 Abstract

이번 글에서는 Multimodal Contrastive Decoding에 대한 이론적 분석과 이를 한계까지 끌어올린 논문을 리뷰하고자 한다. 해당 논문에서 Contrastive Decoding에 대한 Insight를 많이 얻을 수 있었기에, 상세한 설명과 함께 소개하고자 한다.

Contrastive Decoding이 잘 작동하는 조건을 이론적으로 분석하고, DPO를 이용해 Hallucination을 구체적으로 증폭하는 HIO(Hallucination-Induced Optimization)을 제안하였다. 이를 통해 Hallucinated LMM을 만들고 Contrastive Decoding을 수행하여 Object Hallucination을 개선하였다.

1. Key Idea: Fundamental Requirements for Contrastive Decoding

저자들은 Contrastive Decoding이 잘 작동하는 조건을 이론적으로 분석하였다. 먼저, logit $l$을 다음과 같이 나타내자. 여기서 $N$은 Vocabulary Length이다.

그리고 Contrastive Decoding을 수행하였을 때 Contrast $\delta$를 다음과 같이 나타낼 수 있다.

이때 Hallucination Logit의 Contrast를 $\delta^ {\prime}$, Accurate Logit의 Contrast를 $\delta^ {\star}$라고 하자. 이때 아래 식이 성립해야 완벽한 Contrastive Decoding이 가능하다.

이때 Hallucination Logit을 $\lbrace k_ 1, \cdots, k_ m \rbrace$이라고 하고, Accurate Logit을 $\lbrace k_ 1 ^ \star, \cdots, k_ n ^ \star \rbrace$이라고 하자. 그리고 각각의 식을 다음과 같이 전개한다.

이를 기존 식에 대입하면 다음과 같은 결과를 얻는다.

이때 $J$는 다음과 같고, 일종의 상수로 취급된다.

\[J = \frac{1 + \alpha}{\alpha} \sum _ {i = k_1} ^ {k_ m} \left(l_ i ^ {\lbrace v, x, y_ {\lt t} \rbrace} - l_ j ^ {\lbrace v, x, y_ {\lt t} \rbrace} \right)\]

이로부터 알 수 있는 점은 다음과 같다. Contrastive Decoding을 수행하는 Amateur Model $\hat{L}$에서 Hallucinated Token $\hat{l}_ i ^ {\lbrace v, x, y_ {\lt t} \rbrace}$의 Logit은 Accurate Token $\hat{l}_ j ^ {\lbrace v, x, y_ {\lt t} \rbrace}$의 Logit보다 충분히 더 높아야 한다. 따라서 저자들은 이러한 부분에 착안하여 Hallucination을 구체적으로 증폭하는 HIO(Hallucination-Induced Optimization)을 제안하였다.

2. Method: Hallucination-Induced Optimization (HIO)

일반적인 DPO 식은 다음과 같다.

그러나 저자들은 의도적으로 Hallucination Logit을 높이기 위해 다음과 같이 수정하였다.

추가로, 저자들은 Hallucination이 될 수 있는 Candidate에 대해 모두 Probability를 높이는 AMTH(Amplification of Multiple Targeted Hallucination)을 제안하였다.

추가로, 저자들은 Key Idea로부터 착안하여 Hallcinated Token과 Accurate Token의 Logit의 차이를 최대화하는 항을 추가하였고 이를 Advanced Constraints for Inducing (ACI)라 하였다. 이를 포함하여 최종적인 HIO Loss를 정의하였다.

3. Evaluation: POPE, CHAIR, MME

전체 결과는 다음과 같은데, 수치를 보면 HIO가 VCD와 같은 기존 방법들보다 높은 성능을 보이는 것을 확인할 수 있다. 이는 Hallucination을 구체적으로 증폭하는 방법이 Contrastive Decoding에 더욱 효과적임을 이론적, 그리고 실험적으로 보여주는 결과이다.

4. Ablation: AMTH & ACI

저자들은 추가로 AMTH(Amplification of Multiple Targeted Hallucination)과 ACI(Advanced Constraints for Inducing)의 효과를 분석하였다. 결과는 다음과 같다.

또한, ACI를 통하여 실제로 Hallucinated Token과 Accurate Token의 Logit의 차이 $\hat{l}_ i ^ {\lbrace v, x, y_ {\lt t} \rbrace} - \hat{l}_ j ^ {\lbrace v, x, y_ {\lt t} \rbrace}$가 증가하는 것을 확인할 수 있다.

💡 Summary

HIO 논문을 요약하면 다음과 같다.

• Contrastive Decoding이 잘 작동하는 조건을 이론적으로 분석하고, 이를 포함하여 Hallucination을 유도하는 DPO Loss를 제안함
• 이를 통해 Hallucinated LMM을 만들고 Contrastive Decoding을 수행하여 Object Hallucination을 개선함

📃 Reference

• [24’] HIO: Alleviating Hallucinations in Large Vision-Language Models through Hallucination-Induced Optimization

Multimodal 카테고리 내 다른 글 보러가기