[23’ PMLR] Med-Flamingo: a Multimodal Medical Few-shot Learner
카테고리: Medical
🔍 Abstract
Medical Domain은 Natural Domain과 굉장히 다르고, 특히 Medical Vision Data를 사용하는 경우 더욱 그렇다. 따라서 흔히 Medical VLM은 좋은 성능을 내기 위해 downstream dataset에서 fine-tuning을 하는 것이 필수적이다. 그러나 실제로 좋은 퀄리티로 대규모의 Medical dataset을 구축하는 것은 굉장히 어렵다. 따라서 이 논문에서는 Few-shot learning이 가능한 Flamingo의 장점을 살려 Medical Few-shot Learner인 Med-Flamingo를 제안한다. 이러한 방법으로 Med-Flamingo는 few-shot example만으로도 medical domain downstream task를 수행할 수 있게 되었다. 추가로, 저자들은 Visual USMLE 데이터셋을 구축하고 최초로 medical domain VQA에서 human evaluation을 진행했다. 방법론은 Flamingo과 굉장히 유사하므로, 자세한 구조 설명은 여기를 참조.
1. Method
1.1. Dataset
Medical domain에서 정말 중요한 부분이 dataset이다. 어떤 dataset으로 학습시켰는지에 따라 domain knowledge를 이해하는 수준이 천차만별이기 때문. 저자들은 두 가지 데이터셋을 사용했다.
- MTB(Medical TextBook): 0.8M Image + 584M Token. Interleaved image-text data from medical textbooks
- PMC-OA(PubMed Central Open Access): 1.6M Pair. Paired image-text data from open-access medical articles
1.2. Pipeline
Med-Flamingo의 pipeline은 위와 같다. 먼저 이렇게 얻은 데이터로 (1) Pre-training 후, (2) Few-shot example을 이용해 VQA를 진행한다. 그리고 (3) Human evaluation을 통해 성능을 평가한다. 중요한 점은 Fine-tuning 없이 Few-shot example만으로 VQA를 수행한다는 것이다.
2. Experiments
저자들은 VQA-Rad, PathVQA, Visual USMLE 데이터셋을 사용해 실험을 진행했다. 결과적으로, Med-Flamingo는 VQA-Rad에서는 원하는 성능을 얻었지만 나머지에서는 그렇지 못했다. 저자들은 각각의 이유를 다음과 같이 설명한다. (1) PathVQA의 경우, Pathology Image를 Pre-training 과정에서 많이 학습하지 못했다. (2) Visual USMLE의 경우 문제가 너무 길고 따라서 답도 길게 도출되어서 BERT만으로는 평가가 부정확하다는 것이다. 이러한 설명에도 불구하고 Evaluation 결과는 Few-shot Learning이 정말 효과적인 것인지에 대한 의문을 품게 한다. 적어도 더 많고 핵심적인 데이터셋을 사용하여 pre-training을 진행한 논문이 있다면 이를 판단하는 데 더 도움이 될 것이다.
💡 Summary
Med-Flamingo는 Medical Domain에서 Multimodal Few-shot learning을 처음으로 적용한 모델이다. 그러나 결과적으로는 성능이 좋지 않았다. 이는 데이터셋의 부적합성 및 부족으로 인해 아직은 generalizability가 떨어지기 때문인 것으로 보인다. 앞으로 더 많은 데이터셋을 사용하여 실험을 진행하면 더 좋은 결과를 얻을 수 있을 것이다. 한 가지 Contribution을 더 찾자면 Visual USMLE 데이터셋을 구축했다는 점인데, 이 데이터셋은 쉽게 활용될 수 있기에 앞으로의 Medical VLM evaluation에서 자주 등장할 것 같다.
댓글 남기기