多模态学习入门指南。
概念
多模态学习（Multimodal Learning）是指处理和分析来自不同模态的数据的技术和方法。模态指的是数据的感知形式，如图像、文本、音频、视频等。多模态学习旨在通过融合不同模态的信息来提高模型的性能和泛化能力。
多模态学习（Multimodal Learning）的目标
- 学习不同模态的表示（Representation Learning）
- 对齐（Alignment）不同模态
- 融合（Fusion）信息
- 跨模态生成或检索
典型任务
- 图文匹配、跨模态检索、视觉问答（VQA）、视频理解、语音-视觉对齐、文本生成图像等
- 医学影像 + 文本报告、传感器数据融合等
基础知识图谱
综述资料
