项目名称: 基于视觉-语言跨模态表征学习的小样本遥感场景分类方法研究
项目性质: 国家自然科学基金青年项目(C类)[原青年科学基金项目](2026.01.01-2028.12.31)
项目主持人:冀虹
项目简介:
遥感场景分类是地理信息分析与地表环境监测的关键技术。视觉-语言跨模态表征学习在小样本场景分类任务中取得进展,但简单的静态语义向量难以准确描述地物及其细粒度语义关联,且迁移预训练模型时因缺乏标注样本导致表征空间域漂移问题。为此,本项目以“表征学习→迁移表征学习→深度迁移表征学习”为主线,引入谱聚类构建尺度自适应特征提取网络,结合大语言模型生成的静态描述与动态场景信息,在少量标注条件下实现渐进式双线性跨模态融合以提升表征能力;基于视觉-语言大模型提出对称式双教师知识蒸馏,引入语义一致性损失与解耦KL散度损失约束表征空间,在无标注条件下高效迁移预训练模型知识;以“单词”为基元构建图模型以建模类别细粒度语义关联,通过哈希编码与度量学习优化共享语义空间,最大程度地拉近相似样本并分离不同类样本,实现高效精确的场景分类。研究成果有望拓展遥感场景分类在灾害监测与应急响应、环境评估与生态治理等领域的应用。