字数 1960，阅读大约需 10 分钟
多模态检索新突破！智源开源多模态向量模型BGE-VL
北京智源人工智能研究院近日宣布开源多模态向量模型BGE-VL，这一突破性成果标志着多模态检索领域迈入了新的发展阶段。BGE-VL模型在图文检索、组合图像检索等多模态检索任务中展现了卓越性能，显著提升了多模态检索的整体水平。基于大规模合成数据集MegaPairs，BGE-VL实现了高效的多模态三元组数据挖掘，为多模态检索模型的训练提供了坚实的数据支持。这一创新不仅提升了数据质量，还大幅降低了数据生成的成本，为行业带来了革命性的变革。
一、多模态检索的挑战与机遇
多模态检索，作为人工智能领域的重要分支，旨在通过整合文本、图像、音频等多种模态的信息，实现更精准、更全面的检索结果。然而，多模态数据的复杂性和多样性也为检索技术带来了诸多挑战。传统的检索方法往往依赖于大量人工标注的数据，不仅成本高昂，而且难以覆盖多样化的场景。因此，如何高效地生成高质量的多模态数据集，成为制约多模态检索发展的关键瓶颈。
二、MegaPairs数据集的创新之处
智源人工智能研究院开发的MegaPairs数据集，通过结合多模态表征模型、多模态大模型和大语言模型，从海量图文语料库中高效挖掘多模态三元组数据。这一方法不仅具备优异的可扩展性，能够以极低成本持续生成多样化且高质量的数据，还大幅提升了数据质量。与传统人工标注数据相比，MegaPairs仅需1/70的数据量即可实现更优的训练效果。
1. 数据生成的关键步骤
MegaPairs数据集的构造分为两个关键步骤：首先，使用多种相似度模型从图像数据集中挖掘多样的图像对；其次，利用开源的多模态大模型和大语言模型合成开放域检索指令。通过这一方法，MegaPairs无需人工参与，即可扩展性地生成大规模、高质量且多样化的多模态检索指令数据集。
2. 数据集的规模与多样性
此次发布的MegaPairs数据集涵盖了2600万条样本，为多模态检索模型的训练提供了丰富的数据支持。数据集的多样性保证了模型在不同任务中的泛化能力，使得BGE-VL模型在多个任务上展现了远超以往方法的领先性能。
三、BGE-VL模型的卓越性能
基于MegaPairs数据集，智源BGE团队训练了3款不同尺寸的多模态检索模型，包括BGE-VL-Base、BGE-VL-Large和BGE-VL-MLLM。这些模型在多个任务上展现了卓越的性能，证明了其在多模态检索领域的领先地位。
1.零样本性能与有监督微调
在Massive Multimodal Embedding Benchmark（MMEB）的36个多模态嵌入评测任务中，BGE-VL在零样本性能和有监督微调后的性能上均实现了最优表现，证明了其良好的任务泛化能力。这一成果表明，BGE-VL模型不仅能够在已知任务中表现出色，还能在未见任务中保持稳定的性能。
2. 组合图像检索的突破
在组合图像检索任务中，BGE-VL在CIRCO评测集上刷新了现有基准，大幅超越了谷歌的MagicLens系列和英伟达的MM-Embed等对比基线。BGE-VL-MLLM较之前的SOTA模型提升了8.1个百分点，而BGE-VL-Base模型以不到1/50的参数量超越了其他大模型底座的多模态检索器。
3. 数据规模与性能增长
研究表明，MegaPairs数据集具有良好的可扩展性和高效性。随着数据规模的增加，BGE-VL模型表现出一致的性能增长趋势。与在37M闭源数据上训练的SOTA模型Google MagicLens相比，MegaPairs仅需1/70的数据规模（0.5M）即可实现显著的性能优势。
四、行业影响与未来展望
智源人工智能研究院开源BGE-VL模型，不仅为多模态检索领域带来了新的技术突破，也为行业的发展注入了新的动力。BGE-VL模型的卓越性能和MegaPairs数据集的创新方法，将为多模态检索技术的进一步发展奠定坚实基础。
11.行业应用前景
多模态检索技术在智能搜索、推荐系统、内容审核等多个领域具有广泛的应用前景。BGE-VL模型的高效性和准确性，将大幅提升这些领域的用户体验和业务效率。
2. 技术创新与迭代
随着人工智能技术的不断进步，多模态检索技术也将迎来更多的创新和迭代。智源人工智能研究院将继续致力于多模态检索技术的研究和开发发，动行业向更高水平迈进。
3. 全球视野下的合作与竞争
在全球范围内，多模态检索技术已成为人工智能领域的重要竞争焦点。智源人工智能研究院的开源举措，将进一步促进全球范围内的技术合作与交流，推动多模态检索技术在全球范围内的快速发展。
五、企业背景与历史成就
北京智源人工智能研究院成立于2018年，致力于推动人工智能技术的发展和应用。成立以来，智源研究院在多个领域取得了显著成就，成为全球人工智能领域的重要力量。
1. 研究成果与影响力
智源研究院在自然语言处理、计算机视觉、机器学习等多个领域取得了多项突破性性成果，表了大量高水平论文，并在多个国际评测中取得了优异成绩。
2. 开源生态建设
智源研究院积极推动开源生态建设，先后开源了多个具有重要影响力的项目和模型，为全球人工智能社区做出了重要贡献。
3. 行业合作与推动
智源研究院与多家知名企业和机构建立了广泛的合作关系，共同推动人工智能技术的发展和应用，助力行业转型升级。
六、结语
智源人工智能研究院开源多模态向量模型BGE-VL，标志着多模态检索领域迎来了新的发展阶段。BGE-VL模型的卓越性能和MegaPairs数据集的创新方法方法，多模态检索技术的进一步发展奠定坚实基础。未来，，智源研究院将继续致力于多模态检索技术的研究和开发，动行业向更高水平迈进，为全球人工智能技术的发展做出更大贡献。
