企业软件开发商赛富时(Salesforce)开源xGen-MM多模态模型

企业软件开发商赛富时 (Salesforce) 日前发布了一套新的开源多模态 AI 模型，该模型被称作 xGen-MM (也被称作 BLIP-3)，支撑文本、图画和其他数据类型的内容。

赛富时 AI 研讨院在论文中具体介绍了这个尺度只要 4B 的模型，与其他相似尺度的模型比较，xGen-MM 在各种基准测验中都有着不错的竞争力。

那为什么赛富时要开源自己研讨的 AI 模型呢？赛富时研讨人员称：

开源模型、精选的大规模数据集以及微调代码库都能够促进大型言语模型的开展，这有助于打破先进 AI 模型坚持专有而非开源的趋势，有可能让获取多模态 AI 技能的途径多样化。

xGen-MM 模型的要害立异在于该模型能够处理结合了多个图画和文本的交织数据，研讨人员将其描绘为多模态数据的最天然方式。

该功能让模型能够履行更杂乱的使命，例如一起答复包含多个图画和文本内容的问题，这在医疗确诊以及自动驾驶等多个收取可能有十分高的实用价值。

赛富时还为开发者、AI 同行和其他研讨人员推出针对不同场景而优化的模型变体，包含根本预练习模型、用于遵从指令的指令调整模型和旨在削减有害输出的安全调整模型等。

开发者能够依据自己的需求挑选不同的模型，例如只运用不考虑其他问题那就能够运用根本预练习模型，假如要针对特定范畴运用则能够运用指令调整模型自己进行微调等。

现在 xGen-MM 模型的代码、模型和数据集都已经在赛富时的 GitHub 存储库中发布，更多资源随后也会在项目网站中发布供开发者们下载。

Salesforce xGen-MM：https://github.com/salesforce/LAVIS/tree/xgen-mm

Salesforce Huggingface：https://huggingface.co/Salesforce

项目网站：http://xgen-mm.salesforceairesearch.com/