《經濟通通訊社30日專訊》百度(09888)公布,今日正式開源文心大模型4﹒5系
列模型,涵蓋47B、3B激活參數的混合專家(MoE)模型,與0﹒3B參數的稠密型模型
等10款模型,並實現預訓練權重和推理代碼的完全開源。
目前,文心大模型4﹒5開源系列已可在飛槳星河社區、HuggingFace等平台下
載部署使用,同時開源模型API服務也可在百度智能雲千帆大模型平台使用。
文心大模型4﹒5開源系列,在保持甚至提升文本任務性能的基礎上,顯著增強了多模態理
解能力。此外,文心大模型4﹒5開源系列均使用飛槳深度學習框架進行高效訓練、推理和部署
。在大語言模型的預訓練中,模型FLOPs利用率(MFU)達到47%。實驗結果顯示,其
系列模型在多個文本和多模態基準測試中達到SOTA水平,尤其在指令遵循、世界知識記憶、
視覺理解和多模態推理任務上效果突出。(bi)
【你點睇?】民建聯「小花」莊雅婷公布參選香港小姐後極速退選。你認為區議員選美有否問題?► 立即了解