2019亚洲日韩新视频_97精品在线观看_国产成人精品一区二区_91精品网站在线观看

中國科學院自動化所發布“紫東太初”全模態大模型

來源:期刊VIP網所屬分類:業內新聞時間:瀏覽:

  6月16日,在人工智能框架生態峰會2023上,中國科學院自動化研究所(以下簡稱自動化所)所長、研究員徐波正式發布“紫東太初”全模態大模型。

  徐波介紹,“紫東太初”全模態大模型是在千億參數多模態大模型“紫東太初”1.0基礎上升級打造的2.0版本,其在語音、圖像和文本三模態的基礎上,加入視頻、傳感信號、3D點云等模態數據,研究突破了認知增強的多模態關聯等關鍵技術,具備全模態理解能力、生成能力和關聯能力。

  中國科學院自動化所發布“紫東太初”全模態大模型

  6月16日,在人工智能框架生態峰會2023上,中國科學院自動化研究所(以下簡稱自動化所)所長、研究員徐波正式發布“紫東太初”全模態大模型。

  徐波介紹,“紫東太初”全模態大模型是在千億參數多模態大模型“紫東太初”1.0基礎上升級打造的2.0版本,其在語音、圖像和文本三模態的基礎上,加入視頻、傳感信號、3D點云等模態數據,研究突破了認知增強的多模態關聯等關鍵技術,具備全模態理解能力、生成能力和關聯能力。

  

  徐波發布“紫東太初”全模態大模型。自動化所 供圖

  值得一提的是,“紫東太初”2.0以自動化所自研算法為核心,以昇騰AI硬件及昇思MindSpore AI框架為基礎,依托武漢人工智能計算中心算力支持,著力打造全棧國產化通用人工智能底座。

  會上,徐波與工作人員首次對外實時展示了“紫東太初”全模態大模型在音樂理解與生成、三維場景導航、信號理解、多模態對話等方面的新功能,并邀請現場觀眾與大模型即時互動。互動中,大模型展示了其能在三維場景里實現精準定位,還能夠通過圖像與聲音的結合完成場景分析。

  據了解,自動化所自2019年起就確立了多模態大模型布局,整合所內圖像、文本、語音等研究方向的優勢資源開展集團式攻關,并于2021年9月成功打造“紫東太初”1.0多模態大模型,助推人工智能從“一專一能”邁向“多專多能”。“紫東太初”2.0從技術架構上實現了結構化和非結構化數據的全模態開放式接入,突破了能對信息理解和生成的多模態分組認知編解碼技術、能融合多個任務的認知增強多模態關聯技術等,多模態認知能力大幅提升。

  徐波表示,目前,“紫東太初”大模型已展現出廣闊的產業應用前景,在神經外科手術導航、短視頻內容審核、法律咨詢、醫療多模態鑒別診斷、交通違規圖像研讀等領域已開始了一系列引領性、示范性應用。例如,在醫療場景,“紫東太初”大模型部署于神經外科機器人MicroNeuro,可實現在術中實時融合視覺、觸覺等多模態信息,協助醫生對手術場景進行實時推理判斷。

  作者:趙廣立 來源:中國科學報 發布時間:2023/6/16 13:41:43

主站蜘蛛池模板: 英吉沙县| 永仁县| 文登市| 镇赉县| 阳江市| 伽师县| 新巴尔虎右旗| 通山县| 承德县| 黄陵县| 台江县| 延庆县| 岳阳县| 萝北县| 普兰店市| 汉中市| 佳木斯市| 老河口市| 黄冈市| 南京市| 疏勒县| 获嘉县| 连江县| 印江| 泽州县| 富宁县| 莱州市| 定陶县| 沈丘县| 阿荣旗| 伊吾县| 罗山县| 苍南县| 大名县| 丹凤县| 祁东县| 建水县| 牟定县| 海盐县| 杭锦旗| 会理县|