商量SenseChat是商湯科技開發(fā)的千億參數(shù)大語言模型應(yīng)用平臺。該產(chǎn)品具備語義理解、多輪對話、知識掌握、邏輯推理等綜合能力，可為醫(yī)療、金融、移動終端、代碼開發(fā)、企業(yè)服務(wù)、城市管理、汽車出行、教育等垂直領(lǐng)域用戶提供服務(wù)。

2023年4月10日，商湯發(fā)布了大型模型系統(tǒng)SenseNova和該系統(tǒng)下的大型語言模型討論商量。2023年8月31日，商量正式向用戶開放，作為第一批開發(fā)大規(guī)模模型的科技公司，商湯通過咨詢商量實現(xiàn)了生成式人工智能相關(guān)收入的增長。截至2023年10月，商量主要服務(wù)于B端，與金融、手機、醫(yī)療、汽車、房地產(chǎn)、能源、媒體、工業(yè)制造等多個垂直行業(yè)的500多家客戶建立了深度合作。

投資機遇

2014年，商湯科技成立。作為一家人工智能軟件公司，商湯科技以“堅持原創(chuàng)，讓AI引領(lǐng)人類進步”為使命，長期投入AI研究。2015年，商湯開始開發(fā)深度學(xué)習(xí)訓(xùn)練框架SenseParrots，這是商湯智能計算基礎(chǔ)設(shè)施SenseCore的核心。2018年前后，商湯開始著手準備大模型初始階段所需的算力、算法和數(shù)據(jù)。2018年4月，商湯啟動人工智能計算原型開發(fā)項目。同年10月，OpenMMLab人工智能算法開源系統(tǒng)上線，涉及10多個研究方向，開放了130多個算法和1000個預(yù)訓(xùn)練模型。2021年7月，商湯開始打造SenseCore AI。2022年1月，商湯的上海臨港人工智能智能計算中心（AIDC）正式投入運營。AIDC是尚湯艾設(shè)備的重要計算基地，其設(shè)計峰值計算能力高達每秒374億次浮點運算，使其成為亞洲最大的超級計算中心之一。

2022年11月30日，OpenAI推出了ChatGPT聊天機器人。ChatGPT被視為通向通用人工智能的道路（AGI）。此后，大語言模型迅速引起了世界各國的廣泛關(guān)注。商湯科技開展了新的業(yè)務(wù)探索，并于2023年2月25日推出了SenseCore尚湯艾云，基于該云構(gòu)建了AGI基礎(chǔ)設(shè)施并開發(fā)了大型模型系統(tǒng)。

發(fā)布開發(fā)

2023年4月10日，商湯發(fā)布了大規(guī)模模型系統(tǒng)“SenseNova”，該系統(tǒng)包括自然語言處理、內(nèi)容生成、自動數(shù)據(jù)標注、用戶自定義模型訓(xùn)練等眾多大規(guī)模模型和能力，其中包括大規(guī)模語言模型“咨詢商量”。討論的意思是“如果你討論，你就可以解決它?！盨enseChat1.0基于海量數(shù)據(jù)和深度計算能力開發(fā)，具備多輪對話和超長文本理解能力，支持編程助手、健康咨詢助手、PDF文件閱讀助手等應(yīng)用。

商量SenseChat

2023年6月，商湯發(fā)布了第一款基礎(chǔ)型號InternLM，其綜合能力超過了GPT-3.5-turbo。該模型的參數(shù)達到1040億個，并使用1.6萬億token多語言語料庫進行訓(xùn)練，支持20多種語言。在此基礎(chǔ)上，討論SenseChat2.0將于7月初發(fā)布。討論了商量2.0在MMLU、AGIEval和C-Eval的評估中領(lǐng)先于ChatGPT，其中一些非常接近GPT-4的水平。2023年8月，新型號InternLM-123B完成了訓(xùn)練，其測試成績在全球51個知名評估集中的30萬個問題中排名世界第二，超過了GPT-3.5-turbo和LLaMA2-70B。在此基礎(chǔ)上，討論將商量升級到3.0版。2023年8月31日，商量正式向用戶開放。討論商量3.0在2023年9月SuperCLUE中國大型車型總榜單中排名第一。商量3.0在人工智能代理（由SuperCLUE添加的人工智能子列表）中排名第一，領(lǐng)先于所有中國中國大型模型、GPT 3.5和克勞德2。

2023年上半年，借助大設(shè)備的計算能力、“逐日增長”大模型系統(tǒng)的大語言模型和文生圖模型的研發(fā)，商湯與生成式人工智能相關(guān)的收入增長670.4%，收入貢獻占比超過20%。截至2023年10月，商量已與金融、手機、醫(yī)療、汽車、房地產(chǎn)、能源、媒體和工業(yè)制造等多個垂直行業(yè)的500多家客戶建立了深度合作。

版本信息

2023年4月10日

1.0：它包含1800億個參數(shù)，支持長文本知識理解、交互式多輪對話、自動及時的知識更新，并具有通過模型理解問題后生成和總結(jié)答案的能力；支持的應(yīng)用包括:編程助手，可以幫助開發(fā)人員更高效地編寫和調(diào)試代碼；健康咨詢助手，為用戶提供個性化醫(yī)療建議；PDF文件閱讀助手，可以輕松地從復(fù)雜的文檔中提取和總結(jié)信息

2023年7月7日

2.0：它突破了大語言模型輸入長度的限制，支持阿拉伯語和粵語，并推出不同參數(shù)順序的模型版本，可適應(yīng)移動終端、云等不同終端和場景的應(yīng)用需求，降低部署成本；知識和信息的準確性、邏輯判斷能力、語境理解能力和創(chuàng)造力都有了很大的提高。

2023年8月31日

3.0：基礎(chǔ)模型為“學(xué)者普宇I(lǐng)nternLM-123B”，擁有1230億個參數(shù)，生成的內(nèi)容更加準確可靠，可用于復(fù)雜場景下的多步推理和計算。具有獨立反思和糾錯的能力；代碼解釋器和插件調(diào)用能力已經(jīng)升級。python解釋器、API調(diào)用和搜索可用于解決復(fù)雜任務(wù)和構(gòu)建AI代理應(yīng)用程序。

計算能力和數(shù)據(jù)：商湯的SenseCore基于商湯人工智能計算中心的AIDC，擁有3萬個在線GPU，可輸出6000 Petaflops，可有效支持大型語言模型的訓(xùn)練、升級迭代和服務(wù)。到2023年8月，尚湯燦每月產(chǎn)生約2萬億個高質(zhì)量數(shù)據(jù)令牌，以支持基礎(chǔ)模型訓(xùn)練。此外，該公司還投入了數(shù)百臺配備千卡GPU計算資源的服務(wù)器，并使用算法結(jié)合人工方法對原始語料數(shù)據(jù)進行分類和精細清洗，以確保數(shù)據(jù)的質(zhì)量、安全性和價值符合要求。

基礎(chǔ)模型：學(xué)者Puyu InternLM是由上海人工智能實驗室（上海ai實驗室）、商湯科技、香港中文大學(xué)、復(fù)旦大學(xué)和上海交通大學(xué)發(fā)布的多語言、數(shù)十億參數(shù)的基座模型，并在萬億代幣數(shù)據(jù)上進行訓(xùn)練。

數(shù)據(jù)集：InternetLM的訓(xùn)練數(shù)據(jù)集來源包括網(wǎng)頁、書籍、學(xué)術(shù)論文、代碼等。語料庫包含多種語言的文檔，其中英文文本涵蓋了廣泛的領(lǐng)域，而中文文本則增強了模型對中國和中國文化的了解。雖然其他語言的文本只占很小的比例，但也提高了模型的多語言能力。為了保證語言模型預(yù)處理的魯棒性和準確性，進行了一些數(shù)據(jù)處理，分為四個階段:語言分類，將所有文檔按照主要語言（如英語、漢語或其他語言）進行分類，實現(xiàn)語言感知的數(shù)據(jù)處理；基于規(guī)則過濾，通過各種規(guī)則和啟發(fā)式方法去除無關(guān)或低質(zhì)量的內(nèi)容；基于模型過濾，在黃金標準語料庫上訓(xùn)練的小語言模型用于識別那些高質(zhì)量的文檔，以確保所有訓(xùn)練數(shù)據(jù)都符合高質(zhì)量標準。重復(fù)數(shù)據(jù)刪除意味著消除相似的文檔或完全重復(fù)的段落，以減少數(shù)據(jù)冗余并避免破壞模型性能。

模型設(shè)計：interlm-104 b的模型架構(gòu)采用基于變壓器的解碼器架構(gòu)，類似于GPT系列。該模型包括82個變壓器層，每層有80個頭，頭維度設(shè)置為128。因此，模型大小為10240。

培訓(xùn)過程：訓(xùn)練過程分為幾個階段，每個階段通過控制不同比例的數(shù)據(jù)來定義其優(yōu)化目標。并選擇適當?shù)臄?shù)據(jù)集來評估進度。如果某個特定階段未能達到預(yù)期，我們將從該階段結(jié)束時重新開始訓(xùn)練，以避免重新開始，從而提高訓(xùn)練效率。為了確保數(shù)據(jù)利用率，不會對相同的數(shù)據(jù)進行重新采樣。此外，為了進一步提高訓(xùn)練效率，不同長度的句子將被打包成固定長度的序列，并使用特殊符號來描述不同的句子。訓(xùn)練過程中使用的優(yōu)化參數(shù)包括:學(xué)習(xí)速率、批量大小和總學(xué)習(xí)步驟。通過余弦學(xué)習(xí)速率調(diào)度將最大學(xué)習(xí)速率設(shè)置在2e-4和4e-5之間。在每個訓(xùn)練階段結(jié)束時，最終學(xué)習(xí)率下降到峰值學(xué)習(xí)率的10%。訓(xùn)練中使用的優(yōu)化算法是AdamW，其特征是β1值為0.9，β2值為0.95。權(quán)重衰減的范圍保持在0.01-0.1之間，所有階段的梯度削波值和學(xué)習(xí)率預(yù)熱比分別保持在1.0和0.025。

監(jiān)督微調(diào)：SFT（監(jiān)督微調(diào)）:收集了一個包含問答對和多輪對話的教學(xué)數(shù)據(jù)集?；谥噶顢?shù)據(jù)集，以監(jiān)督的方式對模型進行微調(diào)。獎勵模型的訓(xùn)練:根據(jù)3H標準，即幫助、無害和誠實，訓(xùn)練了一個獎勵模型。我們在互聯(lián)網(wǎng)上收集用戶提示，構(gòu)建一組有毒提示，然后使用人類注釋器、語言模型和注釋偏好來生成不同的響應(yīng)。獎勵模型從SFT模型初始化，最后一個投影層由新的全連接層替換。人工反饋強化學(xué)習(xí)（RLHF）:基于獎勵模型，使用近似策略優(yōu)化（PPO）進一步微調(diào)SFT模型。此階段的目的是使模型響應(yīng)與人類偏好一致。

基本功能

咨詢商量具有語義理解、多輪對話、知識掌握和邏輯推理的綜合能力。它使用大量數(shù)據(jù)進行訓(xùn)練并充分考慮中文上下文，因此可以理解和處理中文文本，并具有理解多輪對話和長文本的能力；憑借合理性判斷和邏輯推理能力，我們可以判斷用戶給出的陳述是否合理，也可以根據(jù)前提和事實進行推導(dǎo)，以處理復(fù)雜的邏輯問題。它還可以通過與用戶的多輪互動解決復(fù)雜問題，提供定制化建議，協(xié)助文本創(chuàng)作，并自帶知識自動及時更新模塊，從而生成更可信、準確、更安全的信息；并且具有一定的共情能力，可以成為用戶傾訴社交壓力、情感困惑等個人問題的對象。此外，咨詢還可以通過字符識別技術(shù)閱讀和理解PDF文件，并根據(jù)用戶關(guān)于文件輸入的問題給出相應(yīng)的答案。

擴展功能

AI代碼助手：AI代碼助手是基于大型語言模型的人工智能輔助開發(fā)工具，應(yīng)用于編程領(lǐng)域。AI代碼助手支持中英文和多種編程語言，并能適應(yīng)開發(fā)人員的個性化編碼風(fēng)格，提高開發(fā)效率并減少開發(fā)錯誤。它具有代碼補全、代碼擴展、代碼翻譯、代碼重構(gòu)、代碼修正、注釋代碼生成、復(fù)雜性分析和測試用例生成等功能。

大醫(yī)：基于問診模式的醫(yī)療健康大語言模型。基于萬億代幣的預(yù)訓(xùn)練語料庫，以超200億代幣的高質(zhì)量醫(yī)學(xué)知識數(shù)據(jù)進行訓(xùn)練，涵蓋醫(yī)學(xué)教科書、醫(yī)學(xué)指南、臨床路徑、藥物庫、疾病庫、體檢報告，以及4000萬真實病歷、醫(yī)患問答等。大醫(yī)生的嵌入式醫(yī)療“場景集市”包括智慧健康、智慧患者服務(wù)、智慧門診和數(shù)字智能建設(shè)四大領(lǐng)域，包含智能自診、用藥咨詢、診后隨訪管理、智慧病歷和結(jié)構(gòu)化視頻報告等13個預(yù)設(shè)場景。支持提示項目定制、長期記憶訪問、醫(yī)學(xué)知識庫查詢匯總等個性化功能。

2023年11月18日，新華社中國企業(yè)發(fā)展研究中心發(fā)布《人工智能大模型體驗報告3.0》，對國內(nèi)主流大模型進行了全面評估。根據(jù)該報告，在量化衡量情商的維度上，商湯的商量在10個被評估的大型模型中排名第一。分析表明，就智商指數(shù)而言，商量能夠根據(jù)指令回答問題；在情商指標方面，它可以給出詳細的計劃，多種角度切入問題，并能引發(fā)用戶深入思考。商量憑借其技術(shù)實力和發(fā)展?jié)摿Ρ恍氯A研究院評為中國大型模型市場的“未來領(lǐng)導(dǎo)者”。