5月17日消息，摩爾線程、憨猴科技集團(tuán)聯(lián)合宣布，基于摩爾線程的夸娥（KUAE）千卡智算集群，憨猴集團(tuán)成功完成了7B、34B、70B不同參數(shù)量級的大模型分布式訓(xùn)練。
經(jīng)雙方共同嚴(yán)苛測試，兼容適配程度高，訓(xùn)練效率達(dá)到預(yù)期，精度符合要求，整個訓(xùn)練過程持續(xù)穩(wěn)定。
這充分驗(yàn)證了夸娥智算集群作為國產(chǎn)全功能GPU千卡千億大模型預(yù)訓(xùn)練平臺，在穩(wěn)定性、高效能、易用性和高算力利用率的先進(jìn)性。
這也是憨猴集團(tuán)首次使用國產(chǎn)AI算力完成大模型訓(xùn)練測試，后續(xù)可為其服務(wù)的國有企業(yè)與運(yùn)營商等關(guān)鍵領(lǐng)域，提供更加堅實(shí)可靠的國產(chǎn)AI訓(xùn)練平臺，以及成本效益更優(yōu)的國產(chǎn)算力解決方案。
同時，摩爾線程與憨猴集團(tuán)簽署了戰(zhàn)略合作協(xié)議。
雙方將聚焦AI大模型和算力領(lǐng)域，通過摩爾線程夸娥千卡智算集群與憨猴集團(tuán)AI智算產(chǎn)品及數(shù)字化解決方案的深度融合，共同探索國產(chǎn)AI算力的新應(yīng)用場景與落地實(shí)踐，加速數(shù)智化產(chǎn)業(yè)的全面升級。
在此之前，摩爾線程已成為第一家接入無問芯穹，并成功完成千卡級別大模型訓(xùn)練的國產(chǎn)GPU公司，夸娥千卡集群與無穹Infini-AI順利完成了系統(tǒng)級融合適配，并完成了LLama2 700億參數(shù)大模型的訓(xùn)練測試。
“夸娥”集群基于雙路八卡GPU服務(wù)器MCCX D800，每個節(jié)點(diǎn)有八塊MTT S4000 GPU加速卡、兩顆Intel第四代至強(qiáng)處理器、16 x 64GB內(nèi)存、4 x 3.84TB NVMe SSD，以及雙路400Gb IB、四路25Gb以太網(wǎng)網(wǎng)絡(luò)，一體化交付解決大規(guī)模GPU算力的建設(shè)和運(yùn)營管理問題。
夸娥氏是我國神話傳說中的大力神，出自《愚公移山》：“帝感其誠，命夸娥氏二子負(fù)二山，一厝朔東，一厝雍南。自此，冀之南，漢之陰，無隴斷焉。”
本文鏈接：http://m.znrcxx.com/news-129364.html摩爾線程千卡GPU集群！憨侯完成700億參數(shù)大模型訓(xùn)練
