? 通過模擬真實工作負(fù)載驗證AI基礎(chǔ)設(shè)施的性能

? 通過評估新算法、組件或協(xié)議提高AI訓(xùn)練的性能

? 在不投資昂貴的大規(guī)模部署的情況下，調(diào)整和優(yōu)化AI工作負(fù)載和系統(tǒng)基礎(chǔ)設(shè)施的參數(shù)

是德科技（NYSE：KEYS）推出Keysight AI (KAI)數(shù)據(jù)中心構(gòu)建器，這是一款先進(jìn)的軟件套件，通過模擬真實工作負(fù)載來評估新算法、組件和協(xié)議對AI訓(xùn)練性能的影響。KAI數(shù)據(jù)中心構(gòu)建器的工作負(fù)載模擬功能將大型語言模型（LLM）和其他人工智能（AI）模型訓(xùn)練工作負(fù)載集成到AI基礎(chǔ)設(shè)施組件的設(shè)計和驗證中——包括網(wǎng)絡(luò)、主機(jī)和加速器。該解決方案實現(xiàn)了硬件設(shè)計、協(xié)議、架構(gòu)和AI訓(xùn)練算法之間的更緊密協(xié)同，提升系統(tǒng)性能。

Keysight AI (KAI)數(shù)據(jù)中心構(gòu)建器是一款先進(jìn)的軟件套件，通過模擬真實工作負(fù)載來評估新算法、組件和協(xié)議對AI訓(xùn)練性能的影響。

AI服務(wù)提供商使用各種并行處理策略（也稱為數(shù)據(jù)或模型并行）來加速AI模型訓(xùn)練。將模型并行與AI集群拓?fù)浜团渲脤R可以提高訓(xùn)練性能。在AI集群設(shè)計階段，關(guān)鍵問題最hao通過實驗來回答。許多問題集中在圖形處理單元（GPU）之間的數(shù)據(jù)傳輸效率上。關(guān)鍵考慮因素包括：

? AI主機(jī)或機(jī)架內(nèi)GPU互連的scale up設(shè)計

? Scale out網(wǎng)絡(luò)設(shè)計，包括每個GPU的帶寬和拓?fù)?/p>

? 網(wǎng)絡(luò)負(fù)載均衡和擁塞控制的配置

? 訓(xùn)練框架參數(shù)的調(diào)整

KAI數(shù)據(jù)中心構(gòu)建器的工作負(fù)載模擬解決方案再現(xiàn)了真實AI訓(xùn)練任務(wù)的網(wǎng)絡(luò)通信模式，加速實驗，降低達(dá)到熟練程度所需的學(xué)習(xí)曲線，并更深入洞察性能下降的原因，這些是通過真實AI訓(xùn)練任務(wù)實驗難以獲得的。是德科技客戶可以訪問包括GPT和Llama在內(nèi)的LLM工作負(fù)載庫，以及數(shù)據(jù)并行（DP）、全分片數(shù)據(jù)并行（FSDP）和三維（3D）并行等流行的模型分區(qū)方案。

使用KAI數(shù)據(jù)中心構(gòu)建器中的工作負(fù)載模擬應(yīng)用程序，AI服務(wù)提供商可以：

? 實驗并行參數(shù)，包括并行數(shù)據(jù)大小及其在可用AI基礎(chǔ)設(shè)施上的分布（調(diào)度）

? 了解并行內(nèi)和并行間通信對整體任務(wù)完成時間（JCT）的影響

? 識別低性能的集合通信操作并深入識別瓶頸

? 分析網(wǎng)絡(luò)利用率、尾部延遲和擁塞，了解它們對JCT的影響

KAI數(shù)據(jù)中心構(gòu)建器的新工作負(fù)載模擬功能使AI服務(wù)提供商、GPU云提供商和基礎(chǔ)設(shè)施供應(yīng)商能夠?qū)⒄鎸嵉腁I工作負(fù)載引入其實驗室環(huán)境，以驗證AI集群和新組件的不斷演變的設(shè)計。他們還可以通過實驗微調(diào)模型并行方案、參數(shù)和算法，以優(yōu)化基礎(chǔ)設(shè)施并提高AI工作負(fù)載性能。

是德科技網(wǎng)絡(luò)測試與安全解決方案副總裁兼總經(jīng)理Ram Periakaruppan表示：“隨著AI基礎(chǔ)設(shè)施規(guī)模和復(fù)雜性的增長，對全棧驗證和優(yōu)化的需求變得至關(guān)重要。為了避免昂貴的延誤和返工，必須將驗證轉(zhuǎn)移到設(shè)計和制造周期的早期階段。KAI數(shù)據(jù)中心構(gòu)建器的工作負(fù)載模擬為AI組件和系統(tǒng)設(shè)計提供了非常高的真實性，優(yōu)化工作負(fù)載以實現(xiàn)最佳性能。”

KAI數(shù)據(jù)中心構(gòu)建器是是德科技人工智能（KAI）架構(gòu)的基礎(chǔ)，這是一系列端到端解決方案，旨在通過使用真實AI工作負(fù)載模擬驗證AI集群組件，幫助客戶在數(shù)據(jù)中心擴(kuò)展人工智能（AI）處理能力。