隨著AI時代的到來，云數(shù)據(jù)中心如何實現(xiàn)節(jié)能提效正成為熱門話題。其中，SR-IOV技術(shù)憑借靈活度高以及可節(jié)約虛擬化業(yè)務(wù)算力等優(yōu)勢，是打造綠色低碳云數(shù)據(jù)中心的重要解決方案之一。
一、什么是SR-IOV 技術(shù)
SR-IOV 是由國際組織 PCI-SIG 組織定義的 PCIe 規(guī)范的擴(kuò)展規(guī)范，旨在消除VMM 對虛擬化 I/O 操作的干預(yù)，提高數(shù)據(jù)傳輸性能，為 VM（虛擬機(jī)）提供獨(dú)立的內(nèi)存空間、終端、DMA 數(shù)據(jù)流。具備 SR-IOV 功能的 I/O 設(shè)備基于 PCIe 規(guī)范可管理、創(chuàng)建多個 VF（virtual function）。PCIe PF（physical function）是 PCIe 總線上的主要實體，一個 PCIe 設(shè)備具有一個或多個 PF，PF 設(shè)置 VF 數(shù)量，全局啟動或停止 VF，VF 可以不通過 VMM 的干預(yù)完成數(shù)據(jù)的訪問和轉(zhuǎn)移。
圖1：傳統(tǒng)虛擬機(jī)與SR-IOV虛擬機(jī)對比
SR-IOV 功能下，原本是 VMM 承擔(dān)的中斷交由虛擬機(jī)直接處理，提升了設(shè)備 I/O 性能，同時虛擬機(jī)可以直接與 PCIe 設(shè)備進(jìn)行交互，大大減輕了物理主機(jī) CPU 的負(fù)擔(dān)，使其可承擔(dān)更多的虛擬機(jī)設(shè)備。另外，通過 SR-IOV 功能，可以減少 PCIe 設(shè)備的需求量，節(jié)省 PCIe 插槽，使得硬件資源可以更加充分使用。
基于以上優(yōu)勢，多家 SSD 廠商開始布局 SR-IOV，目前憶聯(lián)已領(lǐng) 先在企業(yè)級 UH8 系以及數(shù)據(jù)中心級 UH7 系產(chǎn)品上成功實現(xiàn) SR-IOV 功能應(yīng)用，并在多個云數(shù)據(jù)中心投入使用。
二、憶聯(lián) SR-IOV 方案驗證
1 驗證環(huán)境
1.1 本次驗證硬件配置
·CPU：2* Intel(R) Xeon(R) Gold 6336Y CPU @ 2.40GHz 24cores/48threads
·內(nèi)存：16*32GB 3200MT/S DDR4
·系統(tǒng)盤：1*960G 12Gbps
·SSD：1*UH8 系 3.84T
·HBA 卡：1*MegaRAID 9440-8i
·NIC：2* SC332
1.2 本次驗證軟件配置
·操作系統(tǒng)：CentOS Linux release 8.3.2011
·內(nèi)核：Linux 4.18.0-240.el8.x86_64
·測試工具：2.6 及以上版本
·QEMU-KVM：2.12
·NVMe 開源驅(qū)動：1.11.1
·umtool 工具：1.0.1.5
2 驗證方法
本次驗證，在虛擬化分區(qū)方式的場景下，通過 SR-IOV 技術(shù)將一片 PCIe 4.0 3.84TB SSD(綁定 16 個 CPU 核)配置為 2 個容量為 1.92TB VF(綁定 8 個 CPU)，4 個 960G VF（綁定 4 個核），8 個 480G VF（綁定 2 個核），如下示意圖。
圖2：虛擬化分區(qū)方式場景
測試 IO 基本模型如下：
·讀寫帶寬（bs=128k,job=1,iodepth=128,read/write）
·讀 IOPS（bs=4k,job=16,iodepth=128,randread）
·寫 IOPS（bs=4k,job=8,iodepth=64,randwrite）
通過對盤進(jìn)行劃分為 2/4/8 個 VF 的場景下，在常規(guī) IO 測試模型下進(jìn)行 SR-IOV 方案驗證。
3 驗證結(jié)果
3.1 SSD 性能充分使用，有效提高利用率
本次在 SR-IOV 功能下的不同 VF 場景下總性能與整盤的性能對比圖如下（以下數(shù)據(jù)為此次驗證數(shù)據(jù)，僅供參考）。
*注：總帶寬/總 IOPS=平均性能×VF 數(shù)量
圖3：使用 SR-IOV 前后盤片性能對比圖
從圖 3 可以看到，在此次 SR-IOV 方案驗證下，PF 性能、VF 性能總和與原盤的性能相比波動較低，基本在 5%以內(nèi)，實現(xiàn)了對憶聯(lián) UH 系列 SSD 性能充分使用。在云場景下，可以減少用戶所需PCIe設(shè)備數(shù)量，有效提升租戶利用率，實現(xiàn)云虛擬化業(yè)務(wù)降本增效。
3.2 各場景下 VF 性能穩(wěn)定，擴(kuò)展性、靈活性高
為驗證 VF 性能穩(wěn)定，在劃分 2/4/8 個 VF 的場景下，分別進(jìn)行了測試，結(jié)果如下圖。
注：偏差值=（VF 均值-VF 性能）/VF 均值*100%
圖4：SR-IOV 功能下各 VF 與均值偏差圖
數(shù)據(jù)顯示，各 VF 測試值與 VF 均值基本偏差小于 1%，VF間性能分配較為穩(wěn)定，擴(kuò)展性較高，可靈活根據(jù)用戶需求進(jìn)行 VF 數(shù)量設(shè)置及管理。
3.3 SR-IOV with QoS 性能隔離明顯
將 SSD 拆分成多個虛擬盤后，為了避免出現(xiàn)多個虛擬機(jī)同時運(yùn)行以及同個虛擬機(jī)同時對盤上下業(yè)務(wù)從而出現(xiàn)性能上互相干擾的情況，憶聯(lián)針對 SR-IOV 特性做了針對性能隔離的設(shè)計——SR-IOV with QoS，可通過 SSD 芯片對各 VF 進(jìn)行流控，做到性能均衡，保障虛擬SSD盤的大帶寬、低時延等特性，滿足云數(shù)據(jù)中心對于高性能數(shù)據(jù)存儲的需求。
圖5：具體業(yè)務(wù)場景下 VF 的性能表現(xiàn)
三、憶聯(lián) SR-IOV技術(shù)的演進(jìn)方向
1、SR-IOV 的性能隔離功能進(jìn)一步優(yōu)化
當(dāng)前憶聯(lián) SR-IOV 使用 NS 對 VF 進(jìn)行邏輯上的數(shù)據(jù)隔離，但因為所有 VF 都使用公共的Nand Flash 空間，各 VF 間不可避免會存在性能影響，雖然在 QoS 功能的調(diào)度下控制到了一定范圍內(nèi)，但在部分更為復(fù)雜業(yè)務(wù)場景下仍不可避免。為解決這個問題，憶聯(lián)將繼續(xù)深耕 SR-IOV 在 SSD 上的應(yīng)用，進(jìn)一步優(yōu)化性能隔離算法，實現(xiàn)更好的隔離效果。
2、SR-IOV 的數(shù)據(jù)安全
虛擬機(jī)數(shù)據(jù)安全至關(guān)重要，當(dāng)前代次虛擬機(jī)數(shù)據(jù)可以通過 trim 的方式進(jìn)行清除，但對于金融、政 府等對數(shù)據(jù)安全要求高的客戶仍存在不足，如當(dāng) SSD 離開數(shù)據(jù)中心機(jī)柜便存在數(shù)據(jù)被盜取的可能。憶聯(lián)針對虛擬機(jī)數(shù)據(jù)安全的研究方向已初具成果，后續(xù)可以做到在虛擬機(jī)釋放時，對應(yīng)到 SSD 上的物理數(shù)據(jù)同時徹底銷毀，為維護(hù)數(shù)據(jù)安全提供保障。
3、SR-IOV 的智能化
憶聯(lián)當(dāng)前代次的 SR-IOV 具備各 VF 性能統(tǒng)計能力，新一代 SSD 中支持虛擬機(jī)性能智能分析，根據(jù)性能狀態(tài)進(jìn)行性能配置反饋，支持對虛擬機(jī)狀態(tài)進(jìn)行智能診斷并遠(yuǎn)程修復(fù)等功能。
綜上所述，憶聯(lián) UH8 系列及 UH7 系列 SSD 的 SR-IOV 技術(shù)是可真正做到降本增效、綠色低碳可持續(xù)的存儲方案。能有效提高盤片利用率，減少存儲空間的浪費(fèi)，實現(xiàn)節(jié)能減排的同時，憶聯(lián) SR-IOV 方案表現(xiàn)出效果顯著的隔離度，更能滿足用戶在云化環(huán)境下對AI、分布式數(shù)據(jù)庫、高性能企業(yè)應(yīng)用等需求。
多年來，憶聯(lián)持續(xù)加大SSD產(chǎn)品的研發(fā)創(chuàng)新投入力度，結(jié)合自身在閃存領(lǐng)域的多重優(yōu)勢，通過硬件技術(shù)與用戶應(yīng)用場景結(jié)合，不斷迭代更為先進(jìn)的SSD產(chǎn)品助力企業(yè)業(yè)務(wù)系統(tǒng)穩(wěn)定運(yùn)行 。憶聯(lián) SR-IOV 方案是對公司研發(fā)創(chuàng)新能力好的驗證，未來憶聯(lián)將進(jìn)一步夯實產(chǎn)品創(chuàng)新能力，為數(shù)字經(jīng)濟(jì)高質(zhì)量、可持續(xù)發(fā)展添磚加瓦。
