10G Lan

好像市面上沒有啥 Infiniband 相關中文筆記
由於難設定, 因此很多市場有賤賣這類介面卡.實際上此為價格性能比超高的物理性連結設備

以下以mellanox 的 MHEL-CF128-T ( pci-e 規格 InfiniBand InfiniHost III Ex 晶片 dual port 網卡 ) 為例
 Windows :
http://www.mellanox.com/related-docs...ser_manual.pdf

Linux  主要為oped組織 opensources driver
http://www.mellanox.com/related-docs..._5_2-2_1_0.pdf

Esx 驅動主要也為OFED Driver
http://www.mellanox.com/related-docs...guide_1_30.pdf

infiniband gpxe boot
http://www.mellanox.com/related-docs...ser_manual.pdf

1.抓驅動與安裝  2.抓燒錄程式與安裝 3 .抓firmware 4.修改Driver 5.啟動Subnet Manger

驅動下載
http://www.mellanox.com/content/page...enu_section=34

舊款卡只有Mellanox OFED for Windows (WinOF)
安裝好後可能會出現



為何infiniband HBA 無法啟動 通常為市面上買到 全新未拆卡應該為 沒有任何FW. 要自己燒錄
可用fw 工具看到
Current FW version on flash:  N/A
先下MST start
       MST  status 可看到
MST devices:
------------
  mt25208_pciconf0
  mt25208_pci_cr0


下載Firmware
http://www.mellanox.com/content/page...firmware_table

以型號可以看出控制器晶片 同款控制晶片當然用相容FW

FW有分穩定版跟Beta版
燒錄firmware 有不同程式
可參考


舊版用 flint 就可C:\Program Files\Mellanox\WinMFT>>flint -d mt25208_pci_cr0 -i CF128.bin -nofs burn


Beta版要用mlxburn 請把ini 跟mlx fw 放在目錄下
mlxburn -fw ./fw-25208-rel.mlx -d mt25208_pci_cr0 -skip_is

要額外燒bootrom
mlxburn -dev mt25208_pci_cr0 -fw fw-25208-rel.mlx -conf MHEL-CF128-T.ini -exp_rom IHOST3EX_PORT2_ROM-1.0.0.rom -skip_is

(port1 跟port2 有何不同..還不知道)

安裝好會出現

 

一般"正常狀況下"
infniband 應用狀況 都會有硬體 infniband switch ,但一台 8 port nt 4萬以上
二臺直接對接用一般CX4 Cable 燈號有亮 但是都是顯示offline

才知道IB 架構要有Subnet Manger 才能正常工作
而硬體switch 會內建此功能

最大頻寬測試

專業軟體 http://www.thirdio.com/ (Linux OS +FC Target driver ) 目前只知能搭配Emulex Card

一般自測



Windows 使用虛擬化 virtual dram disk 軟體
http://www.romexsoftware.com/zh-cn/v...isk/index.html

10G 網卡
sc start opensm

再配上Starwind 等iscsi 轉換軟體

實測
FC 8GB 也只能到400 MB/sec
效能綜合考量

1.IOPS  (分隨機跟循序)
2.CPU佔有率

C:\Program Files\Mellanox\WinMFT>mlxburn -fw 1.mlx -d mt26448_pci_cr0 -conf MNPH29C-XTR_A2-A4.ini

mlxburn -fw 1.mlx -d mt26448_pci_cr0 -conf MNPA19_A1-A3.ini