關(guān)于hitachi多路徑軟件hdlm知識

xxwang1984

最近在學(xué)習(xí)hitachi的hdlm知識，遇到一些問題，煩請高手賜教！

# /opt/DynamicLinkManager/bin/dlnkmgr view -lu
Product       : AMS
SerialNumber  : 83040634        
LUs           : 2

iLU  HDevName Device   PathID Status     
0000 sddlmaa  /dev/sdb 000000 Online     
              /dev/sdg 000002 Online     
              /dev/sdd 000004 Offline(E)
              /dev/sdf 000005 Online     
0001 sddlmab  /dev/sdc 000001 Online     
              /dev/sdi 000003 Online     
              /dev/sde 000006 Offline(E)
              /dev/sdh 000007 Online     
KAPL01001-I The HDLM command completed normally. Operation name = view, completion time = 2011/09/28 10:36:33

# /opt/DynamicLinkManager/bin/dlnkmgr view -path
Paths:000008 OnlinePaths:000006
PathStatus   IO-Count    IO-Errors
Reduced      2551375341  704      

PathID PathName                        DskName                                    iLU              ChaPort Status     Type IO-Count   IO-Errors  DNum HDevName
000000 0003.0000.0000000000000000.0000 HITACHI .DF600F          .83040634         0000             1A      Online     Own  2283901562          0    0 sddlmaa
000001 0003.0000.0000000000000000.0001 HITACHI .DF600F          .83040634         0001             1A      Online     Own   959682435          0    0 sddlmab
000002 0003.0000.0000000000000001.0000 HITACHI .DF600F          .83040634         0000             0A      Online     Own  2281424428          0    0 sddlmaa
000003 0003.0000.0000000000000001.0001 HITACHI .DF600F          .83040634         0001             0A      Online     Own  1000636382          0    0 sddlmab
000004 0004.0000.0000000000000000.0000 HITACHI .DF600F          .83040634         0000             0B      Offline(E) Own   591168551          4    0 sddlmaa
000005 0004.0000.0000000000000001.0000 HITACHI .DF600F          .83040634         0000             1B      Online     Own  2288134419          0    0 sddlmaa
000006 0004.0000.0000000000000000.0001 HITACHI .DF600F          .83040634         0001             0B      Offline(E) Own  4226664974        700    0 sddlmab
000007 0004.0000.0000000000000001.0001 HITACHI .DF600F          .83040634         0001             1B      Online     Own  1804664478          0    0 sddlmab
KAPL01001-I The HDLM command completed normally. Operation name = view, completion time = 2011/09/28 10:37:42

# fdisk -l /dev/sddlmaa

WARNING: GPT (GUID Partition Table) detected on '/dev/sddlmaa'! The util fdisk doesn't support GPT. Use GNU Parted.


Disk /dev/sddlmaa: 2947.5 GB, 2947521970176 bytes
255 heads, 63 sectors/track, 358349 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

       Device Boot      Start         End      Blocks   Id  System
/dev/sddlmaa1               1      267350  2147483647+  ee  EFI GPT


# ll /dev/sddlma*
brw-r----- 1 root disk 252,  0 2009-11-08 /dev/sddlmaa
brw-r----- 1 root disk 252,  1 2010-05-07 /dev/sddlmaa1
brw-rw---- 1 root root 252, 10 2009-11-08 /dev/sddlmaa10
brw-rw---- 1 root root 252, 11 2009-11-08 /dev/sddlmaa11
brw-rw---- 1 root root 252, 12 2009-11-08 /dev/sddlmaa12
brw-rw---- 1 root root 252, 13 2009-11-08 /dev/sddlmaa13
brw-rw---- 1 root root 252, 14 2009-11-08 /dev/sddlmaa14
brw-rw---- 1 root root 252, 15 2009-11-08 /dev/sddlmaa15
brw-r----- 1 root disk 252,  2 2010-05-07 /dev/sddlmaa2
brw-rw---- 1 root root 252,  3 2009-11-08 /dev/sddlmaa3
brw-rw---- 1 root root 252,  4 2009-11-08 /dev/sddlmaa4
brw-rw---- 1 root root 252,  5 2009-11-08 /dev/sddlmaa5
brw-rw---- 1 root root 252,  6 2009-11-08 /dev/sddlmaa6
brw-rw---- 1 root root 252,  7 2009-11-08 /dev/sddlmaa7
brw-rw---- 1 root root 252,  8 2009-11-08 /dev/sddlmaa8
brw-rw---- 1 root root 252,  9 2009-11-08 /dev/sddlmaa9
brw-r----- 1 root disk 252, 16 2009-11-08 /dev/sddlmab
brw-r----- 1 root disk 252, 17 2011-02-10 /dev/sddlmab1
brw-rw---- 1 root root 252, 26 2009-11-08 /dev/sddlmab10
brw-rw---- 1 root root 252, 27 2009-11-08 /dev/sddlmab11
brw-rw---- 1 root root 252, 28 2009-11-08 /dev/sddlmab12
brw-rw---- 1 root root 252, 29 2009-11-08 /dev/sddlmab13
brw-rw---- 1 root root 252, 30 2009-11-08 /dev/sddlmab14
brw-rw---- 1 root root 252, 31 2009-11-08 /dev/sddlmab15
brw-r----- 1 root disk 252, 18 2011-02-10 /dev/sddlmab2
brw-rw---- 1 root root 252, 19 2009-11-08 /dev/sddlmab3
brw-rw---- 1 root root 252, 20 2009-11-08 /dev/sddlmab4
brw-rw---- 1 root root 252, 21 2009-11-08 /dev/sddlmab5
brw-rw---- 1 root root 252, 22 2009-11-08 /dev/sddlmab6
brw-rw---- 1 root root 252, 23 2009-11-08 /dev/sddlmab7
brw-rw---- 1 root root 252, 24 2009-11-08 /dev/sddlmab8
brw-rw---- 1 root root 252, 25 2009-11-08 /dev/sddlmab9


# pvscan
  PV /dev/sddlmab1   VG vgarch   lvm2 [1.34 TB / 1.01 TB free]
  PV /dev/sddlmab2   VG vgarch   lvm2 [1.34 TB / 372.25 GB free]
  PV /dev/sddlmaa1   VG vgdata   lvm2 [1.34 TB / 3.50 GB free]
  PV /dev/sddlmaa2   VG vgdata   lvm2 [1.34 TB / 0    free]
  Total: 4 [5.36 TB] / in use: 4 [5.36 TB] / in no VG: 0 [0   ]


問題：
1、上面的輸出能否看到主機裝了幾個hba卡，每個hba卡的id是多少？
2、上面是輸出中是否是4條path？
3、hdev設(shè)備sddlmaa 是否是有四個基盤 /dev/sdb 、  /dev/sdg 、 /dev/sdd 、 /dev/sdf  組成嗎？
4、hdev設(shè)備sddlmaa只有一個邏輯分區(qū)/dev/sddlmaa1，為什么# ll /dev/sddlma*命令輸出又那么多呢？

上面的問題可能問的幼稚，請不要拍磚，沒有辦法，絕對的新手，謝謝！

jerryjzm

hitachi 的多路徑軟件沒用過

對于第一個問題，我可以給你個命令，查看hba的wwn

用root
1.systool -P|grep -i fc

2.systool -c fc_host -v

輸出的
    node_name           = "0x2000001b320e5c58"
    port_id             = "0x0000ef"
    port_name           = "0x2100001b320e5c58"
    port_state          = "Online"
的
   port_name           = "0x2100001b320e5c58"
就為wwn號
因為wwn為64位，這里用的是16進制表示的

xxwang1984

hitachi 的多路徑軟件沒用過

對于第一個問題，我可以給你個命令，查看hba的wwn

用root
1.systool -P ...
jerryjzm 發(fā)表于 2011-09-28 11:50

多謝~！

xxwang1984

回復(fù) 2# jerryjzm


   # systool -c fc_host -v
Class = "fc_host"

  Class Device = "host3"
  Class Device path = "/sys/class/fc_host/host3"
    fabric_name         = "0x1200d00cbec41c2"
    issue_lip           = <store method only>
    node_name           = "0x2000001b320bdf3e"
    port_id             = "0x5a0200"
    port_name           = "0x2100001b320bdf3e"
    port_state          = "Online"
    port_type           = "NPort (fabric via point-to-point)"
    speed               = "4 Gbit"
    supported_classes   = "Class 3"
    symbolic_name       = "QLE2562 FW:v4.03.02 DVR:v8.02.00-k5-rhel5.2-04"
    system_hostname     = ""
    tgtid_bind_type     = "wwpn (World Wide Port Name)"
    uevent              = <store method only>

    Device = "host3"
    Device path = "/sys/devices/pci0000:00/0000:00:04.0/0000:0c:00.0/0000:0d:04.0/0000:0e:00.0/host3"
      fw_dump             =
      nvram               = "ISP "
      optrom_ctl          = <store method only>
      optrom              =
      sfp                 = ""
      uevent              = <store method only>
      vpd                 = "‚."


  Class Device = "host4"
  Class Device path = "/sys/class/fc_host/host4"
    fabric_name         = "0x1200d00cbecc1d2"
    issue_lip           = <store method only>
    node_name           = "0x2001001b322bdf3e"
    port_id             = "0x390800"
    port_name           = "0x2101001b322bdf3e"
    port_state          = "Online"
    port_type           = "NPort (fabric via point-to-point)"
    speed               = "4 Gbit"
    supported_classes   = "Class 3"
    symbolic_name       = "QLE2562 FW:v4.03.02 DVR:v8.02.00-k5-rhel5.2-04"
    system_hostname     = ""
    tgtid_bind_type     = "wwpn (World Wide Port Name)"
    uevent              = <store method only>

    Device = "host4"
    Device path = "/sys/devices/pci0000:00/0000:00:04.0/0000:0c:00.0/0000:0d:04.0/0000:0e:00.1/host4"
      fw_dump             =
      nvram               = "ISP "
      optrom_ctl          = <store method only>
      optrom              =
      sfp                 = ""
      uevent              = <store method only>
      vpd                 = "‚."

下面的輸出是不是陣列端東東？

# systool -c fc_remote_ports -v
Class = "fc_remote_ports"

  Class Device = "0-0"
  Class Device path = "/sys/class/fc_remote_ports/rport-3:0-0"
    dev_loss_tmo        = "35"
    node_name           = "0x50060e80104aa722"
    port_id             = "0x5a0500"
    port_name           = "0x50060e80104aa722"
    port_state          = "Online"
    roles               = "FCP Target"
    scsi_target_id      = "0"
    supported_classes   = "Class 3"
    uevent              = <store method only>

    Device = "rport-3:0-0"
    Device path = "/sys/devices/pci0000:00/0000:00:04.0/0000:0c:00.0/0000:0d:04.0/0000:0e:00.0/host3/rport-3:0-0"
      uevent              = <store method only>


  Class Device = "0-0"
  Class Device path = "/sys/class/fc_remote_ports/rport-4:0-0"
    dev_loss_tmo        = "35"
    node_name           = "0xffffffffffffffff"
    port_id             = "0xffffffff"
    port_name           = "0x50060e80104aa721"
    port_state          = "Not Present"
    roles               = "unknown"
    scsi_target_id      = "0"
    supported_classes   = "unspecified"
    uevent              = <store method only>

    Device = "rport-4:0-0"
    Device path = "/sys/devices/pci0000:00/0000:00:04.0/0000:0c:00.0/0000:0d:04.0/0000:0e:00.1/host4/rport-4:0-0"
      uevent              = <store method only>


  Class Device = "0-1"
  Class Device path = "/sys/class/fc_remote_ports/rport-3:0-1"
    dev_loss_tmo        = "35"
    node_name           = "0x50060e80104aa720"
    port_id             = "0x5a0700"
    port_name           = "0x50060e80104aa720"
    port_state          = "Online"
    roles               = "FCP Target"
    scsi_target_id      = "1"
    supported_classes   = "Class 3"
    uevent              = <store method only>

    Device = "rport-3:0-1"
    Device path = "/sys/devices/pci0000:00/0000:00:04.0/0000:0c:00.0/0000:0d:04.0/0000:0e:00.0/host3/rport-3:0-1"
      uevent              = <store method only>


  Class Device = "0-1"
  Class Device path = "/sys/class/fc_remote_ports/rport-4:0-1"
    dev_loss_tmo        = "35"
    node_name           = "0x50060e80104aa723"
    port_id             = "0x390600"
    port_name           = "0x50060e80104aa723"
    port_state          = "Online"
    roles               = "FCP Target"
    scsi_target_id      = "1"
    supported_classes   = "Class 3"
    uevent              = <store method only>

    Device = "rport-4:0-1"
    Device path = "/sys/devices/pci0000:00/0000:00:04.0/0000:0c:00.0/0000:0d:04.0/0000:0e:00.1/host4/rport-4:0-1"
      uevent              = <store method only>


按您的意思，上面查詢到的是2個hba卡，但實際是系統(tǒng)有兩個lun，被4個path掃描的到，cha的port是0A/0B/1A/1B，對應(yīng)應(yīng)該也是4個hba才對啊

dxzhujob

這個很不錯。學(xué)習(xí)了

xxwang1984

# /opt/DynamicLinkManager/bin/dlnkmgr view -path -iem -hbaportwwn
Paths:000008 OnlinePaths:000006
PathStatus   IO-Count    IO-Errors
Reduced      2557234761  704      

PathID  PathName                                            HBAPortWWN            DskName                                                iLU              ChaPort Status     Type IO-Count   IO-Errors  DNum HDevName IEP
000000 0003.0000.0000000000000000.0000 2100001B320BDF3E HITACHI .DF600F          .83040634         0000             1A      Online     Own  2284831879          0    0 sddlmaa  -  
000001 0003.0000.0000000000000000.0001 2100001B320BDF3E HITACHI .DF600F          .83040634         0001             1A      Online     Own   960642743          0    0 sddlmab  -  
000002 0003.0000.0000000000000001.0000 2100001B320BDF3E HITACHI .DF600F          .83040634         0000             0A      Online     Own  2282360868          0    0 sddlmaa  -  
000003 0003.0000.0000000000000001.0001 2100001B320BDF3E HITACHI .DF600F          .83040634         0001             0A      Online     Own  1001594060          0    0 sddlmab  -  
000004 0004.0000.0000000000000000.0000 2101001B322BDF3E HITACHI .DF600F          .83040634         0000             0B      Offline(E) Own   591168551          4    0 sddlmaa  -  
000005 0004.0000.0000000000000001.0000 2101001B322BDF3E HITACHI .DF600F          .83040634         0000             1B      Online     Own  2289074173          0    0 sddlmaa  -  
000006 0004.0000.0000000000000000.0001 2101001B322BDF3E HITACHI .DF600F          .83040634         0001             0B      Offline(E) Own  4226664974        700    0 sddlmab  -  
000007 0004.0000.0000000000000001.0001 2101001B322BDF3E HITACHI .DF600F          .83040634         0001             1B      Online     Own  1805799401          0    0 sddlmab  -  
KAPL01001-I The HDLM command completed normally. Operation name = view, completion time = 2011/09/28 15:37:21

這里的輸出也看到HBAPortWWN只有一個，另外一個hba連接的path出現(xiàn)錯誤，為什么有4個path，而只有兩個hba卡呢

jerryjzm

回復(fù)  jerryjzm


   # systool -c fc_host -v
Class = "fc_host"

  Class Device = "host3"
  Cl ...
xxwang1984 發(fā)表于 2011-09-28 15:01

systool -c fc_host -v
這個是可以明確的，這個我驗證過
，當(dāng)時要注意，hba也有區(qū)別，有一塊卡上1對光纖口（常見）也有一塊卡上2對光纖口的。

但是
systool -c fc_remote_ports -v
是不是對端陣列的，我不能確定，這個我沒驗證。、

ps：這里還有一個問題，你用了san交換機嗎？

xxwang1984

systool -c fc_host -v
這個是可以明確的，這個我驗證過
，當(dāng)時要注意，hba也有區(qū)別，有一塊卡上1對光 ...
jerryjzm 發(fā)表于 2011-09-28 16:12

    用了兩臺思科交換機，并且兩臺交換機還是互連的。

xxwang1984

還有個問題：
#systool -c fc_host -v 輸出中的host3.port_name  = "0x2100001b320b113f"      host4.port_name = "0x2101001b322b113f"
#/opt/DynamicLinkManager/bin/dlnkmgr view -path -iem -hbaportwwn
輸出中HBAPortWWN=2100001B320B113F

兩個命令輸出的wwn為什么不一樣呢？后者至少和前者中的一個相同才對。

jerryjzm

還有個問題：
#systool -c fc_host -v 輸出中的host3.port_name  = "0x2100001b320b113f"      host4.port ...
xxwang1984 發(fā)表于 2011-09-29 09:02

剛好，通過這2個命令進行驗證。

#systool -c fc_host -v 輸出中的host3.port_name  = "0x2100001b320b113f"      host4.port_name = "0x2101001b322b113f"
#/opt/DynamicLinkManager/bin/dlnkmgr view -path -iem -hbaportwwn
輸出中HBAPortWWN=2100001B320B113F


"0x2100001b320b113f"
2100001B320B113F

這2個不同，只是大小寫的不同。命令本身不會有問題。這里 host3還有host4
你就一塊hba卡？