SUN cluster ufs文件系統(tǒng)修改inode沒(méi)變化

baixianglu

壞境兩臺(tái)SPARC T5-2
ST2540 M2 + 兩臺(tái)擴(kuò)展柜
Cluster版本：Sun cluster 3.3u2
操作系統(tǒng)版本：Solaris 10 U11  ufs的文件系統(tǒng)


報(bào)錯(cuò)log
bash-3.2# more /var/adm/messages
Feb 18 08:28:16 TY-DT-LTE-OMC1 ftpd[21814]: [ID 214291 daemon.notice] FTP LOGIN REFUSED (ftp not in /etc/passwd) FROM 10.210.99.2 [10.210.99.2], anonymous
Feb 18 08:28:16 TY-DT-LTE-OMC1 ftpd[21816]: [ID 214291 daemon.notice] FTP LOGIN REFUSED (ftp not in /etc/passwd) FROM 10.210.99.2 [10.210.99.2], anonymous
Feb 18 08:28:16 TY-DT-LTE-OMC1 ftpd[21817]: [ID 214291 daemon.notice] FTP LOGIN REFUSED (ftp not in /etc/passwd) FROM 10.210.99.2 [10.210.99.2], anonymous
Feb 18 11:19:07 TY-DT-LTE-OMC1 ufs: [ID 682040 kern.notice] NOTICE: /export/home/omcrftp: out of inodes
Feb 18 11:23:37 TY-DT-LTE-OMC1 last message repeated 6487 times
Feb 18 11:23:38 TY-DT-LTE-OMC1 ufs: [ID 682040 kern.notice] NOTICE: /export/home/omcrftp: out of inodes
Feb 18 11:30:17 TY-DT-LTE-OMC1 last message repeated 9944 times
Feb 18 11:30:18 TY-DT-LTE-OMC1 ufs: [ID 682040 kern.notice] NOTICE: /export/home/omcrftp: out of inodes
Feb 18 11:36:57 TY-DT-LTE-OMC1 last message repeated 10064 times
Feb 18 11:36:58 TY-DT-LTE-OMC1 ufs: [ID 682040 kern.notice] NOTICE: /export/home/omcrftp: out of inodes
Feb 18 11:43:37 TY-DT-LTE-OMC1 last message repeated 9858 times
Feb 18 11:43:38 TY-DT-LTE-OMC1 ufs: [ID 682040 kern.notice] NOTICE: /export/home/omcrftp: out of inodes
Feb 18 11:50:17 TY-DT-LTE-OMC1 last message repeated 10308 times
Feb 18 11:50:18 TY-DT-LTE-OMC1 ufs: [ID 682040 kern.notice] NOTICE: /export/home/omcrftp: out of inodes
Feb 18 11:56:57 TY-DT-LTE-OMC1 last message repeated 9530 times
Feb 18 11:56:58 TY-DT-LTE-OMC1 ufs: [ID 682040 kern.notice] NOTICE: /export/home/omcrftp: out of inodes
Feb 18 12:03:37 TY-DT-LTE-OMC1 last message repeated 9992 times
Feb 18 12:03:38 TY-DT-LTE-OMC1 ufs: [ID 682040 kern.notice] NOTICE: /export/home/omcrftp: out of inodes
Feb 18 12:10:17 TY-DT-LTE-OMC1 last message repeated 10384 times
Feb 18 12:10:18 TY-DT-LTE-OMC1 ufs: [ID 682040 kern.notice] NOTICE: /export/home/omcrftp: out of inodes
Feb 18 12:16:57 TY-DT-LTE-OMC1 last message repeated 9231 times
Feb 18 12:16:58 TY-DT-LTE-OMC1 ufs: [ID 682040 kern.notice] NOTICE: /export/home/omcrftp: out of inodes
Feb 18 12:23:37 TY-DT-LTE-OMC1 last message repeated 10091 times
Feb 18 12:23:38 TY-DT-LTE-OMC1 ufs: [ID 682040 kern.notice] NOTICE: /export/home/omcrftp: out of inodes
Feb 18 12:30:18 TY-DT-LTE-OMC1 last message repeated 10057 times
Feb 18 12:30:18 TY-DT-LTE-OMC1 ufs: [ID 682040 kern.notice] NOTICE: /export/home/omcrftp: out of inodes
Feb 18 12:36:57 TY-DT-LTE-OMC1 last message repeated 9821 times
Feb 18 12:36:58 TY-DT-LTE-OMC1 ufs: [ID 682040 kern.notice] NOTICE: /export/home/omcrftp: out of inodes
Feb 18 12:39:22 TY-DT-LTE-OMC1 last message repeated 3037 times
Feb 18 13:12:51 TY-DT-LTE-OMC1 ufs: [ID 682040 kern.notice] NOTICE: /export/home/omcrftp: out of inodes
Feb 18 13:13:56 TY-DT-LTE-OMC1 last message repeated 1194 times
Feb 18 13:21:00 TY-DT-LTE-OMC1 ufs: [ID 682040 kern.notice] NOTICE: /export/home/omcrftp: out of inodes
Feb 18 13:23:37 TY-DT-LTE-OMC1 last message repeated 3018 times
Feb 18 13:23:38 TY-DT-LTE-OMC1 ufs: [ID 682040 kern.notice] NOTICE: /export/home/omcrftp: out of inodes
Feb 18 13:30:17 TY-DT-LTE-OMC1 last message repeated 8616 times
Feb 18 13:30:18 TY-DT-LTE-OMC1 ufs: [ID 682040 kern.notice] NOTICE: /export/home/omcrftp: out of inodes
Feb 18 13:36:57 TY-DT-LTE-OMC1 last message repeated 7337 times
Feb 18 13:36:58 TY-DT-LTE-OMC1 ufs: [ID 682040 kern.notice] NOTICE: /export/home/omcrftp: out of inodes
Feb 18 13:43:37 TY-DT-LTE-OMC1 last message repeated 7013 times
Feb 18 13:43:38 TY-DT-LTE-OMC1 ufs: [ID 682040 kern.notice] NOTICE: /export/home/omcrftp: out of inodes
Feb 18 13:50:07 TY-DT-LTE-OMC1 last message repeated 8276 times
Feb 18 13:50:07 TY-DT-LTE-OMC1 ftpd[10904]: [ID 214291 daemon.notice] FTP LOGIN REFUSED (ftp not in /etc/passwd) FROM 10.210.99.2 [10.210.99.2], anonymous
Feb 18 13:50:07 TY-DT-LTE-OMC1 ufs: [ID 682040 kern.notice] NOTICE: /export/home/omcrftp: out of inodes
Feb 18 13:50:08 TY-DT-LTE-OMC1 last message repeated 16 times
Feb 18 13:50:08 TY-DT-LTE-OMC1 ftpd[10922]: [ID 214291 daemon.notice] FTP LOGIN REFUSED (ftp not in /etc/passwd) FROM 10.210.99.2 [10.210.99.2], anonymous
Feb 18 13:50:08 TY-DT-LTE-OMC1 ufs: [ID 682040 kern.notice] NOTICE: /export/home/omcrftp: out of inodes
Feb 18 13:50:17 TY-DT-LTE-OMC1 last message repeated 130 times
bash-3.2#
bash-3.2#



系統(tǒng)分區(qū)和掛載
bash-3.2# df -h
文件系統(tǒng)               大小   用了   可用 容量      掛接在
/dev/dsk/c0t3BA566CBC30293BDd0s0
                       150G    94G    54G    64%    /
/devices                 0K     0K     0K     0%    /devices
ctfs                     0K     0K     0K     0%    /system/contract
proc                     0K     0K     0K     0%    /proc
mnttab                   0K     0K     0K     0%    /etc/mnttab
swap                   234G   2.2M   234G     1%    /etc/svc/volatile
objfs                    0K     0K     0K     0%    /system/object
sharefs                  0K     0K     0K     0%    /etc/dfs/sharetab
/platform/sun4v/lib/libc_psr/libc_psr_hwcap3.so.1
                       150G    94G    54G    64%    /platform/sun4v/lib/libc_psr.so.1
/platform/sun4v/lib/sparcv9/libc_psr/libc_psr_hwcap3.so.1
                       150G    94G    54G    64%    /platform/sun4v/lib/sparcv9/libc_psr.so.1
fd                       0K     0K     0K     0%    /dev/fd
swap                   234G   280K   234G     1%    /tmp
swap                   234G    22M   234G     1%    /var/run
/dev/dsk/c0t3BA566CBC30293BDd0s6
                       480M   1.0M   431M     1%    /globaldevices
/dev/lofi/126          781M   3.6M   731M     1%    /global/.devices/node@2
/dev/lofi/127          781M   3.6M   731M     1%    /global/.devices/node@1
/dev/md/omcset/dsk/d100
                        14T   166G    13T     2%    /oradata
/dev/md/omcset/dsk/d200
                       2.7T   7.2G   2.7T     1%    /export/home/omcrftp


Sun cluster 狀態(tài)
bash-3.2# scstat
------------------------------------------------------------------

-- 群集節(jié)點(diǎn) --

                    節(jié)點(diǎn)名稱(chēng)            狀態(tài)
                    --------            ----
群集節(jié)點(diǎn)：          TY-DT-LTE-OMC1      聯(lián)機(jī)
群集節(jié)點(diǎn)：          TY-DT-LTE-OMC2      聯(lián)機(jī)

------------------------------------------------------------------

-- 群集傳輸路徑 --

                    端點(diǎn)                   端點(diǎn)                   狀態(tài)
                    ----                   ----                   ----
傳輸路徑：          TY-DT-LTE-OMC1:ixgbe3  TY-DT-LTE-OMC2:ixgbe3  Path online
傳輸路徑：          TY-DT-LTE-OMC1:ixgbe2  TY-DT-LTE-OMC2:ixgbe2  Path online

------------------------------------------------------------------

-- 來(lái)自最新節(jié)點(diǎn)重新配置的法定摘要 --

可能的法定選票：              3
所需的法定選票：              2
現(xiàn)有的法定選票：              3


-- 按節(jié)點(diǎn)劃分的法定選票（當(dāng)前狀態(tài)）--

                    節(jié)點(diǎn)名稱(chēng)            現(xiàn)有的  可能的   狀態(tài)
                    --------            ------  ------   ----
節(jié)點(diǎn)選票：          TY-DT-LTE-OMC1      1        1       聯(lián)機(jī)
節(jié)點(diǎn)選票：          TY-DT-LTE-OMC2      1        1       聯(lián)機(jī)


-- 按設(shè)備劃分的法定選票（當(dāng)前狀態(tài)）--

                    設(shè)備名稱(chēng)            現(xiàn)有的  可能的   狀態(tài)
                    --------            ------  ------   ----
設(shè)備選票：          /dev/did/rdsk/d3s2  1        1       聯(lián)機(jī)

------------------------------------------------------------------

-- 設(shè)備組服務(wù)器 --

                         設(shè)備組              主                  輔助
                         ------              --                  ----
設(shè)備組服務(wù)器：           omcset              TY-DT-LTE-OMC1      TY-DT-LTE-OMC2


-- 設(shè)備組狀態(tài) --

                              設(shè)備組              狀態(tài)               
                              ------              ----               
設(shè)備組狀態(tài)：                  omcset              聯(lián)機(jī)


-- 多所有者設(shè)備組 --

                              設(shè)備組              聯(lián)機(jī)狀態(tài)
                              ------              --------

------------------------------------------------------------------

-- 資源組和資源 --

            組名稱(chēng)         資源
            ------         ----
資源：      omc-rg         TY-DT-LTE-OMC omcset-rs oracle-rs listener-rs server-rs smgr-rs webstart-rs pc-rs lte-nma-ntfy-rs lte-nma-rs


-- 資源組 --

            組名稱(chēng)         節(jié)點(diǎn)名稱(chēng)                 狀況           已暫停
            ------         --------                 ----           ------
組：        omc-rg         TY-DT-LTE-OMC1           聯(lián)機(jī)           否
組：        omc-rg         TY-DT-LTE-OMC2           脫機(jī)           否


-- 資源 --

            資源名稱(chēng)       節(jié)點(diǎn)名稱(chēng)                 狀況           狀態(tài)消息
            --------       --------                 ----           --------
資源:       TY-DT-LTE-OMC  TY-DT-LTE-OMC1           聯(lián)機(jī)           聯(lián)機(jī) - SharedAddress online.
資源:       TY-DT-LTE-OMC  TY-DT-LTE-OMC2           脫機(jī)           脫機(jī) - SharedAddress offline.

資源:       omcset-rs      TY-DT-LTE-OMC1           聯(lián)機(jī)           聯(lián)機(jī)
資源:       omcset-rs      TY-DT-LTE-OMC2           脫機(jī)           脫機(jī)

資源:       oracle-rs      TY-DT-LTE-OMC1           聯(lián)機(jī)           聯(lián)機(jī)
資源:       oracle-rs      TY-DT-LTE-OMC2           脫機(jī)           脫機(jī)

資源:       listener-rs    TY-DT-LTE-OMC1           聯(lián)機(jī)           聯(lián)機(jī)
資源:       listener-rs    TY-DT-LTE-OMC2           脫機(jī)           脫機(jī)

資源:       server-rs      TY-DT-LTE-OMC1           聯(lián)機(jī)           聯(lián)機(jī) - Service is online.
資源:       server-rs      TY-DT-LTE-OMC2           脫機(jī)           脫機(jī)

資源:       smgr-rs        TY-DT-LTE-OMC1           聯(lián)機(jī)           聯(lián)機(jī) - Service is online.
資源:       smgr-rs        TY-DT-LTE-OMC2           脫機(jī)           脫機(jī)

資源:       webstart-rs    TY-DT-LTE-OMC1           聯(lián)機(jī)           聯(lián)機(jī) - Service is online.
資源:       webstart-rs    TY-DT-LTE-OMC2           脫機(jī)           脫機(jī)

資源:       pc-rs          TY-DT-LTE-OMC1           聯(lián)機(jī)           聯(lián)機(jī) - Service is online.
資源:       pc-rs          TY-DT-LTE-OMC2           脫機(jī)           脫機(jī)

資源:       lte-nma-ntfy-rs TY-DT-LTE-OMC1           聯(lián)機(jī)           聯(lián)機(jī) - Service is online.
資源:       lte-nma-ntfy-rs TY-DT-LTE-OMC2           脫機(jī)           脫機(jī)

資源:       lte-nma-rs     TY-DT-LTE-OMC1           聯(lián)機(jī)           聯(lián)機(jī) - Service is online.
資源:       lte-nma-rs     TY-DT-LTE-OMC2           脫機(jī)           脫機(jī)

------------------------------------------------------------------

-- IPMP 組 --

              節(jié)點(diǎn)名稱(chēng)            組      狀態(tài)           適配器    狀態(tài)
              --------            --      ----           ------    ----
IPMP 組：     TY-DT-LTE-OMC1      ipmp0   聯(lián)機(jī)           ixgbe1    聯(lián)機(jī)
IPMP 組：     TY-DT-LTE-OMC1      ipmp0   聯(lián)機(jī)           ixgbe0    聯(lián)機(jī)

IPMP 組：     TY-DT-LTE-OMC2      ipmp0   聯(lián)機(jī)           ixgbe1    聯(lián)機(jī)
IPMP 組：     TY-DT-LTE-OMC2      ipmp0   聯(lián)機(jī)           ixgbe0    聯(lián)機(jī)


-- 區(qū)域中的 IPMP 組 --

              區(qū)域名稱(chēng)            組      狀態(tài)           適配器    狀態(tài)
              --------            --      ----           ------    ----
------------------------------------------------------------------




關(guān)閉服務(wù)和資源
bash-3.2# svcadm disable ftp
bash-3.2#
bash-3.2#
bash-3.2# scswitch -F -g omc-rg

=== 群集資源組 ===

組名稱(chēng)        節(jié)點(diǎn)名稱(chēng)             已暫停       狀況
------        --------             ------       ----
omc-rg        TY-DT-LTE-OMC1       No           Offline
              TY-DT-LTE-OMC2       No           Offline



查看現(xiàn)在的inode
bash-3.2# mkfs -m /dev/md/omcset/dsk/d200
mkfs -F ufs -o nsect=128,ntrack=48,bsize=8192,fragsize=8192,cgsize=143,free=1,rps=1,nbpi=997778,opt=t,apc=0,gap=0,nrpos=1,maxcontig=16,mtb=y /dev/md/omcset/dsk/d200 5841125376


bash-3.2# df -F ufs -o i  /export/home/omcrftp/
文件系統(tǒng)             iused   ifree  %iused  被安裝
/dev/md/omcset/dsk/d200
                           102312 2978748     1%   /export/home/omcrftp
bash-3.2#


第一次修改inode
bash-3.2# newfs -i 8192 /dev/md/omcset/dsk/d200
newfs: /dev/md/omcset/rdsk/d200 上次被安裝為 /export/home/omcrftp
newfs: 建構(gòu)新的文件系統(tǒng) /dev/md/omcset/rdsk/d200: (y/n)？ y
/dev/md/omcset/rdsk/d200:       在 950704 磁道上，48 扇區(qū)的 128 柱面的 5841125376 扇區(qū)
        2852112.0MB 在 6649 柱面群組 (143 c/g, 429.00MB/g, 448 i/g)
超塊 (fsck -F ufs -o b=#) 備份在：
32, 878752, 1757472, 2636192, 3514912, 4393632, 5272352, 6151072, 7029792,
7908512,
初始化柱面組：
...............................................................................
.....................................................
最后 10 個(gè)柱面組的超級(jí)塊備份位置：
5832978336, 5833857056, 5834735776, 5835614496, 5836493216, 5837371936,
5838250656, 5839129376, 5840008096, 5840886816
bash-3.2# mount /dev/md/omcset/dsk/d200 /export/home/omcrftp/
bash-3.2# df -h
文件系統(tǒng)               大小   用了   可用 容量      掛接在
/dev/dsk/c0t3BA566CBC30293BDd0s0
                       150G    94G    54G    64%    /
/devices                 0K     0K     0K     0%    /devices
ctfs                     0K     0K     0K     0%    /system/contract
proc                     0K     0K     0K     0%    /proc
mnttab                   0K     0K     0K     0%    /etc/mnttab
swap                   325G   2.2M   325G     1%    /etc/svc/volatile
objfs                    0K     0K     0K     0%    /system/object
sharefs                  0K     0K     0K     0%    /etc/dfs/sharetab
/platform/sun4v/lib/libc_psr/libc_psr_hwcap3.so.1
                       150G    94G    54G    64%    /platform/sun4v/lib/libc_psr.so.1
/platform/sun4v/lib/sparcv9/libc_psr/libc_psr_hwcap3.so.1
                       150G    94G    54G    64%    /platform/sun4v/lib/sparcv9/libc_psr.so.1
fd                       0K     0K     0K     0%    /dev/fd
swap                   325G   280K   325G     1%    /tmp
swap                   325G    22M   325G     1%    /var/run
/dev/dsk/c0t3BA566CBC30293BDd0s6
                       480M   1.0M   431M     1%    /globaldevices
/dev/lofi/126          781M   3.6M   731M     1%    /global/.devices/node@2
/dev/lofi/127          781M   3.6M   731M     1%    /global/.devices/node@1
/dev/md/omcset/dsk/d200
                       2.7T   256M   2.7T     1%    /export/home/omcrftp
bash-3.2# mkfs -m /dev/md/omcset/dsk/d200
mkfs -F ufs -o nsect=128,ntrack=48,bsize=8192,fragsize=8192,cgsize=143,free=1,rps=1,nbpi=997778,opt=t,apc=0,gap=0,nrpos=1,maxcontig=16,mtb=y /dev/md/omcset/dsk/d200 5841125376
bash-3.2# df -F ufs -o i  /export/home/omcrftp/
文件系統(tǒng)             iused   ifree  %iused  被安裝
/dev/md/omcset/dsk/d200
                           4 2978748     0%   /export/home/omcrftp
bash-3.2# reboot 后測(cè)試inode還是一樣的值


第二次修改inode
bash-3.2# uount /dev/md/omcset/dsk/d200 /export/home/omcrftp/
bash-3.2# newfs -i 2048 /dev/md/omcset/dsk/d200
newfs: /dev/md/omcset/rdsk/d200 上次被安裝為 /export/home/omcrftp
newfs: 建構(gòu)新的文件系統(tǒng) /dev/md/omcset/rdsk/d200: (y/n)？ y
/dev/md/omcset/rdsk/d200:       在 950704 磁道上，48 扇區(qū)的 128 柱面的 5841125376 扇區(qū)
        2852112.0MB 在 6649 柱面群組 (143 c/g, 429.00MB/g, 448 i/g)
超塊 (fsck -F ufs -o b=#) 備份在：
32, 878752, 1757472, 2636192, 3514912, 4393632, 5272352, 6151072, 7029792,
7908512,
初始化柱面組：
...............................................................................
.....................................................
最后 10 個(gè)柱面組的超級(jí)塊備份位置：
5832978336, 5833857056, 5834735776, 5835614496, 5836493216, 5837371936,
5838250656, 5839129376, 5840008096, 5840886816
bash-3.2# mount /dev/md/omcset/dsk/d200 /export/home/omcrftp/
bash-3.2#
bash-3.2# mount /dev/md/omcset/dsk/d200 /export/home/omcrftp/
bash-3.2# df -h
文件系統(tǒng)               大小   用了   可用 容量      掛接在
/dev/dsk/c0t3BA566CBC30293BDd0s0
                       150G    94G    54G    64%    /
/devices                 0K     0K     0K     0%    /devices
ctfs                     0K     0K     0K     0%    /system/contract
proc                     0K     0K     0K     0%    /proc
mnttab                   0K     0K     0K     0%    /etc/mnttab
swap                   325G   2.2M   325G     1%    /etc/svc/volatile
objfs                    0K     0K     0K     0%    /system/object
sharefs                  0K     0K     0K     0%    /etc/dfs/sharetab
/platform/sun4v/lib/libc_psr/libc_psr_hwcap3.so.1
                       150G    94G    54G    64%    /platform/sun4v/lib/libc_psr.so.1
/platform/sun4v/lib/sparcv9/libc_psr/libc_psr_hwcap3.so.1
                       150G    94G    54G    64%    /platform/sun4v/lib/sparcv9/libc_psr.so.1
fd                       0K     0K     0K     0%    /dev/fd
swap                   325G   280K   325G     1%    /tmp
swap                   325G    22M   325G     1%    /var/run
/dev/dsk/c0t3BA566CBC30293BDd0s6
                       480M   1.0M   431M     1%    /globaldevices
/dev/lofi/126          781M   3.6M   731M     1%    /global/.devices/node@2
/dev/lofi/127          781M   3.6M   731M     1%    /global/.devices/node@1
/dev/md/omcset/dsk/d200
                       2.7T   256M   2.7T     1%    /export/home/omcrftp
bash-3.2# mkfs -m /dev/md/omcset/dsk/d200
mkfs -F ufs -o nsect=128,ntrack=48,bsize=8192,fragsize=8192,cgsize=143,free=1,rps=1,nbpi=997778,opt=t,apc=0,gap=0,nrpos=1,maxcontig=16,mtb=y /dev/md/omcset/dsk/d200 5841125376
bash-3.2# df -F ufs  -o i /dev/md/omcset/dsk/d200
文件系統(tǒng)             iused   ifree  %iused  被安裝
/dev/md/omcset/dsk/d200
                           4 2978748     0%   /export/home/omcrftp
bash-3.2# reboot 后測(cè)試inode還是一樣的值

byuq

我模糊記得，大于1T的UFS文件系統(tǒng)，inode是不能超過(guò)兩百萬(wàn)個(gè)的，具體怎么算的找不到出處了。
建議使用zfs，都啥年代了，改舍棄UFS了。

baixianglu

回復(fù) 2# byuq


是inode是300W個(gè)，上了1T就固定了。

   

icyfish28

man newfs

From the man page:

Creating a Multiterabyte UFS File System
Keep the following limitations in mind when creating a multiterabyte UFS file system:

• nbpi is set to 1 Mbyte unless you specifically set it higher. You cannot set nbpi lower than 1 Mbyte on a multiterabyte UFS file system.
• fragsize is set equal to bsize.
  

The default for nbpi is as follows:

Disk size                 Density

Less than 1GB             2048
Less than 2GB             4096
Less than 3GB             6144
3GB to 1 Tbyte            8192
Greater than 1 Tbyte  
   or created with -T     1048576