per cpu

鎮(zhèn)水鐵牛

per cpu的實現(xiàn)類似數(shù)組+禁止搶占，如果原cpu id為1的線程現(xiàn)在被遷移到cpu id為2上，假設沒有要訪問per cpu數(shù)據(jù)的線程，會去運行在cpu 1上，
1. 那豈不是其原cpu id為1的數(shù)據(jù)就無法被訪問了？
2. 還有它只是禁止搶占，沒有禁止本地中斷，如果豈不是中斷中不能訪問per cpu了？

nswcfd

2.中斷上下文會發(fā)生內核搶占嗎？

nswcfd

1. “假設沒有要訪問per cpu數(shù)據(jù)的線程，會去運行在cpu 1上，”，這句話沒太理解……

=============================================

per_cpu的一個典型場景是作為counter計數(shù)。
如果不使用per_cpu，那勢必要使用全局counter+全局lock或者使用atomic_add，smp下的性能受影響。
換成per_cpu，每個cpu只更新自己的counter就可以了，并且per_cpu變量的內存布局，盡量保證不同cpu的counter不共享cacheline，這樣最大程度的保證性能。

關于為什么要disable搶占，我的理解是，由于更新操作不是原子的，要避免這個r-m-w序列分布在不同的cpu上來完成。

如果需要獲取全局counter的值，只需要把所有cpu的局部counter遍歷一下累加起來就行。
需要注意，訪問其它cpu的per_cpu counter時，其它cpu還是有可能在同時更新其local counter的，所以得到的全局counter只是一個瞬間的不嚴格的快照而已。（可以稱為“測不準”么 :p）
遍歷過程本身不需要disable搶占，通常循環(huán)變量都是stack上的局部變量，就算變量線程在多個cpu之間跳來跳去，總是能保證安全完成遍歷的�！�—也許hotplug cpu的場景除外。

鎮(zhèn)水鐵牛

問題1：
        /*
         * We do not migrate tasks that are:
         * 1) running (obviously), or
         * 2) cannot be migrated to this CPU due to cpus_allowed, or
         * 3) are cache-hot on their current CPU.
         */
問題2：
        如果你真要在中斷中訪問per cpu，范例如下：
                    local_irq_save(flags);
                pvec = &__get_cpu_var(lru_rotate_pvecs);
                if (!pagevec_add(pvec, page))
                        pagevec_move_tail(pvec);
                local_irq_restore(flags);

nswcfd

2. 可以看一下 Document/local_ops.txt

- Preemption (or interrupts) must be disabled when using local ops in
  process context to   make sure the process won't be migrated to a
  different CPU between getting the per-cpu variable and doing the
  actual local op.
- When using local ops [in interrupt context], no special care must be
  taken on a mainline kernel, since they will run on the local CPU [with
  preemption already disabled]. I suggest, however, to explicitly
  disable preemption anyway to make sure it will still work correctly on
  -rt kernels.

您舉的這個例子，入口/出口用到了irq_save/irq_restore，說明這段代碼即可被用在interrupt context，也可用在process context。
如果僅用在interrupt context，就沒有必要save和restore了。

不過也許您討論的上下文是-rt內核，那上面那段話就不成立了。

回復 4# 鎮(zhèn)水鐵牛


   

鎮(zhèn)水鐵牛

回復 5# nswcfd
我把2.6初期的內核和最新的內核對比著看，是有很大差異。