求教育，關(guān)于NMI watchdog

nevastill

NMI watchdog到底是稱為硬狗還是軟狗？

如果是軟狗，那么什么時候喂狗呢？ 即touch_nmi_watchdog()被調(diào)用的時機是怎樣的？

如果是硬狗，可是喂硬狗通常都是給一個一定長度的脈沖，不涉及nmi_touch這個percpu變量啊。

請了解的同學不吝賜教，謝謝

luoyan_xy

nmi watchdog應該是軟狗，應該是每次nmi中斷的時候喂狗

nevastill

每次NMI中斷來的時候調(diào)用nmi_watchdog_tick()是去檢測是否喂狗吧，而不是去喂狗，檢測到?jīng)]喂狗就die_nmi()了。回復 2# luoyan_xy


   

chishanmingshen

有2種:
I/O APIC watchdog開銷大
Local APIC watchdog開銷小
通過nmi_watchdog變量控制.

原理都是do_nmi()中遞增計數(shù)器.而在被監(jiān)控的地方重置計數(shù)器.

我的理解,如果不正,請指點,謝謝!

nevastill

來個大俠回答一下哇

junnyg

回復 1# nevastill
1. 在hung_task模塊初始化時會啟動一個內(nèi)核線程khungtaskd執(zhí)行watchdog函數(shù)

1. static int __init hung_task_init(void)
   
2. {
   
3.         atomic_notifier_chain_register(&panic_notifier_list, &panic_block);
   
4.         watchdog_task = kthread_run(watchdog, NULL, "khungtaskd");
   
5. 
   
6.         return 0;
   
7. }
   
8. 
   
9. module_init(hung_task_init);
   

復制代碼

2. 在線程khungtaskd中執(zhí)行check_hung_uninterruptible_tasks

1. static int watchdog(void *dummy)
   
2. {
   
3.         set_user_nice(current, 0);
   
4. 
   
5.         for ( ; ; ) {
   
6.                 unsigned long timeout = sysctl_hung_task_timeout_secs;
   
7. 
   
8.                 while (schedule_timeout_interruptible(timeout_jiffies(timeout)))
   
9.                         timeout = sysctl_hung_task_timeout_secs;
   
10. 
    
11.                 check_hung_uninterruptible_tasks(timeout);
    
12.         }
    
13. 
    
14.         return 0;
    
15. }

復制代碼

3. check_hung_uninterruptible_tasks->check_hung_task->touch_nmi_watchdog

1. 
   
2. static void check_hung_task(struct task_struct *t, unsigned long timeout)
   
3. {
   
4.         ... ...
   
5.         touch_nmi_watchdog();
   
6. 
   
7.         if (sysctl_hung_task_panic)
   
8.                 panic("hung_task: blocked tasks");
   
9. }
   

復制代碼

4. 在touch_nmi_watchdog設(shè)置pcpu變量nmi_touch

1. void touch_nmi_watchdog(void)
   
2. {
   
3.         if (nmi_watchdog_active()) {
   
4.                 unsigned cpu;
   
5. 
   
6.                 /*
   
7.                  * Tell other CPUs to reset their alert counters. We cannot
   
8.                  * do it ourselves because the alert count increase is not
   
9.                  * atomic.
   
10.                  */
    
11.                 for_each_present_cpu(cpu) {
    
12.                         if (per_cpu(nmi_touch, cpu) != 1)
    
13.                                 per_cpu(nmi_touch, cpu) = 1;
    
14.                 }
    
15.         }
    
16. 
    
17.         /*
    
18.          * Tickle the softlockup detector too:
    
19.          */
    
20.         touch_softlockup_watchdog();
    
21. }

復制代碼

5. 在nmi中斷處理do_nmi進行nmi_touch變量的檢查，如果不為1，則計數(shù)加1，計數(shù)超過預設(shè)值，則調(diào)用die_nmi
代碼流程：entry_32.s->call do_nmi->default_do_nmi->nmi_watchdog_tick

1. 
   
2. notrace __kprobes int
   
3. nmi_watchdog_tick(struct pt_regs *regs, unsigned reason)
   
4. {
   
5.         ... ...
   
6.         if (__get_cpu_var(nmi_touch)) { /*進行pcpu變量touched的檢查，如果為1，則置touched標志*/
   
7.                 __get_cpu_var(nmi_touch) = 0;
   
8.                 touched = 1;
   
9.         }
   
10. 
    
11.         ... ...
    
12.         /* 下面對touch標志進行判斷，如果為0且nmi中斷處理沒有多次進入，則將altert_counter加1 */
    
13. 
    
14.         /* if the none of the timers isn't firing, this cpu isn't doing much */
    
15.         if (!touched && __get_cpu_var(last_irq_sum) == sum) {
    
16.                 /*
    
17.                  * Ayiee, looks like this CPU is stuck ...
    
18.                  * wait a few IRQs (5 seconds) before doing the oops ...
    
19.                  */
    
20.                 __this_cpu_inc(alert_counter);
    
21.                 if (__this_cpu_read(alert_counter) == 5 * nmi_hz)
    
22.                         /*
    
23.                          * die_nmi will return ONLY if NOTIFY_STOP happens..
    
24.                          */
    
25.                         die_nmi("BUG: NMI Watchdog detected LOCKUP",
    
26.                                 regs, panic_on_timeout);
    
27.         } else {
    
28.                 /* 不然就更新中斷計數(shù)，對alert_counter進行清零操作 */
    
29.                 __get_cpu_var(last_irq_sum) = sum;
    
30.                 __this_cpu_write(alert_counter, 0);
    
31.         }
    
32. 
    
33.         /* see if the nmi watchdog went off */
    
34.         if (!__get_cpu_var(wd_enabled))
    
35.                 return rc;
    
36.         switch (nmi_watchdog) {
    
37.         case NMI_LOCAL_APIC:
    
38.                 /* 如果是APIC類型的watch_dog，調(diào)如下函數(shù)進行喂狗 */
    
39.                 rc |= lapic_wd_event(nmi_hz);
    
40.                 break;
    
41.         case NMI_IO_APIC:
    
42.                 /*
    
43.                  * don't know how to accurately check for this.
    
44.                  * just assume it was a watchdog timer interrupt
    
45.                  * This matches the old behaviour.
    
46.                  */
    
47.                 rc = 1;
    
48.                 break;
    
49.         }
    
50.         return rc;
    
51. }
    

復制代碼

6. APIC類型的watch_dog喂狗函數(shù)

1. int __kprobes lapic_wd_event(unsigned nmi_hz)
   
2. {
   
3.         struct nmi_watchdog_ctlblk *wd = &__get_cpu_var(nmi_watchdog_ctlblk);
   
4.         u64 ctr;
   
5. 
   
6.         rdmsrl(wd->perfctr_msr, ctr);
   
7.         if (ctr & wd_ops->checkbit) /* perfctr still running? */
   
8.                 return 0;
   
9. 
   
10.         wd_ops->rearm(wd, nmi_hz);
    
11.         return 1;
    
12. }
    
13. static struct wd_ops intel_arch_wd_ops __read_mostly = {
    
14.         .reserve        = single_msr_reserve,
    
15.         .unreserve        = single_msr_unreserve,
    
16.         .setup                = setup_intel_arch_watchdog,
    
17.         .rearm                = p6_rearm,
    
18.         .stop                = single_msr_stop_watchdog,
    
19.         .perfctr        = MSR_ARCH_PERFMON_PERFCTR1,
    
20.         .evntsel        = MSR_ARCH_PERFMON_EVENTSEL1,
    
21. };
    
22. static void __kprobes p6_rearm(struct nmi_watchdog_ctlblk *wd, unsigned nmi_hz)
    
23. {
    
24.         /*
    
25.          * P6 based Pentium M need to re-unmask
    
26.          * the apic vector but it doesn't hurt
    
27.          * other P6 variant.
    
28.          * ArchPerfom/Core Duo also needs this
    
29.          */
    
30.         apic_write(APIC_LVTPC, APIC_DM_NMI);
    
31. 
    
32.         /* P6/ARCH_PERFMON has 32 bit counter write */
    
33.         write_watchdog_counter32(wd->perfctr_msr, NULL, nmi_hz);
    
34. }
    

復制代碼

kirapangzi

junnyg 發(fā)表于 2013-04-13 20:46
回復 1# nevastill
1. 在hung_task模塊初始化時會啟動一個內(nèi)核線程khungtaskd執(zhí)行watchdog函數(shù)2. 在線程k ...

ls講的很好很詳細，我有一些疑問，想進一步問一下：
1，ls的前5步，我試概括為內(nèi)核線程軟喂狗部分與do_nmi中對喂狗結(jié)果的檢查；（因我的內(nèi)核版本為3.6.11，很多函數(shù)已經(jīng)變化，可能理解有誤）
——能否請ls將第6步apic詳細再講一下？
2，ULK3中對nmi_watchdog的講解我有兩處想請教：
a，每個cpu上周期性的nmi中斷，是固定會產(chǎn)生？還是與nmi_watchdog配置相關(guān)呢？若固定產(chǎn)生又與中斷一章中對于nmi的描述相沖突：用于危機事件時才引起非屏蔽中斷。
b，do_nmi中是對cpu的apic_timer_irqs字段進行檢查用以判斷cpu是否被鎖死；我理解的話，也就是將在特定cpu時鐘周期內(nèi)此數(shù)值的是否增加，作為是否已喂狗的判斷。這樣，是否與ls所說的線程喂狗依據(jù)重合了呢？
3，另，查看內(nèi)核文檔，lockup_watchdog.txt中的描述，提到了“The soft and hard lockup detectors are built on top of the hrtimer and perf subsystems”，此處提到nmi狗是基于高精度和性能子系統(tǒng)的，不太明白。。

kirapangzi

nmi_watchdog與nmi中斷的一些源碼與文檔分析總結(jié)，并請大牛點撥疑問
http://www.72891.cn/forum.p ... mp;fromuid=28788494

LZ可以看看答得對不對。

unbutun

軟狗喂狗不僅限于上中斷等情況，狗的作用是檢查長時間沒有調(diào)度，中斷，軟中斷，關(guān)中斷的進程上下文都可以喂狗，前提是你的關(guān)中斷進程上下文是一個你預期的合理的關(guān)中斷長時間占用cpu的動作，否則狗不喂就是問題



硬狗也是要喂的，他的作用是檢查處理器是否在正常運行，否則狗叫重啟