請(qǐng)教如何調(diào)試內(nèi)核線程卡死？

fire_vr

Hi，

測(cè)試的同事在使用LTP進(jìn)行壓力測(cè)試Kernel時(shí)，Kernel發(fā)生了復(fù)位。
LTP全稱是Linux Test Project，是一系列應(yīng)用層的程序。
我看Log，是Kernel下面的watchdog觸發(fā)的復(fù)位。
我們板子的Kernel watchdog是廠家弄的（高通平臺(tái)），大致的原理是通過(guò)schedule_delayed_work_on來(lái)周期性喂狗，一旦沒(méi)來(lái)得急喂狗，watchdog模塊便調(diào)用panic()發(fā)生復(fù)位了。
因此我判斷是Kernel進(jìn)程調(diào)度來(lái)不及起schedule_delayed_work_on，導(dǎo)致了復(fù)位。

請(qǐng)問(wèn)如何debug這個(gè)問(wèn)題呢？我想在watchdog使用panic()重啟之前，加些打印看當(dāng)前Kernel下面是哪個(gè)線程的占用率高。請(qǐng)問(wèn)能做得到嗎?

謝謝！

鎮(zhèn)水鐵牛

schedule_delayed_work_on使用的是內(nèi)核默認(rèn)的，還是你自己新定義的worker？建議使用自己新定義的。
watchdog重啟，要么cpu死鎖了，要么是你的喂狗程序異常了。

Tinnal

回復(fù) 1# fire_vr


狗多久咬狗？

worker就一普通優(yōu)先級(jí)的內(nèi)核線程在執(zhí)行。系統(tǒng)繁忙或有FIFO，它就得讓路。

你要關(guān)注是正真出問(wèn)題，還是你的喂狗模型不合理。

fire_vr

如果把watchdog注掉的話，測(cè)試是能通過(guò)的。
應(yīng)該是worker優(yōu)先級(jí)不夠，但schedule_delayed_work_on的優(yōu)先級(jí)好像不能調(diào)呀。請(qǐng)問(wèn)能有其他更實(shí)時(shí)的任務(wù)來(lái)跑我的喂狗程序嗎？
回復(fù) 3# Tinnal


   

fire_vr

回復(fù) 2# 鎮(zhèn)水鐵牛

Hi，我用schedule_delayed_work_on來(lái)運(yùn)行我們自己定義的喂狗程序。一旦喂狗不及時(shí)，就會(huì)觸發(fā)fiq中斷系統(tǒng)復(fù)位。一直以來(lái)運(yùn)行都正常的，就是在做LTP壓力測(cè)試時(shí)，有時(shí)候喂狗任務(wù)搶不到控制權(quán)。請(qǐng)問(wèn)有其他的更好方法嗎？


   

arm-linux-gcc

回復(fù) 5# fire_vr


    要不使用實(shí)時(shí)線程來(lái)做？

linuxfellow

回復(fù) 1# fire_vr

出現(xiàn)這樣問(wèn)題一般是系統(tǒng)內(nèi)進(jìn)程優(yōu)先級(jí)設(shè)置不合理，已經(jīng)對(duì)某些進(jìn)程實(shí)際執(zhí)行時(shí)間估計(jì)不足。如果沒(méi)有辦法加ftrace，就可以試試下面的實(shí)用辦法：kill對(duì)cpu資源消耗大的進(jìn)程，直到看門狗不復(fù)位。再把進(jìn)程按同樣順序加回來(lái)，直到復(fù)位再發(fā)生。這樣就可以定位到哪一個(gè)，或幾個(gè)進(jìn)程有問(wèn)題。如果單進(jìn)程有問(wèn)題，就是該進(jìn)程strobe看門狗頻率不夠。要在函數(shù)之間，或函數(shù)里增加看門狗刷新。如果是多個(gè)進(jìn)程，還要考慮死鎖。

fire_vr

回復(fù) 7# linuxfellow

Hi， 我想問(wèn)下如何設(shè)置內(nèi)核的進(jìn)程優(yōu)先級(jí)呢？
事實(shí)上我們有兩個(gè)版本的內(nèi)核，一個(gè)是3.0.21，一個(gè)是3.4.16，3.0.21版本沒(méi)問(wèn)題，3.4.16的內(nèi)核才出問(wèn)題。當(dāng)然，兩個(gè)版本的BSP有些不一樣。做測(cè)試的LTP執(zhí)行文件都是一個(gè)。
   

鎮(zhèn)水鐵牛

回復(fù) 5# fire_vr
簡(jiǎn)單易行的辦法：用timer去喂狗。

Tinnal

回復(fù) 4# fire_vr


無(wú)論高有限級(jí)線程喂狗也好，Timer喂狗也好，最重要的是你要回答：你要看的門看好沒(méi)有？

看門夠要是一條好狗，主人沒(méi)事不能亂吠，同時(shí)，主人有事不能不吠�？撮T狗應(yīng)該選擇合理的實(shí)現(xiàn)方法，而不是一直去報(bào)證能喂狗成功。