dev_queue_xmit 失敗的避免和處理方法（求助）

xudc14

大家好：
我最近用兩張10GE-NIC(Intel 82599ES)通過光纖把兩臺PC直連起來，注冊了一個(gè)L2協(xié)議來建立兩臺PC的溝通，
call dev_queue_xmit發(fā)送packet， 發(fā)現(xiàn)當(dāng)發(fā)送端如果非常頻繁的call dev_queue_xmit時(shí)，會(huì)出現(xiàn) return=1的
case， 而且用ifconfig去查看網(wǎng)卡的一些統(tǒng)計(jì)值時(shí)， 的確也能發(fā)現(xiàn)NIC的TX dropp的統(tǒng)計(jì)值在增加，我查了下Kernel。
#define NET_XMIT_DROP 1， 貌似說網(wǎng)卡的tx queue 滿了， skb_enqueue 失敗，不知道理解的對不對
1）我怎么能get到網(wǎng)卡的tx queue是否滿
2）或者call dev_queue_xmit這個(gè)函數(shù)之前，有沒有其他的condition以供參考好讓我決定是馬上發(fā)送 or delay發(fā)送

anyway， 我想避免出現(xiàn)dev_queue_xmit=1的case

Thanks

nswcfd

dev_queue_xmit返回的是enque的返回值。
當(dāng)然，在dev_queue_xmit返回之前，qdisc_run可能已經(jīng)發(fā)送了N多個(gè)packet了（由于qdisc的存在，未必就是傳入的skb）。

首先是因?yàn)榫W(wǎng)卡的隊(duì)列full，driver調(diào)用netif_stop_queue關(guān)閉qdisc；
進(jìn)而導(dǎo)致qdisc只進(jìn)不出，隊(duì)列長度逐漸增加（可以查看tc的計(jì)數(shù)），
最終超過qdisc的隊(duì)列上限，從而enque失敗，體現(xiàn)為dev_queue_xmit失敗。

感覺PC的能力應(yīng)該不至于讓萬兆網(wǎng)卡發(fā)不過來？CPU更可能先成為瓶頸？

另外一種可能性是，網(wǎng)卡driver clean tx中斷處理不及時(shí)？
可能的話，把tx發(fā)送邏輯跟tx-interrupt分配到不同的CPU上。

xudc14

謝謝你
我追蹤代碼的執(zhí)行，發(fā)現(xiàn)dev-queue_xmit  return 1 的確是queue滿了exceed tx_queue_len所以沒法enqueue
static int pfifo_fast_enqueue(struct sk_buff *skb, struct Qdisc* qdisc)
{
if (skb_queue_len(qdisc->q) < qdisc->dev->tx_queue_len) {
  qdisc->q.qlen++;
  return __qdisc_enqueue_tail(skb, qdisc, list);
}

return qdisc_drop(skb, qdisc);     // return 1
}

感覺PC的能力應(yīng)該不至于讓萬兆網(wǎng)卡發(fā)不過來？CPU更可能先成為瓶頸？
你的意思是CPU enqueue的速度 < 網(wǎng)卡dequeue的速度？ 我一直call dev_queue_xmit應(yīng)該沒關(guān)系？
按照這個(gè)邏輯， 正常情況下 Qsic queue 應(yīng)該永遠(yuǎn)不會(huì)full啊，除非發(fā)生如你所說的這個(gè)邏輯鏈條：
網(wǎng)卡隊(duì)列full -> netif_stop_queue關(guān)閉Qdisc,Qdisc隊(duì)列只進(jìn)不->Qdisc隊(duì)列長度增加，直至Qdisc隊(duì)列full
所以這里邏輯的起點(diǎn)網(wǎng)卡隊(duì)列FULL 和 邏輯的終點(diǎn)Qdisc隊(duì)列FULL有什么區(qū)別嗎，我一直網(wǎng)卡隊(duì)列就是Qdisc隊(duì)列啊

因?yàn)槲沂嵌嗑�程發(fā)送，在call dev_queue_xmit時(shí)加了個(gè)mutex，現(xiàn)在倒也不會(huì)出現(xiàn)這種情況了
regard
回復(fù) 2# nswcfd


   

nswcfd

“PC的能力應(yīng)該不至于讓萬兆網(wǎng)卡發(fā)不過來”的言外之意是，
萬兆網(wǎng)卡的pps高達(dá)14M（64小包，每秒一千四百萬），除非CPU能以這么快的速度把packet送給網(wǎng)卡（可以自己做一個(gè)計(jì)數(shù)器測試一下），否則瓶頸一定在cpu上。

2樓說的網(wǎng)卡隊(duì)列是指網(wǎng)卡的DMA隊(duì)列，82599缺省是64還是256來著。ethtool -g查看。
如果這個(gè)隊(duì)full，driver就會(huì)關(guān)閉qdisc，進(jìn)而發(fā)生一些列的鏈?zhǔn)椒磻?yīng)（負(fù)反饋）。
而這個(gè)隊(duì)列滿，通常不是由于網(wǎng)卡處理不過來，而是由于cpu忙不過來，driver不能及時(shí)回收skb導(dǎo)致。

在qdisc關(guān)閉期間，stack產(chǎn)生的報(bào)文只能緩存在qdisc隊(duì)列上（協(xié)議棧認(rèn)為發(fā)送成功），如果連qdisc都滿了，stack的tx就會(huì)返回失敗了。

假設(shè)隊(duì)列長度64，stack一下子送過來100個(gè)報(bào)文，則前64個(gè)可以提交給網(wǎng)卡DMA隊(duì)列，后面36緩存在qdisc上。
網(wǎng)卡可以很快的完成64個(gè)報(bào)文的發(fā)送（DMA操作），但是什么時(shí)候繼續(xù)發(fā)送剩下的36個(gè)報(bào)文，取決于cpu能以多快的速度影響網(wǎng)卡的TxComplete中斷，以及多快的速度釋放掉前64個(gè)報(bào)文，以及多快的速度把剩下的36個(gè)報(bào)文提交給網(wǎng)卡DMA隊(duì)列。

多core機(jī)器上，可以結(jié)合多ring、中斷綁定、rx/tx中斷分離等手段，來緩解cpu的瓶頸。

nswcfd

關(guān)于隊(duì)列，推薦一篇文章：http://www.coverfire.com/article ... inux-network-stack/