libuv發(fā)送數(shù)據(jù)問題

knull

最近在了解libuv，有了一定的認識。但是，在發(fā)送數(shù)據(jù)的時候，碰上了點問題
背景：我發(fā)現(xiàn)，在libuv網(wǎng)絡(luò)庫代碼中，沒有使用任何同步工具（mutex,condition,等等）；就是說，網(wǎng)絡(luò)I/O不能用于多線程；
但是，我們在多線程環(huán)境下，我可以把數(shù)據(jù)安全的放到對應的I/O線程；但是，怎么觸發(fā)I/O線程去獲取這個數(shù)據(jù)并且發(fā)送出去？
我看代碼，write_cb只有在uv_write的時候可以注冊？

由于我剛剛了解，肯定有認識不足的地方（可能就是我自己看錯了），希望大俠能指點一二

謝謝

yulihua49

knull 發(fā)表于 2015-08-27 10:53
最近在了解libuv，有了一定的認識。但是，在發(fā)送數(shù)據(jù)的時候，碰上了點問題
背景：我發(fā)現(xiàn)，在libuv網(wǎng)絡(luò)庫代 ...

每個連接，同時只能屬于一個線程，所以不要鎖。

連接池的管理過程要用鎖，當一個連接分配給一個線程后就不用鎖了。

knull

回復 2# yulihua49
首先，謝謝你的回復；
我的問題是：一般情況下，epoll是一個線程；send是另一個線程；就是說，一個鏈接，肯定會有屬于兩個線程的情況；
另外，你說的一個鏈接，屬于一個線程，是不是太奢侈了

   

windoze

回復 1# knull

1. 
   
2. $ grep -Rn pthread_mutex libuv
   
3. libuv/configure.ac:46:AC_CHECK_LIB([pthread], [pthread_mutex_init])
   
4. libuv/include/pthread-fixes.h:45:  pthread_mutex_t  mutex;
   
5. libuv/include/uv-unix.h:134:typedef pthread_mutex_t uv_mutex_t;
   
6. libuv/src/unix/fs.c:621:  static pthread_mutex_t lock = PTHREAD_MUTEX_INITIALIZER;
   
7. libuv/src/unix/fs.c:622:  pthread_mutex_lock(&lock);
   
8. libuv/src/unix/fs.c:679:  pthread_mutex_unlock(&lock);
   
9. libuv/src/unix/fsevents.c:495:  static pthread_mutex_t global_init_mutex = PTHREAD_MUTEX_INITIALIZER;
   
10. libuv/src/unix/fsevents.c:501:  pthread_mutex_lock(&global_init_mutex);
    
11. libuv/src/unix/fsevents.c:567:  pthread_mutex_unlock(&global_init_mutex);
    
12. libuv/src/unix/pthread-fixes.c:66:  pthread_mutex_init(&barrier->mutex, NULL);
    
13. libuv/src/unix/pthread-fixes.c:73:  pthread_mutex_lock(&barrier->mutex);
    
14. libuv/src/unix/pthread-fixes.c:79:    pthread_mutex_unlock(&barrier->mutex);
    
15. libuv/src/unix/pthread-fixes.c:88:  pthread_mutex_unlock(&barrier->mutex);
    
16. libuv/src/unix/pthread-fixes.c:95:  pthread_mutex_destroy(&barrier->mutex);
    
17. libuv/src/unix/thread.c:91:  return -pthread_mutex_init(mutex, NULL);
    
18. libuv/src/unix/thread.c:93:  pthread_mutexattr_t attr;
    
19. libuv/src/unix/thread.c:96:  if (pthread_mutexattr_init(&attr))
    
20. libuv/src/unix/thread.c:99:  if (pthread_mutexattr_settype(&attr, PTHREAD_MUTEX_ERRORCHECK))
    
21. libuv/src/unix/thread.c:102:  err = pthread_mutex_init(mutex, &attr);
    
22. libuv/src/unix/thread.c:104:  if (pthread_mutexattr_destroy(&attr))
    
23. libuv/src/unix/thread.c:113:  if (pthread_mutex_destroy(mutex))
    
24. libuv/src/unix/thread.c:119:  if (pthread_mutex_lock(mutex))
    
25. libuv/src/unix/thread.c:130:  err = pthread_mutex_trylock(mutex);
    
26. libuv/src/unix/thread.c:139:  if (pthread_mutex_unlock(mutex))
    

復制代碼

誰說libuv沒用mutex？

yulihua49

knull 發(fā)表于 2015-08-27 14:33
回復 2# yulihua49
首先，謝謝你的回復；
我的問題是：一般情況下，epoll是一個線程；send是另一個線程； ...

1.epoll_wait可以是很多線程,但每個線程一次只可以得到一個連接。
2.如果epoll_wait一次獲取多個事件，它將分發(fā)到其他線程，分出去后，它就不再擁有它。所以還是一個線程在處理。
3.線程也可以從連接池獲取連接，在一定時間內(nèi)，一個連接只屬于一個線程。

違背上述原則，一個連接同時被多個線程處理，就是“驚群”？如果你一定要這樣處理，就必須加鎖，一個完了再另一個，串行化。

yulihua49

windoze 發(fā)表于 2015-08-27 14:46
回復 1# knull 誰說libuv沒用mutex？

那些都應該是資源管理所用。真正的IO還要加鎖嗎？

windoze

回復 6# yulihua49

最基本的I/O，比如read/write，不一定是原子操作，所以加鎖是必須的。

knull

windoze 發(fā)表于 2015-08-27 14:46
回復 1# knull 誰說libuv沒用mutex？

謝謝你的回復啊，熱心的朋友；
我的意思是，libuv庫中，網(wǎng)絡(luò)I/O相關(guān)代碼，是 沒有用 到鎖；并不是說它 沒有 。
libuv本身是提供這些同步工具，但是在I/O中沒有用到；在線程池等地方，用了。

knull

回復 5# yulihua49
再次感謝；但是，我不是很能理解
你說的模型，是不是一個epoll_wait就管理一個鏈接？然后，一個線程管理一個epoll？
一般的模型，不都是N多個鏈接，放在一個epoll中管理；有事件過來，那么就激活這個鏈接？
如果是我說的模型，要將數(shù)據(jù)分發(fā)到其他work線程，那么還是需要鎖的，這個似乎沒有異議。
但是，其他線程處理完數(shù)據(jù)之后，要對對應的鏈接發(fā)送數(shù)據(jù)，可以直接用uv_write；但是，我測試發(fā)現(xiàn)，如果uv_write和epoll線程不是同一個的話，是存在問題的（雖然，我也覺得，理論上是不應該有問題的）。暫時，沒有找到問題根本原因？但是，現(xiàn)象是，epoll_wait觸發(fā)了寫事件，導致兩個線程同時寫；但是，寫隊列沒有鎖，所以就掛壁了。

   

cokeboL

可以放加鎖的隊列，開個uv的timer在io線程里發(fā)