大數(shù)據(jù)導(dǎo)入-source和mysql哪個(gè)快

Coolriver

原帖由 yueliangdao0608 于 2009-6-5 16:02 發(fā)表
別誤導(dǎo)LZ了。
除了語(yǔ)句寫稱多個(gè)VALUES插入，
唯一有用的是兩個(gè)參數(shù)：

net_buffer_length和max_allowed_packet。其他的都是白搭。

月亮多交流一下：

bulk_insert_buffer_size 作用：當(dāng)寫MySQL的MyISAM引擎寫入數(shù)據(jù)時(shí)，當(dāng)這個(gè)空間寫滿后才一次性寫入文件，當(dāng)這個(gè)值在64M或是32M左右時(shí)(可以更大），可以減少磁盤的很多IO。
請(qǐng)參考：http://dev.mysql.com/doc/refman/ ... _insert_buffer_size

另外：對(duì)于日值大小，日值有無和Innodb Redo方面的控制對(duì)于IO的節(jié)省都是明顯的，Checkpoint觸發(fā)方面在導(dǎo)入時(shí)都是可以調(diào)整的。

一般導(dǎo)入都是通過本地完成。所以網(wǎng)絡(luò)Buffer項(xiàng)不建義調(diào)整。而且對(duì)于net_buffer_length更不建義調(diào)整。該參數(shù)意義可以參考手冊(cè)。

javasuncom

我最近也遇到跟樓主同樣的疑惑，我這個(gè)數(shù)據(jù)文件更大，sql文件達(dá)到1G，ssh登錄到服務(wù)器上，1個(gè)小時(shí)還沒結(jié)束。

Coolriver

原帖由 javasuncom 于 2009-8-21 11:11 發(fā)表
我最近也遇到跟樓主同樣的疑惑，我這個(gè)數(shù)據(jù)文件更大，sql文件達(dá)到1G，ssh登錄到服務(wù)器上，1個(gè)小時(shí)還沒結(jié)束。

貼機(jī)器配置，my.cnf

zyrf2001

我們會(huì)經(jīng)常導(dǎo)入一些大數(shù)據(jù)，都是innodb的引擎，調(diào)整innodb的內(nèi)存參數(shù)后，在普通筆記本上，500M的數(shù)據(jù)通常10分鐘導(dǎo)完。

ruochen

原帖由 yueliangdao0608 于 2009-6-5 16:02 發(fā)表
別誤導(dǎo)LZ了。
除了語(yǔ)句寫稱多個(gè)VALUES插入，
唯一有用的是兩個(gè)參數(shù)：

net_buffer_length和max_allowed_packet。其他的都是白搭。

記錄下