大數(shù)據(jù)導(dǎo)入-source和mysql哪個(gè)快

24xinhui

需要導(dǎo)入的sql文件大概500M以上，使用 source 和 mysql 命令導(dǎo)入文件，哪個(gè)更好更快？

我用 mysql 命令導(dǎo)入500M以上文件，起碼在半個(gè)小時(shí)以上

有什么更好的方法嗎？

cenalulu

mysql導(dǎo)入與source的本質(zhì)是一樣的。
主要的優(yōu)化在于你源sql的優(yōu)化
例如多個(gè)values寫(xiě)入同一個(gè)sql。
使用一個(gè)事務(wù)進(jìn)行插入。
插入式不更新index等等

24xinhui

由于文件太大，數(shù)據(jù)導(dǎo)入實(shí)在不行，數(shù)據(jù)庫(kù)都搞掛了
現(xiàn)在的解決辦法是

直接拷數(shù)據(jù)文件, table_name.MYD, table_name.MYI, table_name.frm

美國(guó)到中國(guó)的傳輸速度才10多k，暈啊，250M的文件起碼要3，4小時(shí)
唉

ruochen

原帖由 24xinhui 于 2009-6-5 11:08 發(fā)表
由于文件太大，數(shù)據(jù)導(dǎo)入實(shí)在不行，數(shù)據(jù)庫(kù)都搞掛了
現(xiàn)在的解決辦法是

直接拷數(shù)據(jù)文件, table_name.MYD, table_name.MYI, table_name.frm

美國(guó)到中國(guó)的傳輸速度才10多k，暈啊，250M的文件起碼要3，4小時(shí)
唉

你們申請(qǐng)國(guó)際專線算了

Coolriver

確時(shí)需要有專線，不然真的很慢的。

Coolriver

500M的數(shù)據(jù)，導(dǎo)入估計(jì)需要5分鐘左右吧。
不過(guò)，需要改一下my.cnf 的配置。
如果是Innodb加大日值和Buffer，

對(duì)MyISAM：
加大bulk_insert_buffer_size

共同需要做的：
禁掉bin-log
增大max_allow_package

全部導(dǎo)完了，再修改回來(lái)。

yueliangdao0608

別誤導(dǎo)LZ了。
除了語(yǔ)句寫(xiě)稱多個(gè)VALUES插入，
唯一有用的是兩個(gè)參數(shù)：

net_buffer_length和max_allowed_packet。其他的都是白搭。

xiaoyu9805119

原帖由 yueliangdao0608 于 2009-6-5 16:02 發(fā)表
別誤導(dǎo)LZ了。
除了語(yǔ)句寫(xiě)稱多個(gè)VALUES插入，
唯一有用的是兩個(gè)參數(shù)：

net_buffer_length和max_allowed_packet。其他的都是白搭。

max_allowed_packet這個(gè)確實(shí)重要，試過(guò)一次竟然報(bào)錯(cuò)。

聰明笨小孩

沒(méi)有發(fā)現(xiàn) 很大區(qū)別

cenalulu

LZ的主要矛盾在網(wǎng)絡(luò)傳輸速度上~~