- 論壇徽章:
- 0
|
Hi
本人想寫(xiě)一個(gè)處理速度更高的文件處理程序
特此請(qǐng)教！
下面代碼只是每次讀取文件一行來(lái)處理
將一個(gè)大文件（例如10G），拆分成500個(gè)表來(lái)保存
文件內(nèi)容是
4,53,62
6553,5,42
853,65,45
722,55,74
......
...
想更高效率就需要每次取 幾M 到內(nèi)存再處理
所以下面代碼有待改善
有人能分享下怎樣從這個(gè)大文件抽取 幾M（1M或5M）到內(nèi)存再進(jìn)行處理嗎？？？（我代碼是對(duì)每行的 ， 之前的數(shù)字取模，按照模數(shù)來(lái)分表）
或者有人有更好的想法嗎？
關(guān)于處理大文件的想法歡迎一起討論！
謝謝！
- #include <iostream>
- #include <fstream>
- #include <stdio.h>
- #include <stdlib.h>
- #include <string.h>
- using namespace std;
- //找到 , 之前的數(shù)字
- int GetNumber(char *text, char c)
- {
- int len = strlen(text);
- int num = 0;
- int k = 1;
- int i = 0;
- for(i=0;i<len;i++)
- {
- if(text[i]==c)
- {
- break;
- }
- }
- i--;
- for(;i>=0;i--)
- {
- num = num + (text[i] - '0') * k;
- k *= 10;
- }
- return num;
- }
- //參數(shù)：要打開(kāi)的文件名+拆分文件數(shù)
- int main(int argc, char *argv[])
- {
- if(argc <= 1)
- {
- cout<<"Input File Name"<<endl;
- return -1;
- }
- ifstream in(argv[1]);
- char out_file_name[260];
- ofstream *out = new
- ofstream[atoi(argv[2])];///atoi
- for(int i=0;i<atoi(argv[2]);i++)///atoi
- {
- sprintf(out_file_name, "./test/test%d.txt", i+1);//這里修改輸出地址
- out[i].open(out_file_name);
- }
- char s[128];//拆分后文件每行的寬度
- int score_split;//保存取模之后結(jié)果，可以用作輸出文件索引號(hào)
- while(in.getline(s, 128))
- {
- int score_split_line = GetNumber(s, ',');
- score_split = score_split_line%atoi(argv[2]);////atoi
- out[score_split].write(s, strlen(s) +1);//按照索引號(hào)將匹配到的行內(nèi)容輸出到對(duì)應(yīng)的文件里
- out[score_split]<<endl;
- }
- for(int i=0;i<atoi(argv[2]);i++)////atoi
- {
- out[i].close();//關(guān)閉打開(kāi)的文件流
- }
- in.close();
- return 0;
- }
|
|
免費(fèi)注冊(cè)
發(fā)表于 2010-12-27 14:48
