請(qǐng)教問(wèn)題：大文件處理

想尼尼

問(wèn)題：
C語(yǔ)言
需要處理N個(gè)大文件，size有可能很大，但是大小上限不能具體知道。
需要并行處理文件。
文件的內(nèi)容有可能涉及到解碼什么的，文件格式是多種格式嵌套。

我一開始用了2個(gè)方法：
<1>先聲明一個(gè)超大數(shù)組，一次性讀完文件。問(wèn)題是太浪費(fèi)內(nèi)存，因?yàn)槲募�有可能是很小的�?br /> <2>用malloc動(dòng)態(tài)分配一個(gè)文件大小的space。問(wèn)題是頻繁的動(dòng)態(tài)分配，會(huì)造成過(guò)多的內(nèi)存碎片，不適合長(zhǎng)時(shí)間的運(yùn)行。
C++好像有內(nèi)部?jī)?nèi)存管理的類string，但是C++不太拿出手。。。。
哪位大神幫忙想想辦法。

還忘記說(shuō)了一種：內(nèi)存映射，
優(yōu)點(diǎn)：
1、從內(nèi)存映像文件中讀寫，避免了read、write多余的拷貝。
2、從內(nèi)存映像文件中讀寫，避免了多余的系統(tǒng)調(diào)用和用戶-內(nèi)核模式的切換
3、可以多個(gè)進(jìn)程共享內(nèi)存映像文件。
4、seeking內(nèi)存映像只需要指針操作，避免系統(tǒng)調(diào)用lseek。
缺點(diǎn)：
1、內(nèi)存映像需要時(shí)整數(shù)倍頁(yè)大小，如果文件較小，會(huì)浪費(fèi)內(nèi)存。
2、內(nèi)存映像需要在放在進(jìn)程地址空間，大的內(nèi)存映像可能導(dǎo)致地址空間碎片，找不到足夠大的空余連續(xù)區(qū)域供其它用。
3、內(nèi)核需要維護(hù)更多的和內(nèi)存映像相關(guān)的數(shù)據(jù)結(jié)構(gòu)。
貌似和malloc的缺點(diǎn)有點(diǎn)類似

shan_ghost

……你甚至可以用每次只讀一個(gè)字節(jié)的方式，處理一個(gè)1T大小的文件。

復(fù)習(xí)下基礎(chǔ)知識(shí)吧。

想尼尼

頻繁IO太慢吧

bruceteen

還能“聲明一個(gè)超大數(shù)組，一次性讀完文件”或“用malloc動(dòng)態(tài)分配一個(gè)文件大小的space”，說(shuō)明你這個(gè)文件極小。

對(duì)于你的問(wèn)題，為什么要一次性讀到內(nèi)存中呢？完全可以用到哪里才去讀哪里。
比如現(xiàn)在的電影文件，一般都是20G左右，在我一臺(tái)2G內(nèi)存的電腦上就可以完美播放，肯定不是一次性讀進(jìn)內(nèi)存，因?yàn)闆](méi)那么大的內(nèi)存。

shan_ghost

想尼尼 發(fā)表于 2013-12-04 10:51
頻繁IO太慢吧

腦筋太死……既然每次一個(gè)字節(jié)、處理1T的文件都可以，有人禁止你用每次處理1K甚至1M的數(shù)據(jù)的方式、處理1G的文件嗎？

想尼尼

回復(fù) 4# bruceteen
我需要從頭到尾都解析的，格式復(fù)雜，不太好截取部分
我還忘記說(shuō)了“內(nèi)存映射”， 不知道這個(gè)方法有什么缺點(diǎn)，我再查查


   

想尼尼

回復(fù) 6# 想尼尼
關(guān)鍵這個(gè)文件格式有點(diǎn)復(fù)雜，不好確定前面的是否是部分完整的可以解析的格式，求指點(diǎn)


   

hellioncu

內(nèi)存映射是王道，如果是32位程序地址空間受限，可以映射文件的一部分

linux_c_py_php

一個(gè)定長(zhǎng)4KB的buffer，一次讀4KB。

一個(gè)string，讀的buffer要append到string尾部，然后立即解析文件內(nèi)容，解析完的的部分erase掉。

syre

N有多大？
文件一般有多大？
格式有多復(fù)雜？