用perl做大規(guī)模數據（千萬級）高效處理的孔雀翎

helbreathszw

呵呵，以前記得孔雀翎是可以讓一個不會武功的人能迅速PK掉武功高手的武器。
同樣在IT世界，perl+mysql就能成為一個高效的孔雀翎。學perl是因為導入mysql數據時候需要一些正則處理，比如去掉不要的，或是做一些變更替換啥的，當然用php,c,java也能做，但是perl比較適合懶惰的人。
哈哈，接下來就是對付千萬級的數據分析了，本來應該要學會了算法，cache,多線程才能做的來的事情，現在統(tǒng)統(tǒng)讓mysql來處理，我們只要把數據導入到mysql就算大功告成。

于是，一切就變得簡單了，當然如果你肯花功夫學一些mysql的性能優(yōu)化，可以讓你產生10多倍的功效。
另外提一下，不要把數據庫當作多么高深的東東，其實他就是一個高效算法集一身的文件處理系統(tǒng)。嘎嘎

helbreathszw

MySQL storage engines
One of the big advantages of MySQL is its concept of "pluggable storage engines". This means you can choose the most optimal storage engine for your needs. This also has a disadvantage: You have to know what you are doing...

MySQL provides the following storage engines:

mysql> SHOW ENGINES;

+------------+----------+-------------------------------------------------------+
| Engine     | Support  | Comment                                               |
+------------+----------+-------------------------------------------------------+
| MyISAM     | DEFAULT  | Default engine with great performance                 |
| MEMORY     | YES      | Hash based in memory tables                           |
| InnoDB     | YES      | Transactional storage engine with row-level locking   |
| Falcon     | YES      | Falcon storage engine                                 |
| BerkeleyDB | NO       | Transactional storage engine with page-level locking  |
| BLACKHOLE  | YES      | /dev/null storage engine for replication transmission |
| EXAMPLE    | YES      | Example storage engine                                |
| ARCHIVE    | YES      | Archive storage engine                                |
| CSV        | YES      | CSV storage engine                                    |
| ndbcluster | DISABLED | Clustered, fault-tolerant, memory-based tables        |
| FEDERATED  | YES      | Federated MySQL storage engine (like database links)  |
| MRG_MYISAM | YES      | Collection of identical MyISAM tables (MERGE)         |
| ISAM       | NO       | Obsolete storage engine                               |
+------------+----------+-------------------------------------------------------+



There are also some independent storage engine providers:

solidDB
PrimeBase XT
OpenOLAP
Thinking Networks Storage Engine
RitmarkFS
FS map to mysql
Sphinx Search
mdbtools storage engine
Distributed Data Engine
MemCacheD Storage Engine (by Brian Aker)
RRD Storage engine (insider information, unofficial name, not yet available). A work around you can find here: Round-Robin Database Storage Engine (RRD)
VEMySQL Velocity Storage Engine
NitroEDB
InfoBrigth
FIFO storage engine (Domas)
Amazon S3 storage engine
ScaleDB

helbreathszw

有了上述這些能力，就能讓你面對千萬級別的數據可以快速PK掉那些對算法，對緩沖，對線程有幾年功力的IT高手!

蘭花仙子

本帖與Perl有任何關系么？去數據庫版炫吧。鎖之。