亚洲av成人无遮挡网站在线观看,少妇性bbb搡bbb爽爽爽,亚洲av日韩精品久久久久久,兔费看少妇性l交大片免费,无码少妇一区二区三区

Chinaunix

標(biāo)題: 解決kettle調(diào)度效率低，不可高并發(fā)調(diào)度方法 [打印本頁]

作者: xc20494580 時(shí)間: 2017-10-31 11:38
標(biāo)題: 解決kettle調(diào)度效率低，不可高并發(fā)調(diào)度方法
“我在spoon里面運(yùn)行一個(gè)作業(yè)只要幾秒種，但是在命令行中運(yùn)行卻要好幾十秒？”

“并行同時(shí)運(yùn)行幾個(gè)job，就把內(nèi)存撐爆了，Kettle好占資源呀！”

  Kettle作為用戶規(guī)模最多的開源ETL工具，強(qiáng)大簡潔的功能深受廣大ETL從業(yè)者的歡迎。但kettle本身的調(diào)度監(jiān)控功能卻非常弱。連Pentaho官方都建議采用crontab(Unix平臺(tái))和計(jì)劃任務(wù)(Windows平臺(tái))來完成調(diào)度功能。調(diào)用kettle作業(yè)，實(shí)際上是通過pan和kitchen命令去調(diào)用。每一次調(diào)用都會(huì)重新初始化kettle運(yùn)行環(huán)境，這個(gè)過程占用大量的時(shí)間。并且每啟動(dòng)一個(gè)kettle運(yùn)行環(huán)境都相當(dāng)于啟動(dòng)一個(gè)JVM進(jìn)程。每個(gè)JVM則會(huì)占用幾百兆（默認(rèn)設(shè)置）的內(nèi)存。所以同時(shí)運(yùn)行幾個(gè)作業(yè)，也會(huì)消耗大量內(nèi)存資源。極端情況則可能會(huì)導(dǎo)致kettle內(nèi)存溢出，產(chǎn)生致命錯(cuò)誤。

https://my.oschina.net/u/944575/blog/1557410

http://www.taskctl.com/forum/detail_124.html

  上述是Taskctl出的解決方案，但是如果我本身不愿意在多學(xué)習(xí)一個(gè)調(diào)度工具，其實(shí)也是可以用這個(gè)的。安裝這個(gè)服務(wù)后，默認(rèn)會(huì)生成兩個(gè)調(diào)度插件，分別對應(yīng)trans和job兩種類型的。我們現(xiàn)在需要做的就是用crontab調(diào)用調(diào)度插件，配合著正確的參數(shù)值，就可以正常調(diào)度了，非常簡單，而且效率也很高。

  下面是我調(diào)度Linux下kettle配置的一個(gè)crontab范例，僅供大家參考

0 0 * * * /home/kettle/shell/cprunsoapktr.sh “/home/kettle/mykettle/my.ktr” “” “”

  這個(gè)是我們trans作業(yè)。是直接調(diào)用文件，而且也沒有參數(shù)，如果有差異，在安裝服務(wù)是按需選擇，調(diào)用的時(shí)候有細(xì)微的差異。執(zhí)行效率比原來有大幅的提升，而且也不在開辟多個(gè)JVM環(huán)境，造成服務(wù)器資源的問題

作者: ffw_880106 時(shí)間: 2017-11-08 10:15
謝謝樓主正在為kettle的調(diào)度發(fā)愁呢

作者: macrolee77 時(shí)間: 2018-11-13 13:42
通過crontab定時(shí)器調(diào)用kettle的確很方便，但缺少對job運(yùn)行狀態(tài)的監(jiān)控，我們經(jīng)常是開發(fā)的時(shí)候?qū)憯?shù)據(jù)庫日志表。

歡迎光臨 Chinaunix (http://www.72891.cn/)