LicManager Node PBS作業(yè)調(diào)度管理系統(tǒng)之二——作用與原理

章魚小丸子LIC

                     
    作業(yè)調(diào)度管理系統(tǒng)主要負(fù)責(zé)接收用戶提交的作業(yè)請求，并根據(jù)特定的調(diào)度規(guī)則以及用戶對作業(yè)的要求選擇合適的計算資源來完成用戶作業(yè)。在作業(yè)調(diào)度系統(tǒng)的幫助下，對用戶而言高性能計算集群系統(tǒng)就好像一臺具備很多CPU的大服務(wù)器，多個用戶可以同時使用這個系統(tǒng)。作業(yè)調(diào)度系統(tǒng)管理用戶提交的作業(yè)，為各個作業(yè)合理地分配資源，從而確保充分利用集群系統(tǒng)的計算能力，并盡可能迅速地得到運算結(jié)果。
　　集群作業(yè)調(diào)度管理可以根據(jù)用戶的需求，動態(tài)地完成集群的軟硬件資源的管理和調(diào)度，保證用戶作業(yè)公平合理地共享集群資源，提高系統(tǒng)利用率和吞吐率。
節(jié)點的調(diào)度分類：
　　在計算機系統(tǒng)中，存在著三種調(diào)度。從他們的層次來看，分別是作業(yè)調(diào)度、中級調(diào)度和進程調(diào)度。
　　高級調(diào)度：又稱作業(yè)調(diào)度。其主要功能是根據(jù)一定的算法，從輸人的一批作業(yè)中選出若干個作業(yè)，分配必要的資源，如內(nèi)存、外設(shè)等，為它建立相應(yīng)的用戶作業(yè)進程和為其服務(wù)的系統(tǒng)進程（如輸人、輸出進程），最后把它們的程序和數(shù)據(jù)調(diào)人內(nèi)存，等待進程調(diào)度程序?qū)ζ鋱?zhí)行調(diào)度，并在作業(yè)完成后作善后處理工作。
    低級調(diào)度：又稱進程調(diào)度。其主要功能是根據(jù)一定的算法將CPU分派給就緒隊列中的一個進程。執(zhí)行低級調(diào)度功能的程序稱做進程調(diào)度程序，由它實現(xiàn)CPU在進程間的切換。進程調(diào)度的運行頻率很高，在分時系統(tǒng)中往往幾十毫秒就要運行一次。進程調(diào)度是操作系統(tǒng)中最基本的一種調(diào)度。在一般類型的操作系統(tǒng)中都必須有進程調(diào)度，而且它的策略的優(yōu)劣直接影響整個系統(tǒng)的計能。
    中級調(diào)度：又稱交換調(diào)度。為了使內(nèi)存中同時存放的進程數(shù)目不至于太多，有時就需要把某些進程從內(nèi)存中移到外存上，以減少多道程序的數(shù)目，為此設(shè)立了中級調(diào)度。特別在采用虛擬存儲技術(shù)的系統(tǒng)或分時系統(tǒng)中，往往增加中級調(diào)度這一級。所以中級調(diào)度的功能是在內(nèi)存使用情況緊張時，將一些暫時不能運行的講程從內(nèi)存對換到外存上等待。當(dāng)以后內(nèi)存有足夠的空閑空間時，再將合適的進程重新?lián)Q人內(nèi)存，等待進程調(diào)度。引人中級調(diào)度的主要目的是為了提高內(nèi)存的利用率和系統(tǒng)吞吐量。它實際上就是存儲器管理中的對換功能。
　作業(yè)調(diào)度管理系統(tǒng)的基本要求:
　　1. 單一系統(tǒng)映像：從用戶角度看，集群系統(tǒng)就好像一臺具備很多CPU的大服務(wù)器，可以滿足用戶所需的運行作業(yè)的要求，用戶無需關(guān)心其他的硬件或系統(tǒng)信息，可以全身心投入到專業(yè)應(yīng)用的研究中。
　　2. 資源負(fù)載監(jiān)控：為了確保每個作業(yè)都能分配到合適的資源，資源負(fù)載監(jiān)控需要了解集群系統(tǒng)中各種資源的屬性、狀態(tài)以及用戶提交的作業(yè)請求和正在運行的作業(yè)等信息，為基于策略的資源調(diào)度提供依據(jù)。
　　3. 資源管理：資源管理根據(jù)資源負(fù)載監(jiān)控所獲取的信息和相應(yīng)的調(diào)度策略來給作業(yè)分配資源。另外，資源管理應(yīng)該具有資源預(yù)留能力。這樣不僅可以保留強大的資源給需要的作業(yè)，而且可以預(yù)留一定的冗余資源以應(yīng)付集群中的結(jié)點失效和突發(fā)的計算。
　　4. 策略管理：策略管理綜合從資源管理得到的各個計算節(jié)點上的資源狀況和用戶提交的作業(yè)信息，動態(tài)生成滿足作業(yè)要求的資源的列表。策略管理還提供復(fù)雜的參數(shù)去定義計算環(huán)境和作業(yè)要求，并且提供簡捷靈活的表達方式允許系統(tǒng)管理員實現(xiàn)基于特定策略驅(qū)動的資源調(diào)度方案。
　　5. 負(fù)載分析：作業(yè)調(diào)度系統(tǒng)還應(yīng)提供相應(yīng)的資源使用過程中的相關(guān)信息，方便后期的效率評估等工作的開展。
　　精確調(diào)度有效提高利用率
　　通過分析和研究后，我們認(rèn)為通過采用作業(yè)調(diào)度技術(shù)能夠較好地解決新遇到的大部分問題，保障高性能計算集群系統(tǒng)穩(wěn)定、高效地運行，同時可降低部分PC集群規(guī)模擴充的需求。
　　1. 提高計算節(jié)點使用效率
　　現(xiàn)在生產(chǎn)項目不需要履行復(fù)雜的計算資源申請手續(xù)，直接提交相應(yīng)的生產(chǎn)需求即可完成計算資源的分配，將計算節(jié)點故障對用戶造成的影響降到最低。同時，作業(yè)調(diào)度根據(jù)用戶作業(yè)請求的變化動態(tài)調(diào)整集群計算節(jié)點的使用，保證每個被調(diào)度計算節(jié)點高效率運行。
　　2. 降低高性能計算集群運維成本
　　通過作業(yè)調(diào)度技術(shù)的應(yīng)用，可以根據(jù)生產(chǎn)需求動態(tài)調(diào)整高性能計算集群的使用規(guī)模，避免不必要的能源消耗，在很大程度上提高了集群系統(tǒng)的能源利用效率，這包括高性能計算集群計算子系統(tǒng)和相關(guān)的場地配套系統(tǒng)的能源利用效率，使集群能夠充分發(fā)揮其解決大規(guī)模密集計算問題能力的同時合理降低其運行成本。
　　3. 奠定節(jié)能降耗的基礎(chǔ)
　　對高性能計算集群來說，作業(yè)調(diào)度技術(shù)是節(jié)能降耗的前提和基礎(chǔ)，以前的手工資源調(diào)度的方式容易產(chǎn)生失誤或分配不合理的情況，勢必會對科研生產(chǎn)造成影響，而采用成熟的作業(yè)調(diào)度技術(shù)將大大簡化資源調(diào)度管理的環(huán)節(jié)。對于暫時用不到的節(jié)點，可以將其關(guān)機或睡眠，以最大程度地降低無用節(jié)點的能耗，相應(yīng)的機房場地運行環(huán)境的能耗也隨之降低。另外，利用資源調(diào)度軟件提供的資源使用狀況監(jiān)控功能還可以形成相關(guān)集群運行情況報告，為決策提供可靠的依據(jù)。
　　綜上所述，作業(yè)調(diào)度技術(shù)的應(yīng)用直接影響高性能計算集群系統(tǒng)及其配套場地環(huán)境應(yīng)用效果。
　　LicManager Node PBS調(diào)度管理系統(tǒng)
　　算法：
　　(1)先來先服務(wù)(FCFS)： 按作業(yè)到達的先后次序調(diào)度，它不利于短作業(yè)。
    (2)短作業(yè)優(yōu)先(SJF)： 按作業(yè)的估計運行時間調(diào)度，估計運行時間短的作業(yè)優(yōu)先調(diào)度。它不利于長作業(yè)，可能會使一個估計運行時間長的作業(yè)遲遲得不到服務(wù)。
　　(3)響應(yīng)比高者優(yōu)先(HRN)： 綜合以上兩者，即考慮作業(yè)估計運行時間，又考慮作業(yè)等待時間，響應(yīng)比是： HRN=(估計運行時間+等待時間)/估計運行時間
　　 (4)優(yōu)先級調(diào)度： 根據(jù)作業(yè)的優(yōu)先級別，優(yōu)先級高者先調(diào)度。(如果是數(shù)字，則數(shù)值越大優(yōu)先級越高)
　　原則：
進程調(diào)度決定就緒隊列中哪個進程將獲得處理機，并實際執(zhí)行將處理機分配給該進程的操作。進程調(diào)度是操作系統(tǒng)中最基本的調(diào)度，在批處理及分時系統(tǒng)中都必須配置。
調(diào)度的目標(biāo)和原則：
1、公平性：(fairness)確保每個進程都能獲得公平的CPU時間片
2、高效性：(efficiency)使CPU100%的時間都在工作
3、響應(yīng)時間：(response time)系統(tǒng)對用戶的反應(yīng)時間
4、吞吐量：單位時間處理的工作量
　　目標(biāo)：
1、調(diào)度應(yīng)對所有作業(yè)都是公平合理的
2、應(yīng)使設(shè)備有較高的利用率（提高系統(tǒng)利用率）
3、每次運行盡可能多的作業(yè)（提高系統(tǒng)吞吐量）
4、較快的響應(yīng)時間
　　功能：
1、記錄各作業(yè)在系統(tǒng)中的狀態(tài)
2、從后備隊列中挑選一部分作業(yè)投入運行
3、為被選中的作業(yè)做好執(zhí)行前的準(zhǔn)備工作
4、在作業(yè)執(zhí)行結(jié)束時，做善后處理工作
   使用步驟：
準(zhǔn)備：編寫描述改作業(yè)的腳本，包括作業(yè)名，需要的資源等。
提交：將該作業(yè)提交給PBS服務(wù)器。
排隊：服務(wù)器將該任務(wù)排入適當(dāng)?shù)年犃小?br /> 調(diào)度：服務(wù)器檢查各工作節(jié)點的狀態(tài)是否符合該作業(yè)的要求，并進行調(diào)度。
執(zhí)行：當(dāng)條件滿足時，作業(yè)被發(fā)給相應(yīng)的執(zhí)行服務(wù)器執(zhí)行。程序運行時執(zhí)行服務(wù)器會收集程序的標(biāo)準(zhǔn)輸出和標(biāo)準(zhǔn)錯誤流，等程序結(jié)束時，將這些信息返回給用戶。
查詢和調(diào)整：當(dāng)作業(yè)在運行時，用戶可以進行狀態(tài)查詢。用戶發(fā)現(xiàn)作業(yè)提交錯誤時，可以刪除正在運行的作業(yè)。
查看結(jié)果：使用文本編輯軟件或者系統(tǒng)命令等方式，查看輸出及錯誤信息顯示。
     特點：
1、簡單易懂的人性化操作界面
2、支持動態(tài)加入計算節(jié)點
3、高速運算作業(yè)
4、可以支持?jǐn)?shù)百臺計算機系統(tǒng)
5、開放性和兼容性高
6、性能與價格的性價比優(yōu)越
7、優(yōu)秀的后臺技術(shù)支持。
　　總結(jié)
    為應(yīng)對市場需求，lanmantech公司研發(fā)出的LMT-LicManager的Node PBS調(diào)度管理系統(tǒng)，考慮到商業(yè)公司的競爭加劇和應(yīng)用普及的現(xiàn)狀，高性能計算不再是一個不惜工本的應(yīng)用領(lǐng)域，許多項目的預(yù)算約束越來越嚴(yán)格。這就要求廠商生產(chǎn)全系列的產(chǎn)品滿足不同規(guī)模應(yīng)用的需求、更加可靠地保護用戶原有投資、加速IT投資回報，而且也要求實現(xiàn)資源按需供應(yīng)和更大范圍的資源共享，網(wǎng)格和公用服務(wù)等新的計算模式都要隨著潮流趨勢發(fā)展。
    再有隨著高性能計算集群應(yīng)用規(guī)模的不斷擴充，集群的管理問題也隨之而來。大型企業(yè)起初集群規(guī)模較小，比較容易管理和維護，系統(tǒng)的能耗和運維成本問題還不明顯。但隨著集群規(guī)模的不斷擴充，集群系統(tǒng)能耗高、利用效率低、大規(guī)模集群系統(tǒng)運維管理困難等缺點逐漸凸顯出來。
　　在LicManager的Node PBS調(diào)度管理系統(tǒng)的幫助下，對用戶而言高性能計算集群系統(tǒng)就好像一臺具備很多CPU的大服務(wù)器，多個用戶可以同時使用這個系統(tǒng)。Node PBS調(diào)度系統(tǒng)管理用戶提交的作業(yè)，為各個作業(yè)合理地分配資源，從而確保充分利用集群系統(tǒng)的計算能力，并盡可能迅速地得到運算結(jié)果。
　　LicManager的Node PBS調(diào)度管理系統(tǒng)可以根據(jù)用戶的需求，動態(tài)地完成集群的軟硬件資源的管理和調(diào)度，保證用戶作業(yè)公平合理地共享集群資源，提高系統(tǒng)利用率和吞吐率。
　　
　　
　　  

斗志之歌

本人過去、現(xiàn)在以及將來都不認(rèn)識樓主，且自古以來與樓主無利益關(guān)系。樓主表述之事與本人無關(guān)