發(fā)布時(shí)間：所屬分類：管理論文瀏覽：1次
摘 要： 這篇中國郵政投稿論文發(fā)表了任務(wù)調(diào)度在郵政信息項(xiàng)目的應(yīng)用，在郵政信息項(xiàng)目中如何順利實(shí)施數(shù)據(jù)處理作業(yè)任務(wù)呢?論文根據(jù)信息項(xiàng)目的特點(diǎn)和需求，探討了自動(dòng)任務(wù)調(diào)度管理系統(tǒng)的建設(shè)意義及實(shí)現(xiàn)方式，并對(duì)未來的應(yīng)用前景進(jìn)行了展望。
這篇中國郵政投稿論文發(fā)表了任務(wù)調(diào)度在郵政信息項(xiàng)目的應(yīng)用，在郵政信息項(xiàng)目中如何順利實(shí)施數(shù)據(jù)處理作業(yè)任務(wù)呢?論文根據(jù)信息項(xiàng)目的特點(diǎn)和需求，探討了自動(dòng)任務(wù)調(diào)度管理系統(tǒng)的建設(shè)意義及實(shí)現(xiàn)方式，并對(duì)未來的應(yīng)用前景進(jìn)行了展望。
關(guān)鍵詞：中國郵政投稿,數(shù)據(jù)挖掘,任務(wù)調(diào)度,業(yè)務(wù)邏輯
隨著郵政信息化建設(shè)的不斷深入，數(shù)據(jù)是企業(yè)的重要資產(chǎn)這一理念已成為共識(shí)。通過深入挖掘各業(yè)務(wù)系統(tǒng)累積的業(yè)務(wù)數(shù)據(jù)，保障批量任務(wù)程序高效運(yùn)行，具有可靠性、可擴(kuò)展的自動(dòng)任務(wù)調(diào)度系統(tǒng)的開發(fā)與應(yīng)用顯得尤為重要。
1郵政金融數(shù)據(jù)挖掘信息項(xiàng)目的特點(diǎn)
目前各省開發(fā)的郵政金融數(shù)據(jù)挖掘信息項(xiàng)目，從原始的數(shù)據(jù)下載系統(tǒng)到最終的目標(biāo)應(yīng)用系統(tǒng)，必然要經(jīng)過數(shù)據(jù)抽取、轉(zhuǎn)換、加載(以下簡稱“ETL”)的數(shù)據(jù)流轉(zhuǎn)過程。但在實(shí)際的數(shù)據(jù)分析和項(xiàng)目開發(fā)過程中發(fā)現(xiàn)，與一般意義上的ETL過程相比，郵政金融數(shù)據(jù)挖掘信息項(xiàng)目有其自身特點(diǎn)。郵政金融數(shù)據(jù)下載系統(tǒng)的數(shù)據(jù)來源主要有兩部分：一是各郵政金融生產(chǎn)系統(tǒng)直接生成的接口數(shù)據(jù)，二是郵政金融客戶管理系統(tǒng)經(jīng)過歸集的數(shù)據(jù)。數(shù)據(jù)下載系統(tǒng)已將下發(fā)數(shù)據(jù)全部加載到數(shù)據(jù)庫中，相對(duì)于一般意義上的數(shù)據(jù)挖掘，數(shù)據(jù)質(zhì)量明顯改善。在省內(nèi)信息項(xiàng)目中，主要數(shù)據(jù)處理通常包括篩選、歸集、計(jì)算等再加工流程，一般無需再進(jìn)行專門的數(shù)據(jù)清洗等操作，而且基本不需要考慮數(shù)據(jù)庫之外的數(shù)據(jù)源。在日常數(shù)據(jù)分析過程中，各省信息技術(shù)部門積累了大量對(duì)數(shù)據(jù)提取、歸集的結(jié)構(gòu)化查詢語言(以下簡稱“SQL”)腳本。在做信息項(xiàng)目的過程中，項(xiàng)目需求與日常數(shù)據(jù)提取工作有一定的重疊性。在一些簡單的信息項(xiàng)目中，借鑒日常數(shù)據(jù)提取的工作經(jīng)驗(yàn)，可以較快地生成相應(yīng)數(shù)據(jù)處理的數(shù)據(jù)庫存儲(chǔ)過程，但缺乏一個(gè)簡單、便捷的調(diào)度管理工具，將這些存儲(chǔ)過程組織在一起。
2自動(dòng)任務(wù)調(diào)度管理系統(tǒng)的重要作用
ETL作為郵政數(shù)據(jù)挖掘信息項(xiàng)目的基礎(chǔ)，按照一定的規(guī)則集成并提高數(shù)據(jù)的價(jià)值，是從原始數(shù)據(jù)向業(yè)務(wù)模型轉(zhuǎn)化的過程，是項(xiàng)目實(shí)施的關(guān)鍵步驟，但往往被人們忽視。如在日常工作中，經(jīng)常會(huì)用到調(diào)度腳本來周期性完成計(jì)劃任務(wù)的方式，但這種方式只適用于少量作業(yè)的簡單場(chǎng)景，根本無法滿足實(shí)際項(xiàng)目過程中復(fù)雜的依賴關(guān)系、異常控制及恢復(fù)等重要功能需求。對(duì)于省內(nèi)常見的小型信息項(xiàng)目來說，采用現(xiàn)有的ETL工具意味著較大的投資成本和后續(xù)的跟進(jìn)維護(hù)及二次開發(fā)等問題。且現(xiàn)實(shí)中很多信息項(xiàng)目業(yè)務(wù)邏輯存在差異性，為獲得最佳性能，很多任務(wù)都需另外開發(fā)。而作業(yè)調(diào)度則不同，每個(gè)信息項(xiàng)目都需要通過作業(yè)調(diào)度將作業(yè)任務(wù)有效組織起來。因此，ETL是信息系統(tǒng)的基礎(chǔ)，而調(diào)度是ETL的靈魂。中國郵政集團(tuán)公司山西省信息技術(shù)局(以下簡稱“山西省郵政信息技術(shù)局”)在項(xiàng)目建設(shè)實(shí)踐中，經(jīng)過不斷的總結(jié)提升，最終形成一套統(tǒng)一的、相對(duì)獨(dú)立的自動(dòng)任務(wù)調(diào)度管理系統(tǒng)，基本實(shí)現(xiàn)了將業(yè)務(wù)邏輯封裝在定制的存儲(chǔ)過程中，通過任務(wù)列表進(jìn)行統(tǒng)一管理調(diào)用。在自動(dòng)任務(wù)調(diào)度平臺(tái)基礎(chǔ)上，只要進(jìn)行存儲(chǔ)過程的開發(fā)配置，就可以快速實(shí)現(xiàn)基本的數(shù)據(jù)流轉(zhuǎn)，通過實(shí)際應(yīng)用，完全可以滿足一般小型信息項(xiàng)目的需求。
3自動(dòng)任務(wù)調(diào)度管理系統(tǒng)的實(shí)現(xiàn)方式
3.1對(duì)業(yè)務(wù)邏輯進(jìn)行封裝
由于實(shí)際業(yè)務(wù)邏輯的差異性、復(fù)雜性，為了便于管理，同時(shí)將調(diào)度管理系統(tǒng)與具體業(yè)務(wù)處理進(jìn)行隔離，通常要將業(yè)務(wù)邏輯封裝在一系列獨(dú)立的作業(yè)任務(wù)中，在調(diào)度管理系統(tǒng)看來只是作業(yè)任務(wù)，對(duì)于作業(yè)的內(nèi)部邏輯，調(diào)度管理系統(tǒng)并不關(guān)心。從實(shí)際的運(yùn)行經(jīng)驗(yàn)看，需要將作業(yè)任務(wù)拆分細(xì)化為獨(dú)立、較小的事務(wù)，或成功提交，或失敗回滾。這樣有利于異常中斷的恢復(fù)，同時(shí)拆分為多個(gè)較小的事務(wù)，實(shí)際處理效率較高。
3.2統(tǒng)一的作業(yè)調(diào)度接口
為了實(shí)現(xiàn)相對(duì)獨(dú)立的通用任務(wù)管理平臺(tái)，需要對(duì)作業(yè)任務(wù)定義統(tǒng)一的作業(yè)調(diào)度接口。目前的作業(yè)調(diào)度接口只定義了基本的返回代碼和錯(cuò)誤信息兩個(gè)域，主要實(shí)現(xiàn)任務(wù)調(diào)度的管理需求。顯然這兩個(gè)基本字段無法滿足復(fù)雜的業(yè)務(wù)邏輯需求。通過分析歸納系統(tǒng)需求發(fā)現(xiàn)，最主要的調(diào)用內(nèi)容是數(shù)據(jù)日期類的調(diào)用，而對(duì)于一個(gè)特定的業(yè)務(wù)系統(tǒng)來說，大多數(shù)據(jù)日期是相同的，通過在信息系統(tǒng)中設(shè)置參數(shù)表，定義相應(yīng)的日期參數(shù)、業(yè)務(wù)參數(shù)，可以將這些參數(shù)的訪問、維護(hù)也封裝在作業(yè)任務(wù)中。這樣完全可以在滿足業(yè)務(wù)邏輯的前提下，實(shí)現(xiàn)基本的統(tǒng)一作業(yè)調(diào)度接口。
3.3任務(wù)隊(duì)列配置
依賴關(guān)系是ETL作業(yè)最重要的內(nèi)容，目前采用的方式是在數(shù)據(jù)庫中創(chuàng)建任務(wù)列表，通過專門的存儲(chǔ)過程對(duì)任務(wù)列表進(jìn)行維護(hù)。任務(wù)列表通過任務(wù)序號(hào)體現(xiàn)任務(wù)間的順序執(zhí)行依賴關(guān)系，同時(shí)通過對(duì)任務(wù)列表的維護(hù)，實(shí)現(xiàn)任務(wù)的觸發(fā)，執(zhí)行狀態(tài)、異常場(chǎng)景的保存等。在任務(wù)調(diào)度的不同階段，可能存在復(fù)雜的依賴及并發(fā)關(guān)系。為了提高執(zhí)行效率，在任務(wù)列表中對(duì)并發(fā)調(diào)度進(jìn)行了細(xì)化，對(duì)每個(gè)任務(wù)對(duì)應(yīng)的應(yīng)用模塊執(zhí)行順序、是否可并發(fā)執(zhí)行、并發(fā)執(zhí)行的階段序號(hào)進(jìn)行了靈活的動(dòng)態(tài)配置。這樣根據(jù)任務(wù)的特性及依賴關(guān)系，可以靈活地按順序執(zhí)行或者分階段多線程并發(fā)執(zhí)行，對(duì)計(jì)算量大的步驟還實(shí)現(xiàn)了步驟內(nèi)按機(jī)構(gòu)并發(fā)執(zhí)行，顯著提高了后臺(tái)計(jì)算的執(zhí)行效率。
3.4任務(wù)觸發(fā)
任務(wù)觸發(fā)可以分為定時(shí)周期性觸發(fā)和事件觸發(fā)。目前省內(nèi)依托數(shù)據(jù)下載系統(tǒng)的信息項(xiàng)目，最主要的觸發(fā)條件是數(shù)據(jù)下發(fā)情況和依賴步驟的完成情況，以周期性觸發(fā)為主。具體方式為定時(shí)調(diào)用調(diào)度平臺(tái)，檢查數(shù)據(jù)下發(fā)情況，同時(shí)檢查任務(wù)列表的完成情況，對(duì)可滿足執(zhí)行條件的任務(wù)進(jìn)行篩選，對(duì)有前后依賴的步驟按配置的優(yōu)先順序逐一進(jìn)行調(diào)用。對(duì)于沒有依賴的任務(wù)，進(jìn)行并發(fā)調(diào)用。對(duì)于時(shí)效性要求較高的任務(wù)，也可采用事件觸發(fā)的模式進(jìn)行調(diào)度，將調(diào)度平臺(tái)作為后臺(tái)服務(wù)駐留在內(nèi)存中，對(duì)關(guān)心的事件進(jìn)行輪詢。當(dāng)有觸發(fā)事件發(fā)生時(shí)，調(diào)用對(duì)應(yīng)的任務(wù)進(jìn)行作業(yè)處理。
3.5多系統(tǒng)協(xié)同
在實(shí)際應(yīng)用環(huán)境中，一個(gè)信息系統(tǒng)的處理結(jié)果可能會(huì)應(yīng)用到另一個(gè)信息系統(tǒng)中，即各系統(tǒng)之間存在數(shù)據(jù)交互。如積分回饋系統(tǒng)的數(shù)據(jù)明細(xì)，就是作為代理金融客戶分戶管理系統(tǒng)的數(shù)據(jù)源，即上游數(shù)據(jù)提供系統(tǒng)的任務(wù)完成情況，觸發(fā)了下游目標(biāo)系統(tǒng)的任務(wù)處理。但這種協(xié)同關(guān)系不宜過多，否則建議將作業(yè)流程獨(dú)立，再分別將需要的數(shù)據(jù)集提供給目標(biāo)系統(tǒng)。
3.6意外情況的處理機(jī)制
實(shí)際開發(fā)中，可能出現(xiàn)的異常主要來自系統(tǒng)資源問題和數(shù)據(jù)異常情況。通過異常處理機(jī)制，異常原因會(huì)通過調(diào)用接口返回到調(diào)度平臺(tái)，對(duì)任務(wù)異常中斷、正常結(jié)束等狀態(tài)進(jìn)行標(biāo)記，通過查看日志和任務(wù)列表的任務(wù)狀態(tài)和備注信息可實(shí)現(xiàn)異常的定位和處理。如常見的回滾段或內(nèi)存資源不足導(dǎo)致異常，只要調(diào)整資源配置或減少并發(fā)數(shù)配置后，修改任務(wù)狀態(tài)為就緒，即可實(shí)現(xiàn)后續(xù)任務(wù)的恢復(fù)處理。
3.7數(shù)據(jù)流轉(zhuǎn)效率
對(duì)于批量任務(wù)來說，由于數(shù)據(jù)量巨大，數(shù)據(jù)處理效率成為決定項(xiàng)目成敗的重要指標(biāo)。對(duì)任務(wù)處理的優(yōu)化工作，基本貫穿于整個(gè)項(xiàng)目過程，具體可以分為單個(gè)作業(yè)任務(wù)內(nèi)的優(yōu)化和整體效率的優(yōu)化兩方面。3.7.1單個(gè)處理任務(wù)優(yōu)化采用并發(fā)查詢語句和SQL數(shù)據(jù)分析函數(shù)，簡化SQL語句的復(fù)雜度，提高處理效率。利用數(shù)據(jù)庫表分區(qū)，將數(shù)據(jù)拆分到小的分區(qū)中，縮小檢索范圍。對(duì)于大批量修改的任務(wù)，酌情采用創(chuàng)建臨時(shí)表的模式，取代直接批量修改的方式。對(duì)于跨系統(tǒng)的數(shù)據(jù)抽取，采取在遠(yuǎn)端數(shù)據(jù)庫創(chuàng)建視圖的方法，只抽取視圖的查詢結(jié)果，減少網(wǎng)絡(luò)壓力。對(duì)于某些大批量數(shù)據(jù)計(jì)算，由調(diào)度平臺(tái)實(shí)現(xiàn)多線程并發(fā)處理，并對(duì)并發(fā)度進(jìn)行參數(shù)化設(shè)置。3.7.2整體任務(wù)效率優(yōu)化對(duì)于整個(gè)批量處理的整體效率，由調(diào)度平臺(tái)的任務(wù)間并發(fā)進(jìn)行優(yōu)化。通過配置任務(wù)列表，調(diào)度平臺(tái)篩選出可以并發(fā)的任務(wù)列表并加載到線程池，分階段進(jìn)行多線程并發(fā)調(diào)用處理。經(jīng)過一系列的項(xiàng)目實(shí)踐，基本滿足了項(xiàng)目要求。
4自動(dòng)任務(wù)調(diào)度管理系統(tǒng)在信息項(xiàng)目中的實(shí)際應(yīng)用
自數(shù)據(jù)下載系統(tǒng)上線以來，為促進(jìn)郵政金融業(yè)務(wù)的發(fā)展，實(shí)現(xiàn)以客戶為核心的精細(xì)化服務(wù)，提升客戶體驗(yàn)，特別是在網(wǎng)點(diǎn)轉(zhuǎn)型跨越發(fā)展的新形勢(shì)下，山西省郵政信息技術(shù)局先后開發(fā)了一系列郵政金融信息項(xiàng)目，并推廣到兄弟省，為郵政金融業(yè)務(wù)的快速健康發(fā)展起到了積極作用。在上述系統(tǒng)的開發(fā)建設(shè)中，業(yè)務(wù)需求各有側(cè)重，前臺(tái)的實(shí)現(xiàn)方式不盡相同，但在后臺(tái)的數(shù)據(jù)處理方面，經(jīng)過不斷的總結(jié)提升，最終形成了統(tǒng)一的、相對(duì)獨(dú)立的自動(dòng)任務(wù)調(diào)度管理系統(tǒng)，作為基礎(chǔ)平臺(tái)，應(yīng)用于上述各系統(tǒng)中。
4.1實(shí)現(xiàn)了數(shù)據(jù)流轉(zhuǎn)的基礎(chǔ)平臺(tái)
山西省郵政信息技術(shù)局自行開發(fā)的任務(wù)調(diào)度管理系統(tǒng)，基本形成了將業(yè)務(wù)邏輯封裝在定制的存儲(chǔ)過程中，通過任務(wù)列表進(jìn)行統(tǒng)一管理調(diào)用的模式，實(shí)現(xiàn)了與業(yè)務(wù)邏輯的隔離。在實(shí)際的項(xiàng)目開發(fā)中，只需關(guān)注具體業(yè)務(wù)邏輯的開發(fā)，通過任務(wù)配置即可實(shí)現(xiàn)數(shù)據(jù)處理過程，項(xiàng)目開發(fā)效率明顯提高。將業(yè)務(wù)邏輯進(jìn)行封裝，通過任務(wù)隊(duì)列進(jìn)行動(dòng)態(tài)管理，靈活地實(shí)現(xiàn)了任務(wù)流程的定制。只需調(diào)整任務(wù)列表配置，無需修改代碼，就能實(shí)現(xiàn)任務(wù)按先后次序約束執(zhí)行，或無關(guān)聯(lián)的任務(wù)并發(fā)執(zhí)行。對(duì)于異常情況，系統(tǒng)可以直接指定從某個(gè)任務(wù)開始恢復(fù)后續(xù)任務(wù)的執(zhí)行。甚至對(duì)于一些臨時(shí)需求，也可簡單訂制臨時(shí)任務(wù)，通過調(diào)度管理系統(tǒng)實(shí)現(xiàn)對(duì)業(yè)務(wù)的快速響應(yīng)。在數(shù)據(jù)挖掘信息項(xiàng)目中，處理單個(gè)批量任務(wù)的數(shù)據(jù)量達(dá)千萬筆。經(jīng)過多方面的優(yōu)化處理，系統(tǒng)運(yùn)行效率基本滿足了項(xiàng)目要求。通過多年的實(shí)際運(yùn)行和開發(fā)實(shí)踐，對(duì)于目前省內(nèi)依托數(shù)據(jù)下載系統(tǒng)開發(fā)的小型信息項(xiàng)目，任務(wù)調(diào)度管理系統(tǒng)的模式完全可以滿足現(xiàn)有功能需求，加快開發(fā)進(jìn)度。
4.2多方位支持郵政金融業(yè)務(wù)發(fā)展
4.2.1開發(fā)積分回饋系統(tǒng)，加強(qiáng)對(duì)現(xiàn)有客戶的維系2012年上線的積分回饋系統(tǒng)實(shí)現(xiàn)了對(duì)所有儲(chǔ)蓄客戶的積分累積，需處理的數(shù)據(jù)量有上千萬筆。同時(shí)，各積分指標(biāo)周期不同，積分規(guī)則可能會(huì)根據(jù)業(yè)務(wù)發(fā)展的實(shí)際情況進(jìn)行動(dòng)態(tài)調(diào)整，其計(jì)算流程相當(dāng)于多個(gè)積分指標(biāo)的計(jì)算流程相疊加。通過將批量任務(wù)的組織管理單獨(dú)分離出來，交于調(diào)度平臺(tái)處理，并對(duì)大數(shù)據(jù)量的任務(wù)處理實(shí)現(xiàn)了多線程并發(fā)計(jì)算，原來經(jīng)過幾十個(gè)小時(shí)未能完成的作業(yè)任務(wù)，在多線程處理后幾個(gè)小時(shí)內(nèi)即可完成，圓滿完成了項(xiàng)目建設(shè)任務(wù)，同時(shí)為后續(xù)信息項(xiàng)目的開發(fā)提供了平臺(tái)支持。4.2.2開發(fā)郵政儲(chǔ)蓄網(wǎng)點(diǎn)客戶管理信息系統(tǒng)，推動(dòng)金融網(wǎng)點(diǎn)轉(zhuǎn)型工作為推動(dòng)郵政代理金融網(wǎng)點(diǎn)轉(zhuǎn)型工作順利開展，2013年山西省郵政信息技術(shù)局開發(fā)建設(shè)了郵政儲(chǔ)蓄網(wǎng)點(diǎn)客戶管理信息系統(tǒng)。由于系統(tǒng)業(yè)務(wù)指標(biāo)多，后臺(tái)作業(yè)步驟多，依賴關(guān)系復(fù)雜，即便是簡單的順序執(zhí)行，一次完整的數(shù)據(jù)處理也需要運(yùn)行幾天時(shí)間。山西省郵政信息技術(shù)局一方面通過建立遠(yuǎn)端視圖，只抽取經(jīng)過歸集的結(jié)果數(shù)據(jù)，提高了任務(wù)處理效率，另一方面將整個(gè)任務(wù)處理分為幾個(gè)階段，在階段內(nèi)進(jìn)行無關(guān)聯(lián)任務(wù)的并發(fā)處理，最終在一晚時(shí)間完成整個(gè)數(shù)據(jù)處理，保證了網(wǎng)點(diǎn)人員對(duì)系統(tǒng)的正常使用。4.2.3開發(fā)儲(chǔ)蓄業(yè)績認(rèn)定系統(tǒng)，激勵(lì)員工營銷工作2014年7月，為系統(tǒng)性解決儲(chǔ)蓄余額積分計(jì)獎(jiǎng)問題，山西省郵政信息技術(shù)局開發(fā)了儲(chǔ)蓄業(yè)績認(rèn)定系統(tǒng)。系統(tǒng)計(jì)算的業(yè)務(wù)邏輯較為復(fù)雜，基于任務(wù)調(diào)度管理平臺(tái)的支持，項(xiàng)目開發(fā)重點(diǎn)關(guān)注具體業(yè)務(wù)邏輯的實(shí)現(xiàn)，完成了作業(yè)任務(wù)發(fā)布及單元測(cè)試。項(xiàng)目上線后，對(duì)于一些特殊的臨時(shí)需求，定置臨時(shí)任務(wù)隊(duì)列，快速響應(yīng)了業(yè)務(wù)管理需求，在金融市場(chǎng)競(jìng)爭(zhēng)日趨激烈的情況下，為山西省郵政儲(chǔ)蓄業(yè)務(wù)的穩(wěn)定發(fā)展起到了重要作用。
5前景展望
隨著郵政業(yè)務(wù)的迅猛發(fā)展，市場(chǎng)競(jìng)爭(zhēng)日趨激烈，如何更好地做好技術(shù)支撐工作，為業(yè)務(wù)發(fā)展、經(jīng)營決策服務(wù)，是中國郵政亟需解決的重要課題。只有積極跟進(jìn)業(yè)務(wù)發(fā)展的實(shí)際需求，不斷拓展應(yīng)用功能，持續(xù)優(yōu)化大數(shù)據(jù)量處理效率，提升對(duì)復(fù)雜場(chǎng)景下數(shù)據(jù)流轉(zhuǎn)的支持力度，才能更加靈活、穩(wěn)定、高效地為業(yè)務(wù)經(jīng)營活動(dòng)提供支持，在信息技術(shù)推動(dòng)業(yè)務(wù)增長、提高企業(yè)經(jīng)營管理水平和節(jié)能增效等方面多出成果。
作者：吳家光 單位：中國郵政集團(tuán)公司山西省信息技術(shù)局
推薦閱讀：《中國郵政》(月刊)創(chuàng)刊于1976年，是由中華人民共和國國家郵政局主管、主辦，郵政綜合性刊物。集中反映我國郵政通信建設(shè)、業(yè)務(wù)技術(shù)發(fā)展?fàn)顩r、經(jīng)營管理、服務(wù)水平、職工生活、教育訓(xùn)練、古代郵驛和集郵等內(nèi)容。