本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種基于深度學(xué)習(xí)的大數(shù)據(jù)系統(tǒng)配置參數(shù)調(diào)優(yōu)的方法和系統(tǒng)。

背景技術(shù)：

近年來，大數(shù)據(jù)探索和分析在各個(gè)領(lǐng)域蓬勃發(fā)展。大數(shù)據(jù)系統(tǒng)可分為3個(gè)層次：(1)基礎(chǔ)層：即基礎(chǔ)數(shù)據(jù)加工層，將硬件資源分配給支持計(jì)算任務(wù)的執(zhí)行平臺(tái)層；(2)平臺(tái)層：即核心業(yè)務(wù)層，既為應(yīng)用層提供了一個(gè)易于處理數(shù)據(jù)集的接口，又能管理基礎(chǔ)設(shè)施層分配的資源；(3)應(yīng)用層：即預(yù)測結(jié)果輸出層，預(yù)測出專家決策，給出大數(shù)據(jù)分析結(jié)果。

平臺(tái)層在大數(shù)據(jù)系統(tǒng)中起到了承上啟下的作用，也是一個(gè)大數(shù)據(jù)系統(tǒng)的核心部分。hadoop系統(tǒng)中的mapreduce(映射規(guī)約)就是平臺(tái)層中的一種模型。hadoop是一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力進(jìn)行高速運(yùn)算和存儲(chǔ)。mapreduce是hadoop下的一種編程模型，用于大規(guī)模數(shù)據(jù)集(大于1tb)的并行運(yùn)算。他極大地方便了編程人員在不會(huì)分布式并行編程的情況下，將自己的程序運(yùn)行在分布式系統(tǒng)上。hadoop的mapreduce功能實(shí)現(xiàn)了將單個(gè)任務(wù)打碎，并將映射任務(wù)(map)發(fā)送到多個(gè)節(jié)點(diǎn)上，之后再以單個(gè)數(shù)據(jù)集的形式加載規(guī)約(reduce)到數(shù)據(jù)倉庫里。

配置參數(shù)設(shè)置對(duì)mapreduce工作性能有很大的影響。優(yōu)質(zhì)的配置參數(shù)使mapreduce工作出色，而配置參數(shù)錯(cuò)誤是hadoop的mapreduce系統(tǒng)性能退化和導(dǎo)致系統(tǒng)失效的主要原因。為了幫助平臺(tái)管理員優(yōu)化系統(tǒng)性能，需要調(diào)整配置參數(shù)處理不同的特點(diǎn)，不同的程序和不同的輸入數(shù)據(jù)，以追求更快的工作表現(xiàn)。傳統(tǒng)方法中，管理員對(duì)配置參數(shù)進(jìn)行逐個(gè)調(diào)節(jié)，或利用線性回歸，對(duì)參數(shù)進(jìn)行配置，提取參數(shù)特征，根據(jù)mapreduce作業(yè)性能表現(xiàn)，從而給出近似最優(yōu)解，預(yù)測配置參數(shù)以達(dá)到更好的工作性能。

然而，管理員管理hadoop系統(tǒng)時(shí)存在兩大難題：(1)因?yàn)榇笠?guī)模分布式系統(tǒng)的行為和特點(diǎn)過于復(fù)雜，難以找到適當(dāng)?shù)呐渲脜?shù)；(2)系統(tǒng)中存在數(shù)百參數(shù)，主要影響系統(tǒng)性能的配置參數(shù)有幾十個(gè)，使配置參數(shù)調(diào)優(yōu)變得麻煩。傳統(tǒng)方法中，人工方法或者利用回歸自動(dòng)調(diào)參，非常復(fù)雜繁瑣，參數(shù)調(diào)節(jié)需要消耗大量時(shí)間，且所得效果不是很好，系統(tǒng)整體工作需要消耗很長時(shí)間。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明要解決的技術(shù)問題在于，針對(duì)現(xiàn)有技術(shù)中人工方法或者利用回歸自動(dòng)調(diào)節(jié)配置參數(shù)的效率低且效果差的缺陷，提供一種基于深度學(xué)習(xí)的大數(shù)據(jù)系統(tǒng)配置參數(shù)調(diào)優(yōu)的方法和系統(tǒng)。

本發(fā)明第一方面，提供了一種基于深度學(xué)習(xí)的大數(shù)據(jù)系統(tǒng)配置參數(shù)調(diào)優(yōu)的方法，包括神經(jīng)網(wǎng)絡(luò)訓(xùn)練步驟與配置參數(shù)預(yù)測步驟；其中，

所述神經(jīng)網(wǎng)絡(luò)訓(xùn)練步驟包括以下步驟：

步驟1-1、初步構(gòu)建深度神經(jīng)網(wǎng)絡(luò)，其中以至少一個(gè)映射規(guī)約參數(shù)作為輸入?yún)?shù)，以待預(yù)測出最優(yōu)配置參數(shù)作為輸出參數(shù)，以大數(shù)據(jù)系統(tǒng)的歷史數(shù)據(jù)作為訓(xùn)練樣本集；

步驟1-2、以映射規(guī)約時(shí)間作為該深度神經(jīng)網(wǎng)絡(luò)的衡量標(biāo)準(zhǔn)，基于反向傳播思想的參數(shù)學(xué)習(xí)規(guī)則對(duì)每層神經(jīng)元的權(quán)值進(jìn)行調(diào)整，直至映射規(guī)約時(shí)間滿足時(shí)間成本要求；

所述配置參數(shù)預(yù)測步驟包括以下步驟：

步驟2-1、設(shè)定所述至少一個(gè)映射規(guī)約參數(shù)的初始值，并讀取當(dāng)前測試數(shù)據(jù)；

步驟2-2、將所述至少一個(gè)映射規(guī)約參數(shù)的初始值和當(dāng)前測試數(shù)據(jù)輸入到經(jīng)由神經(jīng)網(wǎng)絡(luò)訓(xùn)練步驟得到的深度神經(jīng)網(wǎng)絡(luò)中，得到用于基于深度學(xué)習(xí)的大數(shù)據(jù)系統(tǒng)的配置參數(shù)。

在根據(jù)本發(fā)明所述的基于深度學(xué)習(xí)的大數(shù)據(jù)系統(tǒng)配置參數(shù)調(diào)優(yōu)的方法中，所述至少一個(gè)映射規(guī)約參數(shù)的數(shù)量為2～20個(gè)。

本發(fā)明第二方面，提供了一種基于深度學(xué)習(xí)的大數(shù)據(jù)系統(tǒng)配置參數(shù)調(diào)優(yōu)的系統(tǒng)，包括神經(jīng)網(wǎng)絡(luò)訓(xùn)練模塊與配置參數(shù)預(yù)測模塊；其中，

所述神經(jīng)網(wǎng)絡(luò)訓(xùn)練模塊用于初步構(gòu)建深度神經(jīng)網(wǎng)絡(luò)，其中以至少一個(gè)映射規(guī)約參數(shù)作為輸入?yún)?shù)，以待預(yù)測出最優(yōu)配置參數(shù)作為輸出參數(shù)，以大數(shù)據(jù)系統(tǒng)的歷史數(shù)據(jù)作為訓(xùn)練樣本集；并以映射規(guī)約時(shí)間作為該深度神經(jīng)網(wǎng)絡(luò)的衡量標(biāo)準(zhǔn)，基于反向傳播思想的參數(shù)學(xué)習(xí)規(guī)則對(duì)每層神經(jīng)元的權(quán)值進(jìn)行調(diào)整，直至映射規(guī)約時(shí)間滿足時(shí)間成本要求；

所述配置參數(shù)預(yù)測模塊用于將設(shè)定的所述至少一個(gè)映射規(guī)約參數(shù)的初始值和當(dāng)前測試數(shù)據(jù)輸入到經(jīng)由神經(jīng)網(wǎng)絡(luò)訓(xùn)練步驟得到的深度神經(jīng)網(wǎng)絡(luò)中，得到用于基于深度學(xué)習(xí)的大數(shù)據(jù)系統(tǒng)的配置參數(shù)。

在根據(jù)本發(fā)明所述的基于深度學(xué)習(xí)的大數(shù)據(jù)系統(tǒng)配置參數(shù)調(diào)優(yōu)的系統(tǒng)中，所述至少一個(gè)映射規(guī)約參數(shù)的數(shù)量為2～20個(gè)。

實(shí)施本發(fā)明的基于深度學(xué)習(xí)的大數(shù)據(jù)系統(tǒng)配置參數(shù)調(diào)優(yōu)的方法及系統(tǒng)，具有以下有益效果：本發(fā)明通過深度神經(jīng)網(wǎng)絡(luò)對(duì)映射規(guī)約框架中的配置參數(shù)進(jìn)行調(diào)優(yōu)，避免了人工調(diào)節(jié)，尋找最優(yōu)參數(shù)的難題，通過對(duì)歷史參數(shù)的學(xué)習(xí)，能夠更深層次地獲得各配置參數(shù)自身特點(diǎn)，及相互之間關(guān)系，通過深度網(wǎng)絡(luò)的多次學(xué)習(xí)，權(quán)值更新，網(wǎng)絡(luò)預(yù)測得到最適合應(yīng)用層應(yīng)用需求的參數(shù)配置。本發(fā)明不僅節(jié)省了參數(shù)調(diào)節(jié)的時(shí)間，合適系統(tǒng)的參數(shù)使系統(tǒng)工作時(shí)間分配給壓縮解壓縮數(shù)據(jù)，從而大大降低寫入和傳輸時(shí)間，使整體系統(tǒng)工作既能快速完成，又能達(dá)到更好的工作效果。

附圖說明

圖1為根據(jù)本發(fā)明優(yōu)選實(shí)施例的基于深度學(xué)習(xí)的大數(shù)據(jù)系統(tǒng)配置參數(shù)調(diào)優(yōu)的方法流程圖；

圖2為根據(jù)本發(fā)明優(yōu)選實(shí)施例的方法中神經(jīng)網(wǎng)絡(luò)訓(xùn)練步驟的流程示意圖；

圖3為根據(jù)本發(fā)明優(yōu)選實(shí)施例的基于深度學(xué)習(xí)的大數(shù)據(jù)系統(tǒng)配置參數(shù)調(diào)優(yōu)的系統(tǒng)的模塊框圖。

具體實(shí)施方式

為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是本發(fā)明的一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)的前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

本發(fā)明提供了一種利用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行大數(shù)據(jù)網(wǎng)絡(luò)配置參數(shù)調(diào)優(yōu)的方法，將深度神經(jīng)網(wǎng)絡(luò)框架引入到配置參數(shù)環(huán)節(jié)中，既節(jié)約時(shí)間成本，又能達(dá)到良好的工作效果。本發(fā)明主要針對(duì)大數(shù)據(jù)系統(tǒng)的映射任務(wù)(maptask)和規(guī)約任務(wù)(reducetask)中參數(shù)進(jìn)行學(xué)習(xí)和優(yōu)化配置。映射規(guī)約(mapreduce)是一個(gè)復(fù)雜的流程，下面先對(duì)映射規(guī)約的工作流程進(jìn)行簡單介紹，規(guī)約映射的主要步驟如下：

(一)map端(映射端)工作過程

(1)每個(gè)輸入分片會(huì)讓一個(gè)map任務(wù)(映射任務(wù))來處理，以分布式文件系統(tǒng)(hdfs)的一個(gè)塊的大小(初始值為64m)為一個(gè)分片。map輸出的結(jié)果會(huì)暫且放在一個(gè)環(huán)形內(nèi)存緩沖區(qū)中，該緩沖區(qū)的大小初始值為100m，由io.sort.mb屬性控制。當(dāng)該緩沖區(qū)快要溢出時(shí)(初始設(shè)置為緩沖區(qū)大小的80％，由io.sort.spill.percent屬性控制)，會(huì)在本地文件系統(tǒng)中創(chuàng)建一個(gè)溢出文件，將該緩沖區(qū)中的數(shù)據(jù)寫入這個(gè)文件。

(2)在寫入磁盤之前，線程首先根據(jù)reduce任務(wù)(規(guī)約任務(wù))的數(shù)目將數(shù)據(jù)劃分為相同數(shù)目的分區(qū)，也就是一個(gè)reduce任務(wù)對(duì)應(yīng)一個(gè)分區(qū)的數(shù)據(jù)。然后對(duì)每個(gè)分區(qū)中的數(shù)據(jù)進(jìn)行排序，設(shè)置combiner，將排序后的結(jié)果進(jìn)行combia(合并)操作。

(3)當(dāng)map任務(wù)輸出最后一個(gè)記錄時(shí)，可能會(huì)有很多的溢出文件，這時(shí)需要將這些文件合并。合并的過程中會(huì)不斷地進(jìn)行排序和combia(合并)操作。

(4)將分區(qū)中的數(shù)據(jù)傳輸給相對(duì)應(yīng)的reduce任務(wù)。

(二)reduce端(規(guī)約端)工作過程

(1)reduce會(huì)接收到不同map任務(wù)傳來的數(shù)據(jù)，并且每個(gè)map傳來的數(shù)據(jù)都是有序的。如果reduce端接受的數(shù)據(jù)量相當(dāng)小，則直接存儲(chǔ)在內(nèi)存中(緩沖區(qū)大小，由mapred.job.shuffle.input.buffer.percent屬性控制，表示用作此用途的堆空間的百分比)。如果數(shù)據(jù)量超過了該緩沖區(qū)大小的一定比例(由mapred.job.shuffle.merge.percent決定)，則對(duì)數(shù)據(jù)合并后溢寫到磁盤中。

(2)執(zhí)行應(yīng)用程序?qū)佣x的化簡程序，最終輸出數(shù)據(jù)。按需要壓縮，寫入最終輸出到hdfs。

請(qǐng)參閱圖1，為根據(jù)本發(fā)明優(yōu)選實(shí)施例的基于深度學(xué)習(xí)的大數(shù)據(jù)系統(tǒng)配置參數(shù)調(diào)優(yōu)的方法流程圖。如圖1所示，該實(shí)施例提供的基于深度學(xué)習(xí)的大數(shù)據(jù)系統(tǒng)配置參數(shù)調(diào)優(yōu)的方法主要包括神經(jīng)網(wǎng)絡(luò)訓(xùn)練步驟與配置參數(shù)預(yù)測步驟：

首先，在步驟s101至s102中執(zhí)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練步驟，構(gòu)造深度神經(jīng)網(wǎng)絡(luò)，以管理員提供的歷史工作狀態(tài)為訓(xùn)練集，以預(yù)測出的最優(yōu)配置參數(shù)為輸出。并以(映射規(guī)約)mapreduce的時(shí)間成本為網(wǎng)絡(luò)結(jié)構(gòu)最終衡量標(biāo)準(zhǔn)，不斷反饋調(diào)整結(jié)構(gòu)，得到最終深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。具體如下：

步驟s101，初步構(gòu)建深度神經(jīng)網(wǎng)絡(luò)，其中以至少一個(gè)映射規(guī)約參數(shù)作為輸入?yún)?shù)，以待預(yù)測出最優(yōu)配置參數(shù)作為輸出參數(shù)，以大數(shù)據(jù)系統(tǒng)的歷史數(shù)據(jù)作為訓(xùn)練樣本集。該大數(shù)據(jù)系統(tǒng)的歷史數(shù)據(jù)具體為管理員提供的歷史工作狀態(tài)。優(yōu)選地，所述至少一個(gè)映射規(guī)約參數(shù)可以從以下重要參數(shù)表格1中選取一個(gè)或多個(gè)。在具體應(yīng)用中，根據(jù)不同情況，從系統(tǒng)管理員處獲得對(duì)系統(tǒng)影響最大的20個(gè)參數(shù)加入輸入輸出列表，選取參數(shù)如下表1所示。該至少一個(gè)映射規(guī)約參數(shù)的數(shù)量優(yōu)選為2～20個(gè)。

表格1重要參數(shù)表

步驟s102，以映射規(guī)約時(shí)間作為該深度神經(jīng)網(wǎng)絡(luò)的衡量標(biāo)準(zhǔn)，基于反向傳播思想的參數(shù)學(xué)習(xí)規(guī)則對(duì)每層神經(jīng)元的權(quán)值進(jìn)行調(diào)整，直至映射規(guī)約時(shí)間滿足時(shí)間成本要求。該步驟中以mapreduce的時(shí)間成本為網(wǎng)絡(luò)結(jié)構(gòu)最終衡量標(biāo)準(zhǔn)，不斷反饋調(diào)整結(jié)構(gòu)，得到最終深度神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。

隨后，在步驟s103至s104中執(zhí)行配置參數(shù)預(yù)測步驟，利用得到的深度神經(jīng)網(wǎng)絡(luò)預(yù)測出使工作效果最佳的配置參數(shù)。具體如下：

步驟s103，設(shè)定所述至少一個(gè)映射規(guī)約參數(shù)的初始值，并讀取當(dāng)前測試數(shù)據(jù)。

步驟s104，將所述至少一個(gè)映射規(guī)約參數(shù)的初始值和當(dāng)前測試數(shù)據(jù)輸入到經(jīng)由神經(jīng)網(wǎng)絡(luò)訓(xùn)練步驟得到的深度神經(jīng)網(wǎng)絡(luò)中，得到用于基于深度學(xué)習(xí)的大數(shù)據(jù)系統(tǒng)的配置參數(shù)。

由此可見，本發(fā)明在初始化映射(map)任務(wù)和規(guī)約(reduce)任務(wù)參數(shù)后，引入深度神經(jīng)網(wǎng)絡(luò)，訓(xùn)練集來源是歷史任務(wù)日志，對(duì)歷史參數(shù)進(jìn)行學(xué)習(xí)，半監(jiān)督學(xué)習(xí)，通過已知的歷史工作狀態(tài)，對(duì)工作性能的反饋，得出深度神經(jīng)網(wǎng)絡(luò)內(nèi)部的參數(shù)，從而預(yù)測并優(yōu)化出，針對(duì)不同的程序和不同的輸入數(shù)據(jù)都能達(dá)到最優(yōu)工作表現(xiàn)的配置參數(shù)。

請(qǐng)結(jié)合參閱圖2，為根據(jù)本發(fā)明優(yōu)選實(shí)施例的方法中神經(jīng)網(wǎng)絡(luò)訓(xùn)練步驟的流程示意圖。如圖2所示，該神經(jīng)網(wǎng)絡(luò)訓(xùn)練步驟包括：

首先，在步驟s201中，流程開始；

隨后，在步驟s202中，初步構(gòu)建深度神經(jīng)網(wǎng)絡(luò)。該深度神經(jīng)網(wǎng)絡(luò)為利用反向傳播的普通深層神經(jīng)網(wǎng)絡(luò)。具體地，該步驟中構(gòu)建以映射規(guī)約參數(shù)為輸入?yún)?shù)的五層深度神經(jīng)網(wǎng)絡(luò)，以待預(yù)測出最優(yōu)配置參數(shù)作為輸出參數(shù)，前述五層網(wǎng)絡(luò)分別包括輸入層、輸出層和三個(gè)隱層。

隨后，在步驟s203中，將大數(shù)據(jù)系統(tǒng)的歷史數(shù)據(jù)作為訓(xùn)練樣本集輸入深度神經(jīng)網(wǎng)絡(luò)。輸入訓(xùn)練樣本x，隱層輸出為x^l＝f(u^l)，其中u^l＝w^lx^l-1+b^l，其中，函數(shù)f代表輸出激活函數(shù)，w代表權(quán)值，b代表偏置項(xiàng)，l表示第1層。因map和reduce過程中參數(shù)不能無限擴(kuò)大，具有一定范圍，因此需要固定b為參數(shù)上限。

隨后，在步驟s204中，判斷映射規(guī)約時(shí)間是否滿足時(shí)間成本要求。使用平方誤差代價(jià)函數(shù)來衡量誤差，假定輸出參數(shù)類別為c，訓(xùn)練樣本集中共n個(gè)訓(xùn)練樣本，則映射規(guī)約時(shí)間與規(guī)定時(shí)間成本t之間的誤差eⁿ為：其中，為第n個(gè)訓(xùn)練樣本的目標(biāo)輸出的第k維，為第n個(gè)樣本對(duì)應(yīng)的實(shí)際輸出的第k維，c＝20。計(jì)算各層網(wǎng)絡(luò)之間的誤差，當(dāng)誤差小于預(yù)設(shè)閾值時(shí)轉(zhuǎn)步驟s206保存該深度神經(jīng)網(wǎng)絡(luò)，否則轉(zhuǎn)步驟s205調(diào)整每層神經(jīng)元的權(quán)值。

在步驟s205中，調(diào)整每層神經(jīng)元的權(quán)值。具體地，該步驟中通過神經(jīng)元的靈敏度δ來對(duì)每層神經(jīng)元的權(quán)值w進(jìn)行縮放，最終得到是e最小的權(quán)值：

其中，且第l層的靈敏度：δ^l＝(w^l+1)^tδ^l+1οf'(u^l)；輸出層的神經(jīng)元的靈敏度為：δ^l＝f'(u^l)·(yⁿ-tⁿ)，其中l(wèi)表示總層數(shù)，yⁿ為第n個(gè)神經(jīng)元的實(shí)際輸出，tⁿ為第n個(gè)神經(jīng)元的目標(biāo)輸出。

在步驟s206中，保存該深度神經(jīng)網(wǎng)絡(luò)；

最后，在步驟s207中，該神經(jīng)網(wǎng)絡(luò)訓(xùn)練步驟的流程結(jié)束。

本發(fā)明中以規(guī)約映射時(shí)間和配置參數(shù)均作為輸出，規(guī)約映射時(shí)間可以理解為中間過程中的輸出，配置參數(shù)是我們最重要記錄并使用的輸出，根據(jù)輸出時(shí)間和理想時(shí)間比較誤差后調(diào)整權(quán)值，在調(diào)整權(quán)值后不僅改變了時(shí)間的輸出，也改變了配置參數(shù)的輸出，因此可以得到時(shí)間最優(yōu)時(shí)的配置參數(shù)。

請(qǐng)參閱圖3，為根據(jù)本發(fā)明優(yōu)選實(shí)施例的基于深度學(xué)習(xí)的大數(shù)據(jù)系統(tǒng)配置參數(shù)調(diào)優(yōu)的系統(tǒng)的模塊框圖。如圖3所示，該實(shí)施例提供的基于深度學(xué)習(xí)的大數(shù)據(jù)系統(tǒng)配置參數(shù)調(diào)優(yōu)的系統(tǒng)300包括神經(jīng)網(wǎng)絡(luò)訓(xùn)練模塊301與配置參數(shù)預(yù)測模塊302。

其中，神經(jīng)網(wǎng)絡(luò)訓(xùn)練模塊301用于初步構(gòu)建深度神經(jīng)網(wǎng)絡(luò)，其中以至少一個(gè)映射規(guī)約參數(shù)作為輸入?yún)?shù)，以待預(yù)測出最優(yōu)配置參數(shù)作為輸出參數(shù)，以大數(shù)據(jù)系統(tǒng)的歷史數(shù)據(jù)作為訓(xùn)練樣本集；并以映射規(guī)約時(shí)間作為該深度神經(jīng)網(wǎng)絡(luò)的衡量標(biāo)準(zhǔn)，基于反向傳播思想的參數(shù)學(xué)習(xí)規(guī)則對(duì)每層神經(jīng)元的權(quán)值進(jìn)行調(diào)整，直至映射規(guī)約時(shí)間滿足時(shí)間成本要求。優(yōu)選地，所述至少一個(gè)映射規(guī)約參數(shù)可以從重表格中選取一個(gè)或多個(gè)。該至少一個(gè)映射規(guī)約參數(shù)的數(shù)量優(yōu)選為2～20個(gè)。

具體地，該神經(jīng)網(wǎng)絡(luò)訓(xùn)練模塊301構(gòu)建以映射規(guī)約參數(shù)為輸入?yún)?shù)的五層深度神經(jīng)網(wǎng)絡(luò)，以待預(yù)測出最優(yōu)配置參數(shù)作為輸出參數(shù)，所述五層網(wǎng)絡(luò)分別包括輸入層、輸出層和三個(gè)隱層，輸入訓(xùn)練樣本x，隱層輸出為x^l＝f(u^l)，其中u^l＝w^lx^l-1+b^l，函數(shù)f代表輸出激活函數(shù)，w代表權(quán)值，b代表偏置項(xiàng)，l表示第1層。

該神經(jīng)網(wǎng)絡(luò)訓(xùn)練模塊301還使用平方誤差代價(jià)函數(shù)來衡量誤差，假定輸出參數(shù)類別為c，訓(xùn)練樣本集中共n個(gè)訓(xùn)練樣本，則映射規(guī)約時(shí)間與規(guī)定時(shí)間成本t之間的誤差eⁿ為：其中，為第n個(gè)訓(xùn)練樣本的目標(biāo)輸出的第k維，為第n個(gè)樣本對(duì)應(yīng)的實(shí)際輸出的第k維。

隨后計(jì)算各層網(wǎng)絡(luò)之間的誤差，當(dāng)誤差小于預(yù)設(shè)閾值時(shí)保存該深度神經(jīng)網(wǎng)絡(luò)，否則通過神經(jīng)元的靈敏度δ來對(duì)每層神經(jīng)元的權(quán)值w進(jìn)行縮放：

其中，且第l層的靈敏度：δ^l＝(w^l+1)^tδ^l+1οf'(u^l)；輸出層的神經(jīng)元的靈敏度為：δ^l＝f'(u^l)·(yⁿ-tⁿ)，其中l(wèi)表示總層數(shù)，yⁿ為第n個(gè)神經(jīng)元的實(shí)際輸出，tⁿ為第n個(gè)神經(jīng)元的目標(biāo)輸出。

配置參數(shù)預(yù)測模塊302與神經(jīng)網(wǎng)絡(luò)訓(xùn)練模塊301連接，用于將設(shè)定的所述至少一個(gè)映射規(guī)約參數(shù)的初始值和當(dāng)前測試數(shù)據(jù)輸入到經(jīng)由神經(jīng)網(wǎng)絡(luò)訓(xùn)練步驟得到的深度神經(jīng)網(wǎng)絡(luò)中，得到用于基于深度學(xué)習(xí)的大數(shù)據(jù)系統(tǒng)的配置參數(shù)。

綜上所述，采用本發(fā)明采用深度神經(jīng)網(wǎng)絡(luò)對(duì)映射規(guī)約(mapreduce)框架中的配置參數(shù)進(jìn)行調(diào)優(yōu)，避免了人工調(diào)節(jié)，尋找最優(yōu)參數(shù)的難題，通過對(duì)歷史參數(shù)的學(xué)習(xí)，能夠更深層次地獲得各配置參數(shù)自身特點(diǎn)，及相互之間關(guān)系，通過深度網(wǎng)絡(luò)的多次學(xué)習(xí)，權(quán)值更新，網(wǎng)絡(luò)預(yù)測得到最適合應(yīng)用層應(yīng)用需求的參數(shù)配置。本發(fā)明不僅節(jié)省了參數(shù)調(diào)節(jié)的時(shí)間，合適系統(tǒng)的參數(shù)使系統(tǒng)工作時(shí)間分配給壓縮解壓縮數(shù)據(jù)，從而大大降低寫入和傳輸時(shí)間，使整體系統(tǒng)工作既能快速完成，又能達(dá)到更好的工作效果。同時(shí)針對(duì)不同基礎(chǔ)層輸入數(shù)據(jù)和應(yīng)用層提出的應(yīng)用要求，都能自主學(xué)習(xí)，具有較強(qiáng)的適應(yīng)性。

最后應(yīng)說明的是：以上實(shí)施例僅用以說明本發(fā)明的技術(shù)方案，而非對(duì)其限制；盡管參照前述實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解：其依然可以對(duì)前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改，或者對(duì)其中部分技術(shù)特征進(jìn)行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技術(shù)方案的精神和范圍。