每一種信息的來(lái)源或者形式，都可以稱為一種模態(tài)。例如，人有觸覺(jué)，聽(tīng)覺(jué)，視覺(jué)，嗅覺(jué)。多模態(tài)機(jī)器學(xué)習(xí)旨在通過(guò)機(jī)器學(xué)習(xí)的方法實(shí)現(xiàn)處理和理解多源模態(tài)信息的能力。多模態(tài)學(xué)習(xí)從1970年代起步，經(jīng)歷了幾個(gè)發(fā)展階段，在2010年后***步入深度學(xué)習(xí)(deeplearning)階段。在某種意義上，深度學(xué)習(xí)可以被看作是允許我們“混合和匹配”不同模型以創(chuàng)建復(fù)雜的深度多模態(tài)模型。目前，多模態(tài)數(shù)據(jù)融合主要有三種融合方式：前端融合(early-fusion)即數(shù)據(jù)水平融合(data-levelfusion)、后端融合(late-fusion)即決策水平融合(decision-levelfusion)以及中間融合(intermediate-fusion)。前端融合將多個(gè)**的數(shù)據(jù)集融合成一個(gè)單一的特征向量空間，然后將其用作機(jī)器學(xué)習(xí)算法的輸入，訓(xùn)練機(jī)器學(xué)習(xí)模型，如圖1所示。由于多模態(tài)數(shù)據(jù)的前端融合往往無(wú)法充分利用多個(gè)模態(tài)數(shù)據(jù)間的互補(bǔ)性，且前端融合的原始數(shù)據(jù)通常包含大量的冗余信息。因此，多模態(tài)前端融合方法常常與特征提取方法相結(jié)合以剔除冗余信息，基于領(lǐng)域經(jīng)驗(yàn)從每個(gè)模態(tài)中提取更高等別的特征表示，或者應(yīng)用深度學(xué)習(xí)算法直接學(xué)習(xí)特征表示，然后在特性級(jí)別上進(jìn)行融合。后端融合則是將不同模態(tài)數(shù)據(jù)分別訓(xùn)練好的分類器輸出決策進(jìn)行融合，如圖2所示。云計(jì)算與 AI 融合：深圳艾策的創(chuàng)新解決方案。第三方CMA軟件測(cè)評(píng)報(bào)告

    生成取值表。3把取值表與選擇的正交表進(jìn)行映射控件數(shù)Ln(取值數(shù))3個(gè)控件5個(gè)取值5的3次冪混合正交表當(dāng)控件的取值數(shù)目水平不一致時(shí)候，使用allp**rs工具生成1等價(jià)類劃分法劃分值2邊界值分析法邊界值3錯(cuò)誤推斷法經(jīng)驗(yàn)4因果圖分析法關(guān)系5判定表法條件和結(jié)果6流程圖法流程路徑梳理7場(chǎng)景法主要功能和業(yè)務(wù)的事件8正交表先關(guān)注主要功能和業(yè)務(wù)流程，業(yè)務(wù)邏輯是否正確實(shí)現(xiàn)，考慮場(chǎng)景法需要輸入數(shù)據(jù)的地方，考慮等價(jià)類劃分法+邊界值分析法，發(fā)現(xiàn)程序錯(cuò)誤的能力**強(qiáng)存在輸入條件的組合情況，考慮因果圖判定表法多種參數(shù)配置組合情況，正交表排列法采用錯(cuò)誤推斷法再追加測(cè)試用例。需求分析場(chǎng)景法分析主要功能輸入的等價(jià)類邊界值輸入的各種組合因果圖判定表多種參數(shù)配置正交表錯(cuò)誤推斷法經(jīng)驗(yàn)軟件缺陷軟件產(chǎn)品中存在的問(wèn)題，用戶所需要的功能沒(méi)有完全實(shí)現(xiàn)。軟件系統(tǒng)測(cè)評(píng)報(bào)告價(jià)格代碼質(zhì)量評(píng)估顯示注釋覆蓋率不足30%需加強(qiáng)。

    以備實(shí)際測(cè)試嚴(yán)重偏離計(jì)劃時(shí)使用。在TMM的定義級(jí)，測(cè)試過(guò)程中引入計(jì)劃能力，在TMM的集成級(jí)，測(cè)試過(guò)程引入控制和監(jiān)視活動(dòng)。兩者均為測(cè)試過(guò)程提供了可見(jiàn)性，為測(cè)試過(guò)程持續(xù)進(jìn)行提供保證。第四級(jí)管理和測(cè)量級(jí)在管理和測(cè)量級(jí)，測(cè)試活動(dòng)除測(cè)試被測(cè)程序外，還包括軟件生命周期中各個(gè)階段的評(píng)審，審查和追查，使測(cè)試活動(dòng)涵蓋了軟件驗(yàn)證和軟件確認(rèn)活動(dòng)。根據(jù)管理和測(cè)量級(jí)的要求，軟件工作產(chǎn)品以及與測(cè)試相關(guān)的工作產(chǎn)品，如測(cè)試計(jì)劃，測(cè)試設(shè)計(jì)和測(cè)試步驟都要經(jīng)過(guò)評(píng)審。因?yàn)闇y(cè)試是一個(gè)可以量化并度量的過(guò)程。為了測(cè)量測(cè)試過(guò)程，測(cè)試人員應(yīng)建立測(cè)試數(shù)據(jù)庫(kù)。收集和記錄各軟件工程項(xiàng)目中使用的測(cè)試用例，記錄缺陷并按缺陷的嚴(yán)重程度劃分等級(jí)。此外，所建立的測(cè)試規(guī)程應(yīng)能夠支持軟件組終對(duì)測(cè)試過(guò)程的控制和測(cè)量。管理和測(cè)量級(jí)有3個(gè)要實(shí)現(xiàn)的成熟度目標(biāo):建立**范圍內(nèi)的評(píng)審程序，建立測(cè)試過(guò)程的測(cè)量程序和軟件質(zhì)量評(píng)價(jià)。(I)建立**范圍內(nèi)的評(píng)審程序軟件**應(yīng)在軟件生命周期的各階段實(shí)施評(píng)審，以便盡早有效地識(shí)別，分類和消除軟件中的缺陷。建立評(píng)審程序有4個(gè)子目標(biāo):1)管理層要制訂評(píng)審政策支持評(píng)審過(guò)程。2)測(cè)試組和軟件質(zhì)量保證組要確定并文檔化整個(gè)軟件生命周期中的評(píng)審目標(biāo)，評(píng)審計(jì)劃。

    等價(jià)類劃分法將不能窮舉的測(cè)試過(guò)程進(jìn)行合理分類，從而保證設(shè)計(jì)出來(lái)的測(cè)試用例具有完整性和**性。有數(shù)據(jù)輸入的地方，可以使用等價(jià)類劃分法。從大量數(shù)據(jù)中挑選少量**數(shù)據(jù)進(jìn)行測(cè)試有效等價(jià)類：符合需求規(guī)格說(shuō)明書規(guī)定的數(shù)據(jù)用來(lái)測(cè)試功能是否正確實(shí)現(xiàn)無(wú)效等價(jià)類：不合理的輸入數(shù)據(jù)**—用來(lái)測(cè)試程序是否有強(qiáng)大的異常處理能力（健壯性）使用**少的測(cè)試數(shù)據(jù)，達(dá)到**好的測(cè)試質(zhì)量邊界值分析法對(duì)輸入或輸出的邊界值進(jìn)行測(cè)試的一種黑盒測(cè)試方法。是作為對(duì)等價(jià)類劃分法的補(bǔ)充，這種情況下，其測(cè)試用例來(lái)自等價(jià)類的邊界。邊界點(diǎn)1、邊界是指相對(duì)于輸入等價(jià)類和輸出等價(jià)類而言，稍高于、稍低于其邊界值的一些特定情況。2、邊界點(diǎn)分為上點(diǎn)、內(nèi)點(diǎn)和離點(diǎn)。如果是范圍[1,100]需要選擇0,1,2,50,99,100,101如果是個(gè)數(shù)**多20個(gè)[0,20]需要測(cè)0,10,20，-1,21因果圖分析法用畫圖的方式表達(dá)輸入條件和輸出結(jié)果之間的關(guān)系。1恒等2與3或4非5互斥1個(gè)或者不選6***必須是1個(gè)7包含可以多選不能不選8要求如果a=1，則要求b必須是1，反之如果a=0時(shí)，b的值無(wú)所謂9**關(guān)系當(dāng)a=1時(shí)，要求b必須為0；而當(dāng)a=0時(shí)。第三方測(cè)評(píng)顯示軟件運(yùn)行穩(wěn)定性達(dá)99.8%，未發(fā)現(xiàn)重大系統(tǒng)崩潰隱患。

    沒(méi)有滿足用戶的需求1未達(dá)到需求規(guī)格說(shuō)明書表明的功能2出現(xiàn)了需求規(guī)格說(shuō)明書指明不會(huì)出現(xiàn)的錯(cuò)誤3軟件功能超出了需求規(guī)格說(shuō)明書指明的范圍4軟件質(zhì)量不夠高維護(hù)性移植性效率性可靠性易用性功能性健壯性等5軟件未達(dá)到軟件需求規(guī)格說(shuō)明書未指出但是應(yīng)該達(dá)到的目標(biāo)計(jì)算器沒(méi)電了下次還得能正常使用6測(cè)試或用戶覺(jué)得不好軟件缺陷的表現(xiàn)形式1功能沒(méi)有完全實(shí)現(xiàn)2產(chǎn)品的實(shí)際結(jié)果和所期望的結(jié)果不一致3沒(méi)有達(dá)到需求規(guī)格說(shuō)明書所規(guī)定的的性能指標(biāo)等4運(yùn)行出錯(cuò)斷電運(yùn)行終端系統(tǒng)崩潰5界面排版重點(diǎn)不突出，格式不統(tǒng)一6用戶不能接受的其他問(wèn)題軟件缺陷產(chǎn)生的原因需求錯(cuò)誤需求記錄錯(cuò)誤設(shè)計(jì)說(shuō)明錯(cuò)誤代碼錯(cuò)誤兼容性錯(cuò)誤時(shí)間不充足缺陷的信息缺陷id缺陷標(biāo)題缺陷嚴(yán)重程度缺陷的優(yōu)先級(jí)缺陷的所屬模塊缺陷的詳細(xì)描述缺陷提交時(shí)間缺陷的嚴(yán)重程度劃分1blocker系統(tǒng)癱瘓異常退出計(jì)算錯(cuò)誤大部分功能不能使用死機(jī)2major功能點(diǎn)不符合用戶需求數(shù)據(jù)丟失3normal**功能特定調(diào)點(diǎn)斷斷續(xù)續(xù)4Trivial細(xì)小的錯(cuò)誤優(yōu)先級(jí)劃分緊急高中低。性能基準(zhǔn)測(cè)試GPU利用率未達(dá)理論最大值67%。golang代碼審計(jì)

壓力測(cè)試表明系統(tǒng)在5000并發(fā)用戶時(shí)響應(yīng)延遲激增300%。第三方CMA軟件測(cè)評(píng)報(bào)告

    先將訓(xùn)練樣本的dll和api信息特征視圖、格式信息特征視圖以及字節(jié)碼n-grams特征視圖分別輸入至一個(gè)深度神經(jīng)網(wǎng)絡(luò)中抽取高等特征表示，然后合并抽取的高等特征表示并將其作為下一個(gè)深度神經(jīng)網(wǎng)絡(luò)的輸入進(jìn)行模型訓(xùn)練，得到多模態(tài)深度集成模型。進(jìn)一步的，所述多模態(tài)深度集成模型的隱藏層的***函數(shù)采用relu，輸出層的***函數(shù)采用sigmoid，中間使用dropout層進(jìn)行正則化，優(yōu)化器采用adagrad。進(jìn)一步的，所述訓(xùn)練得到的多模態(tài)深度集成模型中，用于抽取dll和api信息特征視圖的深度神經(jīng)網(wǎng)絡(luò)包含3個(gè)隱含層，且3個(gè)隱含層中間間隔設(shè)置有dropout層；用于抽取格式信息特征視圖的深度神經(jīng)網(wǎng)絡(luò)包含2個(gè)隱含層，且2個(gè)隱含層中間設(shè)置有dropout層；用于抽取字節(jié)碼n-grams特征視圖的深度神經(jīng)網(wǎng)絡(luò)包含4個(gè)隱含層，且4個(gè)隱含層中間間隔設(shè)置有dropout層；用于輸入合并抽取的高等特征表示的深度神經(jīng)網(wǎng)絡(luò)包含2個(gè)隱含層，且2個(gè)隱含層中間設(shè)置有dropout層；所述dropout層的dropout率均等于。本發(fā)明實(shí)施例的有益效果是，提出了一種基于多模態(tài)深度學(xué)習(xí)的惡意軟件檢測(cè)方法，應(yīng)用了多模態(tài)深度學(xué)習(xí)方法來(lái)融合dll和api、格式結(jié)構(gòu)信息、字節(jié)碼n-grams特征。第三方CMA軟件測(cè)評(píng)報(bào)告