每一種信息的來(lái)源或者形式，都可以稱為一種模態(tài)。例如，人有觸覺(jué)，聽(tīng)覺(jué)，視覺(jué)，嗅覺(jué)。多模態(tài)機(jī)器學(xué)習(xí)旨在通過(guò)機(jī)器學(xué)習(xí)的方法實(shí)現(xiàn)處理和理解多源模態(tài)信息的能力。多模態(tài)學(xué)習(xí)從1970年代起步，經(jīng)歷了幾個(gè)發(fā)展階段，在2010年后***步入深度學(xué)習(xí)(deeplearning)階段。在某種意義上，深度學(xué)習(xí)可以被看作是允許我們“混合和匹配”不同模型以創(chuàng)建復(fù)雜的深度多模態(tài)模型。目前，多模態(tài)數(shù)據(jù)融合主要有三種融合方式：前端融合(early-fusion)即數(shù)據(jù)水平融合(data-levelfusion)、后端融合(late-fusion)即決策水平融合(decision-levelfusion)以及中間融合(intermediate-fusion)。前端融合將多個(gè)**的數(shù)據(jù)集融合成一個(gè)單一的特征向量空間，然后將其用作機(jī)器學(xué)習(xí)算法的輸入，訓(xùn)練機(jī)器學(xué)習(xí)模型，如圖1所示。由于多模態(tài)數(shù)據(jù)的前端融合往往無(wú)法充分利用多個(gè)模態(tài)數(shù)據(jù)間的互補(bǔ)性，且前端融合的原始數(shù)據(jù)通常包含大量的冗余信息。因此，多模態(tài)前端融合方法常常與特征提取方法相結(jié)合以剔除冗余信息，基于領(lǐng)域經(jīng)驗(yàn)從每個(gè)模態(tài)中提取更高等別的特征表示，或者應(yīng)用深度學(xué)習(xí)算法直接學(xué)習(xí)特征表示，然后在特性級(jí)別上進(jìn)行融合。后端融合則是將不同模態(tài)數(shù)據(jù)分別訓(xùn)練好的分類器輸出決策進(jìn)行融合，如圖2所示。壓力測(cè)試表明系統(tǒng)在5000并發(fā)用戶時(shí)響應(yīng)延遲激增300%。源代碼審計(jì)報(bào)告包含哪些內(nèi)容呢

    并將測(cè)試樣本的dll和api信息特征視圖、格式信息特征視圖以及字節(jié)碼n-grams特征視圖輸入步驟s2訓(xùn)練得到的多模態(tài)深度集成模型中，對(duì)測(cè)試樣本進(jìn)行檢測(cè)并得出檢測(cè)結(jié)果。實(shí)驗(yàn)結(jié)果與分析(1)樣本數(shù)據(jù)集選取實(shí)驗(yàn)評(píng)估使用了不同時(shí)期的惡意軟件和良性軟件樣本，包含了7871個(gè)良性軟件樣本和8269個(gè)惡意軟件樣本，其中4103個(gè)惡意軟件樣本是2011年以前發(fā)現(xiàn)的，4166個(gè)惡意軟件樣本是近年來(lái)新發(fā)現(xiàn)的；3918個(gè)良性軟件樣本是從全新安裝的windowsxpsp3系統(tǒng)中收集的，3953個(gè)良性軟件樣本是從全新安裝的32位windows7系統(tǒng)中收集的。所有的惡意軟件樣本都是從vxheavens網(wǎng)站中收集的，所有的樣本格式都是windowspe格式的，樣本數(shù)據(jù)集構(gòu)成如表1所示。表1樣本數(shù)據(jù)集類別惡意軟件樣本良性軟件樣本早期樣本41033918近期樣本41663953合計(jì)82697871(2)評(píng)價(jià)指標(biāo)及方法分類性能主要用兩個(gè)指標(biāo)來(lái)評(píng)估：準(zhǔn)確率和對(duì)數(shù)損失。準(zhǔn)確率測(cè)量所有預(yù)測(cè)中正確預(yù)測(cè)的樣本占總樣本的比例，*憑準(zhǔn)確率通常不足以評(píng)估預(yù)測(cè)的魯棒性，因此還需要使用對(duì)數(shù)損失。對(duì)數(shù)損失(logarithmicloss)，也稱交叉熵?fù)p失(cross-entropyloss)，是在概率估計(jì)上定義的，用于測(cè)量預(yù)測(cè)類別與真實(shí)類別之間的差距大小。重慶第三方軟件檢測(cè)單位艾策檢測(cè)針對(duì)智能穿戴設(shè)備開(kāi)發(fā)動(dòng)態(tài)壓力測(cè)試系統(tǒng)，確保人機(jī)交互的舒適性與安全性。

    先將訓(xùn)練樣本的dll和api信息特征視圖、格式信息特征視圖以及字節(jié)碼n-grams特征視圖分別輸入至一個(gè)深度神經(jīng)網(wǎng)絡(luò)中抽取高等特征表示，然后合并抽取的高等特征表示并將其作為下一個(gè)深度神經(jīng)網(wǎng)絡(luò)的輸入進(jìn)行模型訓(xùn)練，得到多模態(tài)深度集成模型。進(jìn)一步的，所述多模態(tài)深度集成模型的隱藏層的***函數(shù)采用relu，輸出層的***函數(shù)采用sigmoid，中間使用dropout層進(jìn)行正則化，優(yōu)化器采用adagrad。進(jìn)一步的，所述訓(xùn)練得到的多模態(tài)深度集成模型中，用于抽取dll和api信息特征視圖的深度神經(jīng)網(wǎng)絡(luò)包含3個(gè)隱含層，且3個(gè)隱含層中間間隔設(shè)置有dropout層；用于抽取格式信息特征視圖的深度神經(jīng)網(wǎng)絡(luò)包含2個(gè)隱含層，且2個(gè)隱含層中間設(shè)置有dropout層；用于抽取字節(jié)碼n-grams特征視圖的深度神經(jīng)網(wǎng)絡(luò)包含4個(gè)隱含層，且4個(gè)隱含層中間間隔設(shè)置有dropout層；用于輸入合并抽取的高等特征表示的深度神經(jīng)網(wǎng)絡(luò)包含2個(gè)隱含層，且2個(gè)隱含層中間設(shè)置有dropout層；所述dropout層的dropout率均等于。本發(fā)明實(shí)施例的有益效果是，提出了一種基于多模態(tài)深度學(xué)習(xí)的惡意軟件檢測(cè)方法，應(yīng)用了多模態(tài)深度學(xué)習(xí)方法來(lái)融合dll和api、格式結(jié)構(gòu)信息、字節(jié)碼n-grams特征。

    針對(duì)cma和cnas第三方軟件測(cè)試機(jī)構(gòu)的資質(zhì)，客戶在確定合作前需要同時(shí)確認(rèn)資質(zhì)的有效期，因?yàn)檐浖y(cè)試資質(zhì)都是有一定有效期的，如果軟件測(cè)試公司在業(yè)務(wù)開(kāi)展的過(guò)程中有違規(guī)或者不受認(rèn)可的操作和行為，有可能會(huì)被吊銷資質(zhì)執(zhí)照，這一點(diǎn)需要特別注意。第三，軟件測(cè)試機(jī)構(gòu)的資質(zhì)所涵蓋的業(yè)務(wù)參數(shù)，通常來(lái)講，軟件測(cè)試報(bào)告一般針對(duì)軟件的八大參數(shù)進(jìn)行測(cè)試，包括軟件功能測(cè)試、軟件性能測(cè)試、軟件信息安全測(cè)試、軟件兼容性測(cè)試、軟件可靠性測(cè)試、軟件穩(wěn)定性測(cè)試、軟件可移植測(cè)試、軟件易用性測(cè)試。這幾個(gè)參數(shù)在cma或者cnas的官方網(wǎng)站都可以進(jìn)行查詢和確認(rèn)第四，軟件測(cè)試機(jī)構(gòu)或者公司的本身信用背景，那么用戶可以去檢查一下公司的信用記錄，是否有不良的投訴或者法律糾紛，可以確保第三方軟件測(cè)試機(jī)構(gòu)出具的軟件測(cè)試報(bào)告的效力也沒(méi)有問(wèn)題。那么，總而言之，找一家靠譜的第三方軟件測(cè)試機(jī)構(gòu)還是需要用戶從自己的軟件測(cè)試業(yè)務(wù)需求場(chǎng)景出發(fā)，認(rèn)真仔細(xì)比較資質(zhì)許可的正規(guī)性，然后可以完成愉快的合作和軟件測(cè)試報(bào)告的交付。云計(jì)算與 AI 融合：深圳艾策的創(chuàng)新解決方案。

    此外格式結(jié)構(gòu)信息具有明顯的語(yǔ)義信息，但基于格式結(jié)構(gòu)信息的檢測(cè)方法沒(méi)有提取決定軟件行為的代碼節(jié)和數(shù)據(jù)節(jié)信息作為特征。某一種類型的特征都從不同的視角反映刻畫了可執(zhí)行文件的一些性質(zhì)，字節(jié)碼n-grams、dll和api信息、格式結(jié)構(gòu)信息都部分捕捉到了惡意軟件和良性軟件間的可區(qū)分信息，但都存在著一定的局限性，不能充分、綜合、整體的表示可執(zhí)行文件的本質(zhì)，使得檢測(cè)結(jié)果準(zhǔn)確率不高、可靠性低、泛化性和魯棒性不佳。此外，惡意軟件通常偽造出和良性軟件相似的特征，逃避反**軟件的檢測(cè)。技術(shù)實(shí)現(xiàn)要素：本發(fā)明實(shí)施例的目的在于提供一種基于多模態(tài)深度學(xué)習(xí)的惡意軟件檢測(cè)方法，以解決現(xiàn)有采用二進(jìn)制可執(zhí)行文件的單一特征類型進(jìn)行惡意軟件檢測(cè)的檢測(cè)方法檢測(cè)準(zhǔn)確率不高、檢測(cè)可靠性低、泛化性和魯棒性不佳的問(wèn)題，以及其難以檢測(cè)出偽造良性軟件特征的惡意軟件的問(wèn)題。本發(fā)明實(shí)施例所采用的技術(shù)方案是，基于多模態(tài)深度學(xué)習(xí)的惡意軟件檢測(cè)方法，按照以下步驟進(jìn)行：步驟s1、提取軟件樣本的二進(jìn)制可執(zhí)行文件的dll和api信息、pe格式結(jié)構(gòu)信息以及字節(jié)碼n-grams的特征表示，生成軟件樣本的dll和api信息特征視圖、格式信息特征視圖以及字節(jié)碼n-grams特征視圖。兼容性測(cè)試涵蓋35款設(shè)備，通過(guò)率91.4%。軟件安全性能測(cè)試

能耗評(píng)估顯示后臺(tái)服務(wù)耗電量超出行業(yè)基準(zhǔn)值42%。源代碼審計(jì)報(bào)告包含哪些內(nèi)容呢

    將訓(xùn)練樣本的dll和api信息特征視圖、格式信息特征視圖以及字節(jié)碼n-grams特征視圖輸入深度神經(jīng)網(wǎng)絡(luò)，訓(xùn)練多模態(tài)深度集成模型；(1)方案一：采用前端融合(early-fusion)方法，首先合并訓(xùn)練樣本的dll和api信息特征視圖、格式信息特征視圖以及字節(jié)碼n-grams特征視圖的特征，融合成一個(gè)單一的特征向量空間，然后將其作為深度神經(jīng)網(wǎng)絡(luò)模型的輸入，訓(xùn)練多模態(tài)深度集成模型；(2)方案二：首先利用訓(xùn)練樣本的dll和api信息特征視圖、格式信息特征視圖以及字節(jié)碼n-grams特征視圖分別訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)模型，合并訓(xùn)練的三個(gè)深度神經(jīng)網(wǎng)絡(luò)模型的決策輸出，并將其作為感知機(jī)的輸入，訓(xùn)練得到**終的多模態(tài)深度集成模型；(3)方案三：采用中間融合(intermediate-fusion)方法，首先使用三個(gè)深度神經(jīng)網(wǎng)絡(luò)分別學(xué)習(xí)訓(xùn)練樣本的dll和api信息特征視圖、格式信息特征視圖以及字節(jié)碼n-grams特征視圖的高等特征表示，并合并學(xué)習(xí)得到的訓(xùn)練樣本的dll和api信息特征視圖、格式信息特征視圖以及字節(jié)碼n-grams特征視圖的高等特征表示融合成一個(gè)單一的特征向量空間，然后將其作為下一個(gè)深度神經(jīng)網(wǎng)絡(luò)的輸入，訓(xùn)練得到多模態(tài)深度神經(jīng)網(wǎng)絡(luò)模型。步驟s3、將軟件樣本中的類別未知的軟件樣本作為測(cè)試樣本。源代碼審計(jì)報(bào)告包含哪些內(nèi)容呢