AI Security & Safety 論壇 將探討 AI 在資安領域的機會與挑戰,涵蓋模型安全、威脅防禦、自動化分析與合規標準,探索 AI 在安全領域的未來發展。
生成式AI已經迅速滲透到各行各業,在我們生活各面向的應用上蓬勃發展,同時也衍生各式各樣新型態的危機與風險,中小企業由於人力與預算吃緊,急需各種AI自動化科技來解決從日常情資整理、告警分析、威脅報告,到回覆客戶各種問題。中小企業的小型系統更是經常成為駭客入侵的突破口。Zyxel利用AI發展創新資安維運,包括機器學習威脅情資大數據、Nebula網路管理平台,以及SecuReporter等工具,協助中小企業用戶提升營運效率,有效對應未來挑戰。
AI 驅動的資料分級與分類技術能夠自動識別、標記並分類企業內部的數據,確保敏感資訊獲得適當保護。透過機器學習與行為分析,AI 可強化區分機密、內部與公開資料,並隨業務需求自動調整分類標籤。結合風險自適應保護(RAP),系統能根據用戶行為的動態風險評估,適時調整存取權限與安全策略,當異常行為出現時,自動強化防護措施。這種智能化安全機制不僅提升資料管理效率,也確保企業在變化的數位環境中保持強大資料安全防線。
在當今數位環境中,企業韌性與網路安全息息相關。組織必須在保持敏捷與適應性的同時,保護自身業務免受日益複雜的網路威脅。企業韌性指的是組織在遭遇中斷後能夠迅速恢復並持續運營的能力,而網路安全則負責保護關鍵資產、數據和系統免受惡意攻擊。
除了制定穩健的網路安全策略外,企業還必須部署強大的安全架構並執行嚴格的防護機制,以有效抵禦潛在攻擊。同時,為網路安全團隊配備合適的工具至關重要,以確保他們能夠在事件發生時迅速且高效地應對。
透過先進的 AI 技術,企業能夠為其網路安全團隊提供強大工具,進一步強化韌性。結合人類洞察與機器效能,企業得以在瞬息萬變且充滿威脅的環境中保持安全與適應力。
資安是持續的風險管理,首先需掌握資安威脅趨勢,特別是AI技術發展所帶來的資安威脅,並接軌最新的資安推動策略,包括國際及我國等資安策略,在管理面邁向安治理架構,在技術面推動零信任架構,同時建立AI檢測機制,選擇可信賴的(Trustworthy)、負責任的(Accountable)AI產品與系統,以及透過AI技術來強化事前、事中及事後的資安防護。
語言模型(LLM)在資安領域展現出巨大的應用潛力,例如快速評估威脅、優化漏洞修補優先級建議等,為資安決策提供高效解決方案。然而,要充分發揮其價值,LLM 在文本評分任務中的隱藏偏好與穩定性挑戰必須被有效解決。本次演講將聚焦於此,並分享我們在改進評分框架上的最新研究成果。
我們的研究分析了 LLM 在評分過程中容易受到選項順序影響而產生偏誤,並提出了排列策略與加權調整方法,有效提升了評分的準確性和一致性。演講內容涵蓋:LLM 隱藏偏好問題的實驗設計與觀察、基於機率分佈的加權調整方法、以及整合多排列結果的技術成果。特別是藉由 G-EVAL 資料集的驗證,我們展示了這些技術在改善模型評分表現方面的顯著效果。
無論您是從事語言模型研究,還是專注於資安技術與決策,本次演講都將帶給您實用的技術見解與啟發。
隨著人工智慧和機器學習在企業中的應用日益普及,MLOps 已成為模型部署與管理的關鍵。然而,MLOps 的每個階段,從資料準備到模型訓練、部署和監控,都可能潛藏安全風險,這些風險不僅會對企業的經濟利益造成威脅,還可能引發重大的安全與政治問題。本演講將通過真實案例深入探討這些風險,並教導聽眾如何使用威脅矩陣 (e.g., MITRE ATLAS) 進行分析與評估。
這些案例將涵蓋因在本地執行的開發環境或測試服務中,由於缺乏適當的安全保護或存取控制而產生的潛在威脅、資料和模型相關設置不當導致的系統漏洞、模型行為異常引發的業務損失與品牌聲譽損害,以及大型語言模型 (LLM) 在配置不完善或遭受攻擊後暴露敏感資訊的情況。透過逐步剖析這些問題的觸發點與風險擴散過程,幫助聽眾全面了解 MLOps 各階段潛在的風險。
最後,我們會介紹幾款當前主流的 AI 安全檢測工具,協助聽眾有效提升 MLOps pipeline 的安全性,從而更好地應對未來挑戰。
近年來,大規模語言模型(LLM)技術快速發展,為企業帶來從客戶服務到決策支援等多元創新機會。然而,若缺乏完善的安全策略,可能導致資料外洩、模型被篡改等風險,甚至面臨合規問題與商譽損失。因此,需要建立系統化的防禦機制。
「LEARN」框架提供了全方位的安全管理方法:
Layer(分層)階段著重於明確劃分系統邊界,讓團隊能有效掌握各個環節的風險,並配置相應的控管措施。
Evaluate(評估)階段則根據現有流程與資料敏感度,評估可能的營運衝擊,同時考量法規要求,找出需優先強化的區域。及早建立跨部門溝通機制,可在問題擴大前及時處理。
Act(行動)階段將規劃轉化為具體措施,包括更新安全配置、優化工作流程等。由於LLM應用常涉及外部使用者與第三方整合,需確保防護措施能自動化運行,並具備異常警示功能。
Reinforce(強化)階段透過持續性監控與定期測試,驗證安全機制的有效性。這包括收集系統使用記錄,進行模擬攻擊等,確保防禦功能正常運作。
Nurture(培養)階段則著重於安全文化的建立,確保從基層到決策層都具備風險意識。當外部環境變化時,組織能迅速調整內部規範,並將新標準落實到日常操作中。
透過「LEARN」,組織能在追求 LLM 創新的同時做好風險管理,在競爭市場中既能把握機會,又能確保營運穩定。隨著技術持續演進,這個框架也提供了靈活調整的空間,幫助企業在變革中不斷提升防禦能力。
正如同 VirusTotal 於 2021 年所報告每 15 億個樣本中約有 90% 是重複的且具有高度混淆、這迫使本是稀缺的專家人力在企業組織下實務調查分析中費時而雪上加霜,難以在有限時間專注於更隱匿且細膩的外部攻擊風險。隨著大型語言模型推進了 AI/ML 各項頂級資安解決方案的防護,在這一波 AI 演算法革命的浪潮中能否以先進的 Transformer 對於抽象符號理解能力建模人類專家推理的過程成為了新的一道曙光。
為扭轉這項來自外部攻擊的非對稱局勢,我們首度提出了一種新穎的 LLM 神經網路符號化執行引擎 CuIDA(Cuda-trained Interactive Decompile Agent)其借鏡了 Google 發表的模型 Attention Is All You Need 並專注仿生人類逆向專家推理的流程成為了可能 —— 透過未知函數之參數污點傳播來大規模從黑盒程序中學習 Windows APIs 的上下文語境理解、並有效捕捉開發者對於 Win32 API 的使用習慣,並成功攻克現代端點防護最具挑戰的三大困境 (a.) 非擬態 Shellcode 自動推理模型 (b.) 純靜態掃描的混淆指針推理器 與 (c.) 無需脫殼下的商業殼所保護行為之破譯。
我們也同時實戰這項新穎的模型在大規模田野樣本自動化推理中展現的實戰能力,並發現許多令人訝異偵測防護當前困境,例如在高達 3000+ 樣本的自動化調查中發現多數頂級資安解決方案遺漏了近 67% 樣本而未起疑竇、由於這些威脅濫用了 MSIL + x86 的混合交互執行特性;亦有多數樣本採用 Shellcode 作為混淆手段進行免殺、而我們的模型能單純以非擬態堆疊參數資訊進行有效推理並預測可能的風險行為組合。而在議程尾聲,我們也探索了商業加殼中最先進的混淆技術是否能被此模型的 AI 建模語義上下文理解所突破 —— 我們將開源並 Demo 使用此模型有效的仿生推理並取證調查 VMProtect 與 Themida 所保護的混淆程式碼之原始行為內容、展現了 LLM 對於逆向分析推理的經驗採樣與人類分析策略建模的可能性。
根據 USENIX 2022 牛津大學「99% False Positives」研究指出,企業網管每日收到十萬條來自端點防護產品的警訊,其中高達 99% 為誤報。人員疲於篩選無用警告,導致真正的 1% 威脅被忽略,錯失黃金補救時間,使駭客滲透更加容易。研究進一步發現,這一困境源於端點偵測警訊與網管人員推論邏輯的斷層,尤其是不同偵測引擎對同一樣本以單一分類方法得出不一致結論,迫使人員耗費大量時間研究與確認威脅。儘管攻擊趨勢持續增長且變種日益複雜,最終攻擊目的往往集中於後門監控、勒索攻擊或蠕蟲感染等常規行為。但目前分析方法耗費大量人力,效率低下。
有別於市面上諸多的白箱模型。這場議程我們提出首個基於純黑盒態逆向工程代理(LLM Agents)的仿生人類專家,基於程式碼分析與推論邏輯並落地於安全偵測防護上。此模型基於開源 LLaMA 3.1-8B 模型並透過 Chain-of-Thought(CoT)並透過符號執行引擎萃取陌生樣本潛在高風險行為、並由其執行流程圖上行為所具有行為鏈(Chain-of-Capability)進行 LLM 逆向推論明確的偵測結果。在議程尾聲也將展示此模型能如同真實逆向專家版聊天機器人,明確告知分析報告與惡意判定依據的明確函數指針地址、行為,使人員能在不用手工使用 IDA / Ghidra 工具前提下完成全自動化逆向工程。
這一創新大幅提升惡意程式分析效率,減少人力投入,為次世代安全偵測提供全新解決方案。
本次演講聚焦聚焦生成式 AI 的安全應用情境,剖析其獨特的安全挑戰與防護。我們將深入探討生成式 AI 在各領域的應用情境,從內容生成、程式碼開發到數據分析,解析潛在的安全風險,如提示注入 (prompt injection) 與jailbreaking。
此外,我們將分享實際案例,展示生成式 AI 安全應用的最佳實踐,並探討可信任 AI 的重要性,確保 AI 系統的公平性、透明度與可靠性。
最近幾年,零信任無疑是全球和台灣資案界最炙手可熱的議題,不管是政府、金融機購或大型企業都積極探討和規劃零信任的導入;而另一方面,AI 的日益普及也爲企業和政府帶來了新的衝擊。在這三十分鐘的,我會先與大家重點回顧零信任的核心理念和常見的誤解,再分享 AI 在零信任架構上能扮演的角色。
人工智慧系統的發展自 2022 年後開始爆發性成長,而快速滲透進各種產業的應用場景。但是人工智慧在經濟發展與生產力提升之餘,產官學界也開始深度關切人工智慧的進展,逐漸朝向超級智慧 (SuperIntelligence) 迫近之時,吾人是否有足夠的方法來克服人工智慧系統帶來的諸項風險。
目前國際間對人工智慧治理除了着重在規範治理之外,亦有人工智慧對齊與驗測的方法來緩解人工智慧系統的各類安全與可信賴風險。國際趨勢如何發展與我國如何對應,將深切影響我國人工智慧產業的未來。
隨著生成式 AI 越來越熱門,各式應用也如雨後春筍般湧現,但如果這些 AI 應用程式不聽使用者的話,卻被駭客操控,會帶來多麼嚴重的後果呢?相對應的攻擊技術 Prompt Injection,在 OWASP 的 AI 安全問題排名中已連續兩年名列第一。
本演講將深入探討 Prompt Injection 的攻擊方式,從生成式 AI 的使用者到系統內部,分析在哪些環節可能會遭受攻擊,以及如何才能安全地使用生成式 AI。
目前威脅情資面臨三大挑戰:情資來源多元導致格式不統一、開源情資內容經常不完整,以及情資之間關聯性難以建立。有鑑於此,本場議程將提出新穎的解決方案:結合大型語言模型(LLMs)與知識圖譜技術,建構全方位的威脅情資分析框架。此方法具有三大特點:(一)透過 LLM 自動建構知識圖譜,實現異質性情資標準化;(二)運用知識圖譜增強的檢索增強生成(RAG)技術,挖掘情資間的隱性特徵,提供可解釋的情資關聯性;(三)自動化補充缺失的情資內容,提升情資完整性。
此方法不僅能自動挖掘威脅情資中的實體,更可發掘實體之間潛在的關聯,從知識圖譜中建構完整的威脅態勢。更重要的是,系統完全建立在開源模型和框架之上,確保了技術的可及性與靈活性。在這場演講中,將深入探討如何在情資的蒐集和分析中,實際應用這套創新方法。
在當前的數位環境中,組織往往無法即時察覺其資料被洩露並在網路上販售。我們的目標是縮短從資料在網路上曝光到被公眾偵測的時間差,也就是縮短企業曝光敏感資料的時間。暗網是個人資訊交易的主要市場,能透過如 Tor 等瀏覽器安全訪問。本議程聚焦暗網網站的網路爬蟲,利用從這些網站收集的數據,我們訓練了一個 BERT 分類模型,將交易貼文分類為五種不同資料外洩的類型,從而快速識別每篇貼文所涉及的外洩種類,最終再使用 RAG 的方式獲得暗網的 insight。
漏洞評估已成為網路安全的重要組成部分,幫助企業識別、量化和優先處理系統中的弱點,防範潛在威脅。透過定期評估,企業可在駭客利用前發現漏洞,避免昂貴的資料外洩與系統停機損失。傳統漏洞掃描工具雖能分析系統並生成報告,但需要使用者解讀結果、提供資產信息並應用修補建議,過程耗時且容易出錯。特別是在大型環境中,應用程式多且修補計劃各異,增加了管理以及修復的複雜度。
為簡化並加強漏洞偵測,我們透過導入 AI 以減少對手動標記的流程。AI 能自動標記透過漏洞執行攻擊的被攻擊的資訊,準確識別風險,並在資產遭受攻擊前及先針對攻擊會使用到的資訊進行監控達到漏洞預防的效果。透過 AI 除了能夠讓企業達到漏洞預防的目的,同時也能夠透過參考 AI 以及 CVSS 幫我們標記的被攻擊協定判定漏洞的處理順序,優先處理以及預防真正對企業能夠達到影響的漏洞。
目前國內對於人工智慧 (AI) 在安全防護上的應用已有廣泛討論,但對於 AI 模型面臨的安全挑戰卻相對較少。本次演講將以 OWASP ML Top 10 為框架,針對機器學習中的常見安全風險並結合實際的深度神經網路 (DNN) 攻擊示範,詳細解釋各項攻擊原理。
此次演講將涵蓋以下議題:輸入資料攻擊(如對抗式樣本生成)、數據竄改攻擊(資料污染)、模型反推攻擊、模型竊取、以及 AI 供應鏈攻擊等。透過這些案例,聽眾將能夠清晰了解每項安全風險的運作方式,進而用來設計有效的防禦與偵測機制。
使用人工智慧產生 IPS 規則在增強網路安全方面具有巨大潛力,特別是在檢測複雜和不斷變化的威脅方面。然而,它並不是靈丹妙藥。人工智慧模型可能會產生過於寬泛或具體的規則,從而導致誤報(過度警報)或漏報(遺漏威脅)。大量人工智慧產生的規則可能會降低 IDS 的效能,尤其是在高吞吐量網路中。根據評估,結合人工智慧和人類專業知識優勢的混合方法可能是目前產生人工智慧驅動的 IPS 規則較適合的方法。
生成式 AI 技術快速發展,隨之而來的是全新的安全合規挑戰。本次分享將從案例說明為何僅依靠模型供應商無法完全排除相關風險,並介紹最新的開放 AI 模型保護技術,例如 Llama Guard 的實務經驗。
此外,本次還將分享生成式 AI 落地的安全與合規架構,包含設計考量、實作細節與導入案例。聽眾將了解如何在系統設計階段納入生成式 AI 的防護措施,並掌握應對合規風險的經驗。
無論您是技術決策者、資安專家或軟體架構師,都將在本次分享中獲得啟發如何在生成式 AI 普及的浪潮中,建立安全可靠的技術基礎。
在這波 AI 革命中各式基於 Transformer 已成功將 AI Intelligence 以 GPT 聊天機器人形式在民生與商業場景遍地開花成果,這道熱浪的興起使 各大頂級資安解決方案已證實了自動化鑑識與網管輔助對話機器人能實務有效輔助網管的資安調查與回應需求,如 Defender Copilot。然而 LLM 難以根治的先天幻覺問題,其推理能力仍難以解決防不勝防的野外威脅出其不意地發動攻擊。
因此,能否打造無需人工交互的 AI 偵測引擎,以達無網管與鑑識人員前提下的 24/7 全態勢監測——落地於場域中執行程式能由預先培訓的本地 AI Agent 實時操作逆向工程分析、推理、鑑別並自動化做出回應、而無需人工交互,成為了次世代端點防護偵測的新思路… 我們能否以大規模樣本、將逆向分析師的能力煉化一個 AI 專才模型?
在這場議程我們將從學術研究中陪伴聽眾踏上找尋仿生逆向聖杯的道路,如何從基於經典 Attention 模型的 NMT(Neural Machine Translation)轉換為具有符號理解與推理能力的 AI Agent 並培訓為實務端點偵測的逆向推理引擎。
本演講將探討O-RAN專網的安全威脅,在O-RAN架構中,Near-RT RIC(Near-Real-Time RAN Intelligent Controller)平台可用於部署AI模型,以應對新型態的惡意流量攻擊。我們會著重於AI防禦模型的應用實例,說明如何抵禦O-RAN環境中的開放介面攻擊,以及駭客部署的惡意元件。這些威脅嚴重影響專網的正常運作,導致網路資源遭濫用或被控制。此外,我們也將探討AI模型如何偵測從UE端發起的惡意攻擊,透過聯邦式學習來達成跨專網、跨電信的聯防機制,以確保專網的穩定與安全。
隨著大型語言模型(LLM)推理模型(reasoning model)與人工智慧代理(AI Agent)的快速迭代,LLM 已成為各行各業推動效率與創新的重要技術組件。然而,複雜的應用場景與 AI 風險使企業在導入 LLM 時面臨極高的挑戰。本次演講將探討 LLM 在風險驗測上的困境,並提出 LLM-as-a-Judge 的創新驗測方法,以協助企業有效應對這些挑戰。講者將深入分析 LLM-as-a-Judge 的架構與關鍵成功因素,讓聽眾了解如何透過創新的 LLM 驗測方法,強化 AI 系統的安全性與可信度,為組織在 AI 風險驗測與管理奠定堅實之基礎。
特徵碼——這是現代資安解決方案的基石卻也是研究員的夢魘。雖然其有著低誤報高準確的特性、但也需分析專家曠日費時戴上老花眼鏡的在二進位內容中肉眼尋覓獨特字串並撰寫為偵測基準,其耗費的人力資源成為當前安全行業的一大痛點。因此,能否導入人工智慧解決大規模惡意程式上的特徵碼撰寫成為了產業引頸期盼的問題共識、自也成為了新興的資安學術話題。
這場議程我們將從兩份在頂級研討會 AAAAI 基於 NVIDIA 開創性研究說起,如何以 Ngram 角度將執行程式的完整內容切片為多個具有原始程序開發者的語義、並以卷積視覺策略自動化提取出那些高熵且獨具開發者特色的字串定義為特徵碼有效查殺,並於八十萬支樣本的雙盲測試中達到 98% 偵測率,展現極為優良的語義偵測表現。並在議程尾聲我們總結了此方法落地於產品中的優缺與侷限性,以幫助聽眾能對此類偵測技術能有濃厚的興趣與認識。
LLM(大型語言模型)開始被廣泛應用於各種不同的場景和平台,這一現象顯示了其在當今科技中的重要性。然而,作為這些多樣化應用的核心,LLM 本身卻顯得相對脆弱。除了我們早已熟知的提示注入(prompt injection)和越獄(jailbreak)這兩種攻擊手法外,這一年來,針對 LLM 的攻防技術不斷推陳出新,攻擊者可能會設計出各種創新的方法來突破模型的防禦。即使是原本的提示注入和越獄攻擊,也不斷出現新的變形和演變。這些發展顯示了在使用 LLM 的過程中,我們必須保持高度的警覺。因此,本次演講的目的是傳達有關 LLM 的最新攻防知識,幫助參與者更好地了解如何保護這些系統,並運用適當的安全策略來應對潛在的威脅。我們也將稍微探討如何進行 AI 模型、系統和產品的測試。這不僅僅是一個技術性的話題,而是涉及到如何在不斷變化的數位環境中,確保 LLM 的安全性與可靠性。希望透過這次演講,各位能夠深入理解這些挑戰,並在未來的工作中更加從容地應對各種可能出現的安全問題。