top of page
blog_banner-1980x300.png

【PRE Security 深度解析】 AI 技術如何終結資安日誌剖析器的時代

  • 作家相片: Estrella Wei
    Estrella Wei
  • 6月16日
  • 讀畢需時 5 分鐘

已更新：9月16日


作者：John Peterson（PRE Security 共同創辦人兼共同執行長） ｜ 編譯：AIShield 編輯部 ｜ 發稿日期：2025 年 6 月 17 日


在數位資安的複雜領域中，每個位元組、每筆資料都可能藏著找出潛在漏洞或資安事件的關鍵線索。資安日誌（security logs） 的重要性不言而喻，這些密集的技術資料，猶如數位領域的紀錄，詳實記載著每個事件、每筆交易及異常狀況。然而，對負責解讀這些紀錄的人來說，挑戰不僅止於閱讀，更在於理解及詮釋這些複雜的資料。這正是 大型語言模型（LLMs） 在數位資安領域帶來革命性潛力的關鍵。透過強大的 AI 技術，LLMs 就像一盞明燈，能將資安日誌裡深奧難懂的符號，轉化為流暢的自然語言。這項創新不僅讓資安資料變得更容易理解，讓更多專業人士和利害關係人都能掌握，更重要的是，它讓資安產品不再需要費盡心思開發複雜的剖析器（parsers）來解讀其他產品的資料。這代表著我們正朝著一個更整合、更容易理解、更有效率的數位資安框架邁進，讓重心從費力的資料解讀，轉移到更關鍵的分析和決策，共同捍衛我們的數位疆界。


security logs
圖片出自：Freepik


PRE Security 的誕生：預測資安威脅的領航者


如果上一段內容引起了您的興趣，請允許我自我介紹。我是 PRE Security 的共同創辦人暨發明人之一，John Peterson，大家通常叫我 JP。PRE Security 源於一個大膽的願景：打造全球第一個能預測資安攻擊的產品。我們的目標是設計一個能與企業現有工具無縫整合的解決方案。我們深知新產品進入市場時常面臨的挑戰，特別是當它們帶來龐大的部署成本或預算限制時。


我們的使命是開發一款能作為「資料中立樞紐（Data Switzerland）」的產品，擁抱多元的資料來源，並輕鬆融入任何企業的資安架構。透過實現這個目標，我們希望能讓資安長（CISO）和資安維運中心（SOC）的營運人員不再左右為難，不必再為了導入最新技術而考慮汰換剛投入大筆資金的設備，也能避免與財務長（CFO）之間因汰換近期投資而產生的尷尬對話。

 


Log2NLP 技術：AI 資安日誌分析怎麼實現？


我們究竟達成了什麼成就？我們開發了一項創新的技術，叫做 Log2NLP。這項技術能將任何資安工具的資料轉換成人類語言，這是最具通用性的溝通形式。資安日誌由於其複雜性，特別是來自不同來源的日誌，往往難以理解。擁有逾 45 年軟體開發經驗的我，親身經歷過日誌如何因為縮寫、首字母縮略字和簡寫（比如 src_ip 和 dst_ip）而變得令人困惑。通常在開發過程中，日誌的清晰度並不是優先考量；重點通常放在產品的功能或使用者介面上。這種做法導致日誌難以被人們理解，進而也讓不同產品難以解析這些資料。



LLMs 的崛起：化繁為簡的資安資料轉換


將日誌資料簡化為人類和資安工具都能輕鬆理解的通用格式，這目標顯而易見。而這項挑戰，直到 大型語言模型（LLMs） 及 人工智慧（AI） 的進步才得以克服，使我們現在能將複雜的日誌資料轉換為易於理解的人類語言。


LLMs 因為經過海量資料集訓練，對於人類語言，包括縮寫、首字母縮略字和專業術語都相當熟悉。這種訓練不僅讓 LLMs 能夠在不同人類語言之間翻譯（例如西班牙文翻成英文），更擅長將技術日誌資料轉化為自然語言。這就像是您隨時擁有一位「數位語言學家」。



Log2NLP 如何運作：將日誌資料化為清晰警報


PRE Security 的創新技術 Log2NLP（log to natural language processed log）透過我們專門訓練的大型語言模型（LLM），處理來自任何資安工具的資料，將日誌資料轉換為可理解的文字。這個 LLM 經過大量資料集（包含各式工具日誌）的專精訓練，使其能夠比任何人類更準確、更快地解讀日誌資料。


例如，它知道「src_ip」指的是來源 IP 位址（source IP address）、「dst_port」表示目的埠（destination port），而「virus」也可能是指惡意程式（malware）。這種理解程度和速度，讓日誌分析變得極為高效。簡單來說，我們的 LLM，如同大多數大型語言模型，能夠進行「推論（inference）」，得以推斷詞彙或符號的涵義，並以最直白的自然語言呈現。



自然語言警報：告別模糊難懂的資安訊息


這種方法的另一個優勢是，它能為使用者揭開複雜日誌的神秘面紗。透過將日誌轉換成自然語言，我們讓它們變得易讀易懂。以下是一個範例，說明了原本晦澀難懂的日誌如何轉化為清晰自然的語言警報：


自然語言警報範例


工具：Fortinet (事件 ID: 1e68b3f)

偵測到事件名稱：埠掃描（port scan）。

事件發生時間：2023 年 8 月 8 日 06:54:33。

來源 IP 位址：132.172.102.37，來源 TCP 埠：40203。

目的 IP 位址：221.132.245.212，目的 TCP 埠：28734。

使用的協定：TCP。


來源 IP 位址位於美國，目的 IP 位址位於印尼。



預測資安威脅：LLMs 結合機器學習的強大潛力


將日誌轉換為自然語言後，我們運用文件嵌入模型（document embedding model）將其向量化，並將結果儲存在向量資料庫（vector database）中。這個過程使我們能夠部署複雜的機器學習演算法，進行情境感知預測（context-aware predictions），例如預測潛在的網路攻擊。此外，它還能讓您使用我們的 SOCGPT™ 對話機器人（類似 ChatGPT）與資料集進行互動查詢。



資安整合的革新：告別耗時的剖析器開發


為了概括 PRE Security 所倡導的變革性方法，想像一下傳統的資安環境：整合不同的資安工具，高度仰賴耗費人力的剖析器開發（parser development）。這些剖析器本質上是軟體翻譯機，負責將某個工具獨特的資料語言，轉換成另一種工具可理解的格式，這過程既耗時又日益顯得老舊。


快轉到我們正在塑造的創新未來：我們的平台巧妙地設計成能夠理解並操作自然語言。這項飛躍性的進步，徹底消除了對剖析器開發的需求，讓任何資安工具的資料都能夠無縫且即時地整合。試想這將帶來何種典範轉移——以往開發、測試並部署數百個剖析器來處理眾多工具的繁瑣過程，將成為歷史。


透過將自然語言處理作為我們平台的核心，我們不僅簡化了整合流程，也為更敏捷、更高效、更具前瞻性的資安生態系統鋪平了道路。這就是 PRE Security 的願景與承諾，使資安資料的複雜性，能如同人際溝通般輕鬆直觀地被理解與處理，標誌著我們朝向更互聯互通、更普及的數位世界邁出重要的一步。



結語：讓資安資料說人話，才是真正的創新


總結來說，資安日誌分析中邁向自然語言處理的突破性轉變，正如我們的 Log2NLP 技術所展示的，不僅簡化了不同資安工具的整合，也徹底改變了我們與複雜資料互動和理解的方式。透過將晦澀難懂的日誌轉化為清晰、易懂的文字，並運用先進的機器學習進行預測分析，我們正在為資安領域樹立新標竿。這種方法不僅提升了威脅偵測和回應的效率，也讓關鍵的資安洞察得以普及化，讓更多專業人士能夠參與到守護數位世界的行列中。


資安的未來，不再只是機器與程式碼的對話，而是人與人之間，用語言理解風險、共同守護數位世界。



有興趣安排會議或產品演示的單位，請洽：contact@aishield.com.tw。




本文翻譯自 PRE Security 原文：“ How AI is Eliminating the Need for Log Parsers in Cybersecurity Product Integrations ”

發佈日期：2024 年 4 月 16 日




bottom of page