# AI 資安報告寫「檢查通過」，內容就是真的嗎？實測 Cloudflare 的查漏洞技能包

- 網址：https://blog.valenvan.uk/posts/cloudflare-security-audit-skill.html
- 發布日期：2026-10-25
- 測試設備：Mac mini M4 Pro（12 核、64GB）
- 專案：cloudflare/security-audit-skill（https://github.com/cloudflare/security-audit-skill），MIT 授權
- 測試版本：commit c1c8a8c（2026-09-14）
- 實測影片：https://www.youtube.com/shorts/dlEH9ZG8w2g

## 重點摘要

- cloudflare/security-audit-skill 的格式檢查器自帶 65 項測試，全數通過，約 0.4 秒。
- 嚴重度寫 critical 但已證明影響只有 medium 的報告，被檢查器退回。
- 證據路徑寫成 ../../etc/passwd 的報告被擋下。
- 證據指向不存在的檔案、實測結果只寫「Trust me, it happened.」的報告，檢查器仍回 PASS。
- **結論：** 檢查器只驗格式，不驗內容真假；通過不代表漏洞是真的。
- **適合：** 想讓 AI 審查報告格式一致、避免嚴重度灌水的人
- **不適合：** 把「檢查通過」當成「漏洞已被證實」的人

| 實測項目 | 結果 |
|---|---|
| 自帶測試 | 65 項、65 通過、0 失敗，約 0.4 秒 |
| 嚴重度灌水 | 被退回 |
| 路徑逃出專案資料夾 | 被擋下 |
| 編造證據位置與結果 | 通過 |
| AI 查證員階段 | 未測 |

假設你請 AI 幫公司網站做資安檢查，它交回一份報告，寫著「發現嚴重漏洞」，旁邊還附一句「已通過檢查器驗證」。你會直接拿去給老闆看嗎？

Cloudflare 公開了一套叫 security-audit 的技能包（MIT 授權，約 4.5 萬顆星）。它讓 AI 助理分階段查漏洞，最後把結果寫成 findings.json，再交給一支 `validate-findings.cjs` 檢查。我想知道的是：這支檢查器到底在檢查什麼？

測試設備：Mac mini M4 Pro（12 核、64GB），Node v22，版本為 commit c1c8a8c（2026-09-14）。

## 先跑它自己的測試

```bash
cd skills/security-audit
node --test *.test.cjs
```

結果：65 項測試、65 項通過、0 失敗，約 0.4 秒。一份寫得正常的報告，檢查器回「PASS: 1 findings valid」。

![自帶測試與正常報告](https://blog.valenvan.uk/img/cloudflare-security-audit-skill-article_1.png)

## 故意寫壞三份

| 改壞的方式 | 檢查器結果 |
|---|---|
| 只證明了中等影響，嚴重度卻寫 critical | 退回：cannot exceed demonstrated impact "medium" |
| 證據檔案路徑寫成 ../../etc/passwd | 退回：must be a safe repository-relative source path |
| 證據指向不存在的 src/does_not_exist.c 第 99999 行，實測結果只寫「Trust me, it happened.」 | **通過**：PASS: 1 findings valid |

![三份壞報告的結果](https://blog.valenvan.uk/img/cloudflare-security-audit-skill-article_2.png)

前兩種是格式與邏輯上的矛盾，檢查器擋得很實在。但第三種，內容根本是編的，它也放行。原因很單純：它只讀 JSON，不會去打開專案原始碼核對檔案與行號是否存在，也無從驗證「真的重現過」。

## 判讀

技能包的設計是另外派出獨立的 AI 查證員，去反駁每個候選漏洞、再驗證最終的引用。那一段需要真的有一個程式助理在跑，我這次沒有測，所以不能說它的查證成效如何。我能確認的只有：**格式檢查器本身不保證內容為真**。

## 適合與不適合

- 適合：已經在用 AI 做程式審查、想讓輸出格式一致、避免嚴重度灌水的人。
- 不適合：把「檢查通過」當成「漏洞確實存在」的人。收到報告，仍要問一句：有沒有真的重現？

專案連結：https://github.com/cloudflare/security-audit-skill ，授權 MIT。