kb: expand authorized lab coverage and intel automation

2026-03-16 22:04:51 -07:00
--- a/README.md
+++ b/README.md
@@ -1,95 +1,88 @@
-# Web 安全与服务器攻防知识库
+# 授权攻防实验与研究知识库

-> **本地靶场实战 | 攻击工具开发 | 防御系统设计**
+> `LAB ONLY` | `AUTHORIZED TARGETS ONLY` | `非生产安全基线`

-## 📚 知识库结构
+本仓库定位为“授权攻防实验库”，覆盖本地靶场、自建公网测试资产和已明确授权的验证目标。内容允许出现验证性攻击演示、测试性注入、同服务器站点排查、真实漏洞映射和自动化订阅，但所有语境都绑定到自有或授权目标，不面向无关第三方站点或公共知名网站。

-```
+## 入口
+
+- [目标边界与授权模型](/Users/x/websafe/09-scope-and-targeting/authorization-model.md)
+- [主流开源 Web 系统安全总览](/Users/x/websafe/07-framework-security/README.md)
+- [漏洞情报与自动入库总览](/Users/x/websafe/08-threat-intel/README.md)
+- [覆盖矩阵](/Users/x/websafe/08-threat-intel/generated/coverage-matrix.md)
+- [最新同步摘要](/Users/x/websafe/08-threat-intel/generated/latest-ingest.md)
+- [唯一真值配置 `source-map.yaml`](/Users/x/websafe/08-threat-intel/source-map.yaml)
+
+## 仓库结构
+
+```text
 websafe/
-├── 00-environments/          # 靶场环境 (DVWA/WebGoat/Pikachu/BWAPP)
-├── 01-sql-injection/         # SQL注入攻防
-├── 02-xss/                   # XSS攻防
-├── 03-authentication/        # 认证攻击 (暴力破解/JWT/Session)
-├── 04-server-security/       # 服务端安全 (端口扫描/TLS/配置)
-├── 05-defense/               # 防御系统 (WAF/安全代码/加固)
-├── 06-case-studies/          # 案例研究
-└── scripts/                  # 工具脚本
+├── 00-environments/          # 靶场与本地实验编排
+├── 01-sql-injection/         # SQL 注入实验
+├── 02-xss/                   # XSS 与浏览器端注入实验
+├── 03-authentication/        # 认证、会话与 JWT 实验
+├── 04-server-security/       # 服务器、TLS、暴露面与关联面实验
+├── 05-defense/               # 检测、观测、实验对照与代码修复示例
+├── 06-case-studies/          # 授权案例与原始报告归档
+├── 07-framework-security/    # CMS、电商、框架、服务器、平台系统安全
+├── 08-threat-intel/          # source-map、registry、generated、订阅规则、自动入库
+├── 09-scope-and-targeting/   # 授权模型、资产模板、测试记录模板
+├── requirements-intel.txt    # intel 自动化依赖
+└── scripts/intel/            # hotlane / ingest / reconcile / backfill / open-pr CLI
 ```

-## 🎯 靶场环境
+## 能力矩阵

-| 靶场 | 端口 | 漏洞类型 |
-|------|------|---------|
-| DVWA | 8080 | SQL注入/XSS/命令注入/文件上传 |
-| WebGoat | 8081 | OWASP Top 10 / JWT / 认证 |
-| Pikachu | 8082 | SQL/XSS/CSRF/SSRF/文件包含 |
-| BWAPP | 8083 | 100+ 漏洞类型 |
+| 覆盖域 | 历史全量策略 | 近两年策略 | 全量 registry | 重点案例 Markdown | secure-code 关联 | 自动同步状态 |
+|--------|--------------|------------|---------------|--------------------|------------------|--------------|
+| CMS / 内容平台 | `WordPress`, `Drupal`, `Joomla` | `Ghost`, `Strapi`, `Directus`, `MediaWiki`, `Moodle`, `Discourse` | `registry/advisories + registry/systems` | `core 全量 + 高价值 extension` | `yes` | `render / ingest / hotlane / reconcile ready` |
+| 电商系统 | `Adobe Commerce`, `Magento Open Source`, `WooCommerce`, `PrestaShop`, `Shopware`, `OpenCart` | `OpenMage`, `Saleor`, `Medusa` | `registry/advisories + registry/systems` | `core 全量 + 高价值 module` | `yes` | `render / ingest / hotlane / reconcile ready` |
+| Web 框架与运行时 | `React`, `Next.js`, `Vue`, `Nuxt`, `Vite`, `Node.js`, `Nginx`, `Apache HTTP Server`, `Apache Tomcat` | 其余主流框架与运行时按 `rolling-24m` | `registry/advisories + registry/systems` | `core 全量 + 高价值 package` | `yes` | `render / ingest / hotlane / reconcile ready` |
+| 开源平台与后台系统 | `history-full` 不强制 | `phpMyAdmin`, `Adminer`, `Gitea`, `GitLab CE`, `Jenkins`, `Grafana`, `Kibana`, `Mattermost`, `Redmine` | `registry/advisories + registry/systems` | `高价值案例输出` | `yes` | `render / ingest / hotlane / reconcile ready` |
+| 修复示例库 | 不适用 | 不适用 | 不适用 | 由案例页反向链接 | `javascript-typescript`, `nodejs`, `java`, `php`, `python`, `ruby`, `csharp`, `go` | `render ready` |
+| 自动化入库 | `backfill --tier history-full` | `ingest --since`, `reconcile` | `registry + generated` | `基于 render_policy` | `front matter 反向链接` | `open-pr dry-run ready` |

-启动所有靶场:
-```bash
-cd 00-environments
-docker-compose up -d
-```
+## 当前覆盖对象

-## 🛠️ 攻击工具
+当前 `source-map.yaml` 已纳入 62 个主流开源 Web 系统，分为五组：

-### SQL注入
- `sqli-scanner.py` - 自动检测SQL注入点
- `blind-sqli.py` - 时间/布尔盲注利用
- `sqli-exploit.go` - 高性能注入利用
+- CMS / 内容平台：WordPress、Drupal、Joomla、Ghost、Strapi、Directus、MediaWiki、Moodle、Discourse
+- 电商系统：Adobe Commerce、Magento Open Source、OpenMage / Mage-OS、WooCommerce、PrestaShop、Shopware、OpenCart、Saleor、Medusa
+- Web 框架与运行时：React、Next.js、Vue、Nuxt、Vite、Angular、SvelteKit、Astro、Express、NestJS、Koa、Fastify、Hapi、Node.js、Undici、webpack、esbuild、Spring Framework、Spring Security、Spring Boot、Laravel、Symfony、Django、Flask、Werkzeug、Rails、ASP.NET Core、Gin、Echo
+- 服务器与边界层：Nginx、Apache HTTP Server、Apache Tomcat、Caddy、Traefik、HAProxy
+- 常见开源平台：phpMyAdmin、Adminer、Gitea、GitLab CE、Jenkins、Grafana、Kibana、Mattermost、Redmine

-### XSS
- `xss-fuzzer.py` - XSS Payload模糊测试
- `xss-scanner.go` - 批量扫描
- `csp-bypass.sh` - CSP绕过测试
-
-### 认证攻击
- `web-brute.py` - Web暴力破解
- `jwt-cracker.py` - JWT弱密钥破解
- `jwt-forge.go` - JWT伪造
- `session-hijack.py` - 会话劫持
-
-### 服务端安全
- `port-scanner.py` - 多线程端口扫描
- `tls-scanner.py` - TLS配置审计
- `waf-detect.py` - WAF识别
-
-## 🔒 防御系统
-
- **WAF规则**: ModSecurity / Nginx WAF
- **安全代码**: Python / Java / PHP
- **服务器加固**: Nginx / Apache / Docker
-
-## 📖 使用方法
+## 自动化入口

 ```bash
-# 1. 克隆仓库
-git clone https://git.hk.hao.work/hao/websafe-kb.git
-
-# 2. 启动靶场
-cd websafe-kb/00-environments
-docker-compose up -d
-
-# 3. 运行攻击工具
-cd ../01-sql-injection/tools
-python3 sqli-scanner.py -u http://localhost:8080/vulnerabilities/sqli/
-
-# 4. 查看利用文档
-cat exploitation/dvwa-sqli.md
+python3 /Users/x/websafe/scripts/intel/main.py render
+python3 /Users/x/websafe/scripts/intel/main.py validate
+python3 /Users/x/websafe/scripts/intel/main.py hotlane
+python3 /Users/x/websafe/scripts/intel/main.py ingest --since last-success
+python3 /Users/x/websafe/scripts/intel/main.py reconcile
+python3 /Users/x/websafe/scripts/intel/main.py backfill --tier history-full --dry-run
+python3 /Users/x/websafe/scripts/intel/main.py open-pr --dry-run
 ```

-## 📋 文档格式
+计划中的本机 cron 入口：

-每个漏洞类型包含:
-1. **漏洞原理** - 技术背景
-2. **攻击工具** - 完整代码
-3. **利用步骤** - 详细步骤
-4. **防御方案** - 修复代码
+- [run-hourly.sh](/Users/x/websafe/scripts/intel/run-hourly.sh) 只处理 KEV / 在野利用 / 极高优先级更新
+- [run-nightly.sh](/Users/x/websafe/scripts/intel/run-nightly.sh) 处理常规增量同步
+- [run-weekly-reconcile.sh](/Users/x/websafe/scripts/intel/run-weekly-reconcile.sh) 对齐最近 30 天更新

-## ⚠️ 免责声明
+## 实验边界

-本知识库仅用于**授权的安全测试**和**安全教育**。未经授权对真实系统进行测试是违法行为。
+- `05-defense/` 下的配置样例用于实验观测、对抗演示、修复映射和反例说明，不应被误当成生产安全基线。
+- `07-framework-security/` 下的系统页默认绑定 `lab-local`、`lab-public`、`authorized-third-party` 三类目标，并明确禁止未授权公网使用。
+- `08-threat-intel/registry/` 是“所有具体 advisory”的正式载体；并非所有记录都强制生成独立 Markdown 页面。
+- `08-threat-intel/generated/` 是人类可读摘要层，实际覆盖和路由以 `source-map.yaml` 与 `registry/` 为准。

-## 📜 License
+## 使用前提

-MIT License
+- 在运行任何工具前，先阅读 [授权模型](/Users/x/websafe/09-scope-and-targeting/authorization-model.md)。
+- 对公网目标执行验证性测试时，必须能证明资产归属，或已获得明确授权。
+- 优先采用只读探测、最小化注入、可回滚验证和可审计日志。
+
+## 免责声明
+
+本仓库仅用于授权安全测试、安全研究和教学实验。未经授权对第三方系统执行扫描、注入、爆破、绕过或枚举行为可能违法。