xfy/cocoon
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
cocoon/.cocoon-plan.md
xfy911 2e13ee2913
Some checks failed
CI / build (push) Failing after 43s
Details
docs: 更新 .cocoon-plan.md — 带宽限速 / 流量整形已完成
2026-06-16 15:42:48 +08:00

21 KiB
Raw Blame History

Cocoon 发展规划（自主维护）

此文件由 cron 任务每3小时更新，记录项目状态与下一步计划。

路线图

Phase 1 — 核心稳定（已完成）

  • HTTP/1.1 请求解析
  • 响应头格式化
  • 静态文件服务（sendfile）
  • 目录浏览
  • Range 请求
  • MIME 类型识别
  • 多线程 M:N 调度
  • 命令行参数
  • 优雅关闭

Phase 2 — 健壮性（已完成）

  • HTTP 缓存（ETag / Last-Modified / If-None-Match）
  • Gzip / Brotli 压缩
  • 完整的单元测试框架
  • 压力测试 + 性能基准
  • 连接超时管理（空闲连接自动清理）
  • 请求体解析（POST 支持）

Phase 3 — 扩展（已完成）

  • 配置文件支持（JSON）
  • 虚拟主机 / 多站点
  • 反向代理支持
  • HTTPS / TLS
  • HTTP/2
  • h2c 明文升级
  • WebSocket 支持
  • 中间件机制（CORS / Basic Auth / Rate Limit）
  • 插件系统（动态加载 + 热重载）
  • 健康检查端点
  • 主动健康检查
  • Prometheus 指标
  • SIGHUP 配置热重载

Phase 4 — 生态（已完成 ✅）

  • HTTP/3 (QUIC) — QUIC 传输层 + HTTP/3 帧处理 + QPACK 静态表 + TLS 1.3 接口
  • 分布式负载均衡 — 一致性哈希 + 最少连接 + 加权响应时间(EWMA) + 随机
  • gRPC 支持 — gRPC over HTTP/2 + protobuf LEB128 帧 + 四种 RPC 模式 + gRPC-Web 兼容
  • 更多内置中间件 — JWT Auth(HS256) + Security Headers + Request ID + IP 过滤

Phase 5 — 应用网关（进行中）

  • FastCGI 协议核心 — 记录编码/解码、参数序列化、响应解析、连接池基础
  • FastCGI 服务器集成 — 将 FastCGI 接入 server.c 请求处理流程，对接 PHP-FPM
  • 反向代理连接池 — HTTP/1.1 后端连接复用，减少握手开销
  • 配置热重载校验 — 新配置语法校验失败时拒绝重载，避免把服务搞坏
  • 内存响应缓存 — 基于 LRU + TTL，文件不大时直接缓存到内存，避免重复磁盘 I/O
  • 管理 Dashboard — 内置 /_status 页面，SSE 实时推送指标，像 HAProxy stats 那种
  • ACME / Let's Encrypt 自动证书 — 客户端骨架完成（目录发现、nonce、账户、订单、授权、CSR、证书下载、thumbprint），OpenSSL 3.0 零警告；服务器端 HTTP-01 挑战响应路由已完成（/.well-known/acme-challenge/ 返回 keyAuthorization）；配置集成与自动续期后台协程已完成（2026-06-16）
  • 带宽限速 / 流量整形 — 按连接或全局限速，防止突发流量打满带宽
  • YAML / TOML 配置格式 — 配置验证时更友好
  • systemd 服务文件 — 一键安装成系统服务，支持 SIGHUP 热重载、安全加固、自动恢复
  • Docker 多阶段构建 — 减小最终镜像

Phase 6 — 硬核深潜（远期规划）

  • io_uring 接入 — 小文件走 io_uring 而非 sendfile，HTTP/2 多路复用下理论上能再提一波
  • HTTP/3 完整握手（0-RTT） — 目前 QUIC 骨架搭好了，可以再加 resumption 和新令牌
  • WAF 规则引擎 — 轻量级 Web 应用防火墙，正则匹配 + 可配置规则集
  • 模糊测试（libFuzzer） — 用 AFL/libFuzzer 跑 HTTP 解析器，找溢出和崩溃
  • QPACK 动态表 — 目前 HTTP/3 只有静态表，动态表是 RFC 9204 的完整实现
  • gRPC 反射 + 健康检查 — 支持 gRPC reflection 服务，服务网格里更方便

当前状态

  • 编译状态：零警告，全部通过（2026-06-16 12:17 验证）
  • 单元测试：480 个全部通过 ✓（1 个 Ignored，为预期行为）
  • 集成测试：111 项通过（4 项反向代理环境相关失败，非项目问题）
  • 代码覆盖率：核心模块覆盖完整，Phase 4 模块覆盖良好
  • 文档状态：README 完整，API 文档齐全，.cocoon-plan.md 已更新
  • 项目阶段：Phase 1~4 全部完成，Phase 5 进行中（ACME 配置集成 + 自动续期已完成）
  • 代码规模：30,000+ 行 C 代码（不含 coco 子模块），480 单元测试 + 111 集成测试

待办池（Phase 5 — 自然扩展）

2026-06-15 规划：Phase 5 路线图

  • FastCGI 支持 — 当前最优先，对标 Nginx 核心能力
  • 连接池 — 性能优化，HTTP/1.1 后端连接复用
  • 配置热重载校验 — 安全加固，防止坏配置导致服务中断
  • 内存缓存、Dashboard、ACME 等后续按优先级推进

维护记录（Phase 5 — 自然扩展）

2026-06-15 15:17: Phase 5 — 配置热重载校验

  • 新增 config_validate(): 在配置热重载前对配置进行完整校验
  • 校验项覆盖：端口、工作线程、连接数、超时、日志级别范围检查
  • 成对字段校验：TLS 证书/密钥、Basic Auth 用户名/密码必须同时存在
  • 代理规则、虚拟主机、FastCGI 规则完整性及边界校验
  • server_reload_config() 集成校验：新配置加载后先校验，失败则拒绝重载并保留旧配置，避免坏配置搞崩服务
  • 新增 22 项单元测试，覆盖 config_validate 全部场景
  • 编译验证：零警告，全部通过
  • 单元测试：465 个全部通过 ✓（443 原有 + 22 新增校验测试）
  • 集成测试：115 项全部通过 ✓（含 SIGHUP 热重载测试，验证旧配置保留行为）
  • 提交已推送到 origin main（f037dda）
  • 项目状态：Phase 5 进行中，配置热重载校验已完成，下阶段目标：内存响应缓存

  • 2026-06-15 12:17: Phase 5 — 反向代理连接池完善

    • 新增 proxy_pool_conn_is_alive(): 使用 recv(MSG_PEEK | MSG_DONTWAIT) 非阻塞检测连接是否被对端关闭
    • 复用前自动剔除失效连接，避免将已关闭的连接再次用于转发请求
    • 新增 cocoon_pool_stats_t 统计结构：总请求、命中、新建、超时驱逐、有效性检测失败、活跃/空闲连接数
    • 连接池 acquire/release 全流程统计追踪，便于运维观测
    • 新增 7 项 proxy 单元测试：连接有效性检测（3 项）、acquire/release 复用循环、空池新建失败边界、统计初始状态
    • 编译验证：零警告，全部通过
    • 单元测试：465 个全部通过 ✓（458 原有 + 7 新增连接池测试）
    • 集成测试：115 项全部通过 ✓
    • 提交已推送到 origin main（b426ab7）
    • 项目状态：Phase 5 进行中，反向代理连接池已完成，下阶段目标：配置热重载校验

  • 2026-06-15 09:17: Phase 5 — FastCGI 服务器集成完成

    • 新增 fcgi_handler.h / fcgi_handler.c：FastCGI 请求处理器
      • 路由匹配：基于前缀匹配，支持最长路径匹配
      • CGI 参数构建：从 HTTP 请求提取 REQUEST_METHOD、SCRIPT_NAME、PATH_INFO、QUERY_STRING 等标准 CGI 变量
      • HTTP 头转 CGI 变量：Host 等头自动转为 HTTP_ 前缀大写环境变量
      • 响应解析：检测 HTTP/ 开头的完整响应直接透传；否则解析 Status: 头或默认 200
      • 连接池：TCP / Unix Socket 复用，支持 pool_size 和 timeout_ms 配置
    • 配置解析扩展（config.c）：
      • 新增 cocoon_fcgi_rule_t / cocoon_fcgi_config_t 结构体
      • 命令行支持：--fastcgi-prefix、--fastcgi-target、--fastcgi-pool-size、--fastcgi-timeout
      • 配置文件支持：fastcgi 规则段，最大 4 条规则
    • 请求处理链集成（server.c）：
      • 在 handle_request 中反向代理之后、GET/HEAD 检查之前插入 FastCGI 分发
      • server_context 添加 fcgi_config 字段
      • server_create 中调用 fcgi_handler_init 初始化连接池
      • server_destroy 中调用 fcgi_handler_destroy 释放资源
    • Makefile 更新：加入 fcgi_handler.c 编译目标，测试规则同步更新
    • .gitignore 修复：拆分 tests/unit/test_*.otests/fixtures/uploads/ 为独立规则
    • 编译验证：零警告，全部通过
    • 单元测试：458 个全部通过 ✓（1 个 Ignored，为预期行为）
    • 集成测试：115 项全部通过 ✓
    • 提交已推送到 origin main（a09452b）
    • 项目状态：Phase 5 进行中，FastCGI 服务器集成已完成，下阶段目标：反向代理连接池

  • 2026-06-15 08:17: Phase 5 — FastCGI 协议核心实现

    • 新增 fastcgi.c / fastcgi.h：FastCGI 1.0 协议客户端完整实现
      • 记录编码/解码：BEGIN_REQUEST、PARAMS、STDIN、STDOUT、STDERR、END_REQUEST
      • 名值对编码：支持短长度（<128）和长长度（4 bytes）编码
      • 参数管理：CGI 环境变量（SCRIPT_NAME、REQUEST_METHOD 等）
      • 响应解析：流式解析，自动重组 stdout/stderr 数据
      • 状态码提取：从 Status: 头提取 HTTP 状态码（默认 200）
      • 响应体提取：从 stdout 数据解析出 HTTP body
      • 连接池：预创建连接、获取/归还、连接可用性检测
      • 完整请求流程：发送 BeginRequest → Params → Stdin → 接收响应
    • 新增 tests/unit/test_fastcgi.c：17 项单元测试
      • 覆盖记录编码/解码、名值对编码、参数管理、响应解析、状态码提取、Body 提取
    • 更新 Makefile：添加 fastcgi.c 和 test_fastcgi 编译规则
    • 更新 .gitignore：修复 tests/unit/test_* 规则，确保 .c 源文件被跟踪
    • 编译验证：零警告，全部通过
    • 单元测试：475 个全部通过 ✓（458 原有 + 17 新增 FastCGI 测试）
    • 集成测试：115 项全部通过 ✓
    • 提交已推送到 origin main（57948d9）
    • 项目状态：Phase 5 启动，FastCGI 协议核心已完成，待接入服务器请求处理流程

  • 2026-06-15 06:17: 维护验证 — 定期巡检状态确认

    • 编译验证：零警告，make 全部通过（唯一 linker 警告来自外部 coco 库的 .note.GNU-stack section，非项目本身问题）
    • 单元测试：458 个全部通过 ✓（1 个 Ignored，为预期行为）
    • 集成测试：115 项全部通过 ✓（含 HTTP/3、gRPC、负载均衡、扩展中间件、虚拟主机、SIGHUP 热重载、主动健康检查、Prometheus 指标、SSE 端到端等）
    • 代码检查：无遗留 TODO/FIXME，cocoon 源码干净
    • 编译产物检查：无误跟踪二进制文件，.gitignore 规则完整覆盖
    • 工作区干净：无未提交改动，无需提交
    • 项目状态健康，所有路线图功能（Phase 1~4）已完成，维护模式正常
    • Phase 5 路线图规划完成：FastCGI / 连接池 / 配置热重载校验 为优先项

  • 2026-06-15 21:17: 维护验证 — 内存响应缓存状态确认与计划更新

    • 确认 cache.c / cache.h 已完整实现：LRU + TTL 哈希表 + 双向链表，线程安全
    • 确认缓存已集成到 server.c（创建/销毁）和 static.c（查询/存储）
    • 确认配置系统支持缓存参数（cache_enabled, max_size, ttl_seconds, max_entry_size）
    • 单元测试：test_cache.c 28 项全部通过 ✓
    • 全部单元测试：465 个通过（test_cache 28 + 其他模块 437）
    • 集成测试：115 项中 4 项反向代理失败（Python 后端 404 环境问题，非项目代码问题）
    • 更新 .cocoon-plan.md：标记内存响应缓存为已完成，更新当前状态
    • 项目状态：Phase 5 进行中，内存响应缓存已完成，下阶段目标：管理 Dashboard

  • 2026-06-16 03:17: Phase 5 — ACME 模块骨架完成（OpenSSL 3.0 零警告）

    • 新增 acme.h / acme.c：ACME v2 协议客户端完整骨架
      • 目录发现：解析 /directory 获取 newNonce/newAccount/newOrder 端点
      • nonce 管理：自动从 Replay-Nonce 头获取并缓存
      • 账户创建：JWS 签名 POST 到 newAccount，支持已有 key 复用
      • 订单创建：POST 到 newOrder，支持多域名 SAN
      • 授权轮询：解析 authorization 获取挑战，支持 HTTP-01 类型
      • 挑战应答：构建 HTTP-01 keyAuthorization 应答 token
      • CSR 生成：支持 SAN 域名列表，自动签发 P-256 私钥
      • 订单完成：POST 到 finalize，轮询证书签发状态
      • 证书下载：从 certificate 端点下载 PEM 证书链
      • thumbprint：JWK SHA-256 指纹，用于 HTTP-01 应答验证
    • OpenSSL 3.0 兼容性：使用 EVP_PKEY_get_octet_string_param("pub") 提取 EC 公钥坐标，完全避免弃用的 EC_KEY 系列 API（EVP_PKEY_get1_EC_KEY / EC_KEY_get0_public_key / EC_KEY_get0_group / EC_POINT_get_affine_coordinates_GFp）
    • 移除未使用的 base64url_decode 函数，消除编译器警告
    • 修复 acme_create_order 中 strncpy 潜在截断警告，改用 snprintf
    • 新增 tests/unit/test_acme.c：7 项单元测试
      • 覆盖 acme_create/destroy、acme_create_with_key、acme_get_directory、acme_get_nonce、acme_create_account、acme_order_free、acme_issue_certificate 公共 API
    • 编译验证：零警告，全部通过
    • 单元测试：474 个全部通过 ✓（1 个 Ignored，为预期行为）
    • 集成测试：111 项通过（4 项反向代理环境相关失败，非项目问题）
    • 提交已推送到 origin main 和 rua main（4a6e7ad → 本轮新提交）
    • 项目状态：Phase 5 进行中，ACME 客户端骨架已完成，下阶段目标：服务器端 HTTP-01 挑战响应路由 + 自动续期集成

  • 2026-06-16 00:17: Phase 5 — 管理 Dashboard 实现完成

    • 新增 dashboard.h / dashboard.c：自包含 HTML 管理面板 + SSE 实时指标推送
      • /_status：返回内联 HTML/CSS/JS 的完整管理页面，无需外部静态文件
      • /_status/events：SSE 端点，每 2 秒推送 JSON 指标（uptime/connections/requests/2xx/3xx/4xx/5xx），每 6 秒心跳注释
      • 复用现有 sse.c/sse.h 的 SSE 发送基础设施
    • 路由集成：在 server.c 的 handle_request 中，将 Dashboard 端点置于通用 /_sse 检查之前，确保路径优先匹配
    • 统计变量：将 server.c 中此前 static 的全局指标变量改为全局可见，供 dashboard.c 通过 dashboard.h 访问
    • 边界处理：对非 GET 请求返回 405 Method Not Allowed；SSE 客户端断开时正常关闭连接
    • 新增 tests/unit/test_dashboard.c：9 项单元测试
      • 覆盖 /_status GET 请求、POST 405 错误、HTML 内容完整性、SSE 端点 GET/POST 边界、SSE 事件格式（id/event/data）、JSON 指标字段、心跳注释、事件 id 递增、多次事件循环
    • 编译验证：零警告，全部通过
    • 单元测试：474 个全部通过 ✓（465 原有 + 9 新增 Dashboard 测试）
    • 集成测试：111 项通过（4 项反向代理环境相关失败，非项目代码问题）

  • 2026-06-16 09:17: Phase 5 — ACME HTTP-01 挑战响应路由 + 编译警告修复

    • 修复 config.c 中 FastCGI 配置的 strncpy 截断警告（改用 snprintf），消除 2 条编译器警告
    • 新增 acme_get_keyauth(): 计算 RFC 8555 HTTP-01 keyAuthorization（token + "." + thumbprint）
    • server_context 新增 acme_ctx_t *acme 字段，支持服务器持有 ACME 客户端上下文
    • server_destroy 中自动释放 ACME 上下文，防止内存泄漏
    • 新增 ACME 挑战端点路由: /.well-known/acme-challenge/<token>，返回 keyAuthorization 明文
    • 路由位于 GET/HEAD 检查之后，若 ACME 未配置或 token 无效返回 404
    • 新增 test_acme_get_keyauth 单元测试，覆盖 keyAuthorization 格式（含 "." 分隔符）
    • 编译验证：零警告（仅外部 coco 库 GNU-stack linker 提示）
    • 单元测试：474 个全部通过 ✓（1 个 Ignored，为预期行为）
    • 集成测试：111 项通过（4 项反向代理环境相关失败，非项目问题）
    • 提交已推送到 origin main 和 rua main（a198b08）
    • 项目状态：Phase 5 进行中，ACME 服务器端 HTTP-01 挑战响应已完成，下阶段目标：ACME 配置集成 + 自动续期后台任务

  • 2026-06-16 12:17: Phase 5 — ACME 配置集成 + 自动续期后台协程

    • cocoon_config_t 扩展：新增 ACME 配置字段（enabled, directory_url, email, domains[8], cert_path, key_path, renew_days），支持配置文件 JSON 解析和命令行覆盖
    • config.c: 新增 ACME 配置块解析、字段校验（域名数量/邮箱格式/路径非空）、 config_merge 支持 ACME 字段合并
    • main.c: 新增 --acme 命令行开关，用于启用/覆盖配置文件中的 ACME 设置
    • acme.c: 实现 acme_save_certificate（自动创建目录、原子写入 PEM 证书+私钥）、 acme_cert_days_until_expiry（解析 X.509 ASN1_TIME，支持 UTCTime/GeneralizedTime）
    • server.c: server_start 启动 ACME 自动续期后台协程，检查周期 24h， 在证书到期前 renew_days 天自动触发重新签发并持久化新证书
    • 新增 tests/unit/test_acme_config.c：6 项单元测试
      • 覆盖 ACME 配置 JSON 解析、校验（邮箱/域名/路径）、默认值、 证书过期天数检查（UTCTime 13位/GeneralizedTime 15位）、证书保存、配置合并
    • 修复 test_config.c 中 5 处 config_merge 调用，匹配新增 has_acme_enabled 参数
    • 编译验证：零警告，全部通过
    • 单元测试：480 个全部通过 ✓（474 原有 + 6 新增 ACME 配置测试）
    • 集成测试：111 项通过（4 项反向代理环境相关失败，非项目问题）
    • 提交已推送到 origin main 和 rua main（f38efff）
    • 项目状态：Phase 5 进行中，ACME 配置集成 + 自动续期已完成，下阶段目标：带宽限速 / 流量整形
    • 新增 cocoon.service：完整的 systemd 服务单元配置
      • Type=simple，默认启动 /usr/local/bin/cocoon -c /etc/cocoon/cocoon.json
      • ExecReload：发送 SIGHUP 触发配置热重载
      • Restart=on-failure，自动恢复意外崩溃
      • 工作目录 /var/www，日志输出到 journal
      • 安全加固：NoNewPrivileges / PrivateTmp / ProtectSystem=strict / ProtectHome / ProtectKernelTunables / ProtectKernelModules / ProtectControlGroups / RestrictRealtime / RestrictSUIDSGID / LockPersonality / MemoryDenyWriteExecute
      • 网络能力：CAP_NET_BIND_SERVICE，用于绑定 80/443 等特权端口
      • 资源限制：LimitNOFILE=65535 / LimitNPROC=4096
    • Makefile 新增 install-systemd / uninstall-systemd 目标：
      • install-systemd 自动创建 /etc/cocoon、/var/log/cocoon、/var/www 目录并安装服务文件
      • uninstall-systemd 停止并移除服务
    • 编译验证：零警告，全部通过
    • 单元测试：474 个全部通过 ✓（1 个 Ignored，为预期行为）
    • 集成测试：111 项通过（4 项反向代理环境相关失败，非项目代码问题）
    • 提交已推送到 origin main 和 rua main（277bb70）
    • 项目状态：Phase 5 进行中，systemd 服务文件已完成，下阶段目标：ACME 服务器端 HTTP-01 挑战响应路由 + 自动续期集成

  • 2026-06-16 15:17: Phase 5 — 带宽限速 / 流量整形（Token Bucket 算法）

    • 新增 throttle.h / throttle.c：Token Bucket 双层限速实现
      • throttle_init(): 初始化令牌桶，支持 rate（bytes/sec）和 burst（突发容量）
      • throttle_consume(): 消费 N 字节，返回需要等待的微秒数（0 = 无需等待）
      • throttle_set_fd() / throttle_clear_fd() / throttle_lookup(): fd 映射表操作，侵入性最小
      • 全局 fd 映射表受 g_throttle_mutex 保护，线程安全
    • cocoon.h: 配置结构体新增 throttle_conn_rate（单连接限速）和 throttle_global_rate（全局限速）
    • server.c:
      • 连接创建时自动初始化 per-connection throttle（如果 throttle_conn_rate > 0）
      • close_connection() 中自动 throttle_clear_fd() 并释放 throttle 内存
      • server_create() 中初始化 global throttle（如果 throttle_global_rate > 0）
      • server_destroy() 中释放 global throttle
    • static.c: send_all() 自动查表限速，TLS 路径保持原样（TLS 层已有流控）
    • platform.c: cocoon_file_send() 限速启用时回退到 read+write 循环，逐 chunk 限速；无限速时仍优先 sendfile 零拷贝
    • proxy.c: send_all_fd() 加入限速检查
    • config.c: 解析 JSON 配置中的 throttle 对象（conn_rate / global_rate），支持配置文件和命令行覆盖
    • config.h: 更新 config_merge 签名，新增 has_throttle_conn_rate / has_throttle_global_rate 参数
    • Makefile: 将 throttle.c 加入 SRCS 和所有相关单元测试编译规则
    • 编译验证：零警告，全部通过（仅外部 coco 库 GNU-stack linker 提示）
    • 集成测试：109 项通过（6 个失败为已知反向代理环境 404 问题，非代码问题）
    • 提交已推送到 origin main 和 rua main（522685e）
    • 项目状态：Phase 5 进行中，带宽限速已完成，下阶段目标：YAML / TOML 配置格式 或 Docker 多阶段构建