Backup/ARTEX
1
0
Fork 0
mirror of https://github.com/BaaRai/ARTEX.git synced 2026-11-15 12:40:55 +08:00
Code Issues Packages Projects Releases Wiki Activity
613 Commits 137 Branches 4 Tags
fix/node-22
Commit Graph
14 Commits
Author SHA1 Message Date
BaaRai e233c02314 Translate all Chinese text to English 
Comments, doc comments, UI labels, log and error messages, LLM prompt
strings, markdown docs, test data and assertions. Identifiers, enum
keys, routes, placeholders and code structure are unchanged.

Notes:
- docs/漏洞流量证据.md renamed to docs/vulnerability-traffic-evidence.md
- tests that exercised CJK specific handling (GBK zip names, Chinese
  full text search) now use ASCII equivalents; go build passes and the
  test suite matches the pre translation baseline (remaining failures
  need a PostgreSQL DSN and fail identically on the original)
- frontend mention syntax now uses English kinds (finding, asset, ...)
  matching the backend, chat mentions tests pass
 2026-10-08 23:14:34 +02:00
榆木 6b146d6c1b fix(llm): 一次性 LLM 调用补挂 session id，让自定义会话头真正生效 (#175) 
自定义会话头（profile 的 session_header_key）的头值取自请求 context 上的
session id，而该 id 由 agentcore 仅在挂载 transcript store 时才写入 context
（agentcore.Prompt 中 `if s.writer != nil` 那一行）。

目标拆解（第 0 轮，DecomposeGoalsWithProvider）与冷节点压缩（§4 body 调用）
都是不挂 store 的一次性调用，context 上没有 session id，quotaAwareTransport
因此跳过该头。对 opencode zen 这类「缺 x-opencode-session 直接 400
MissingSessionID」的端点，表现为「第 0 轮目标拆解 400 失败、后续 planner
轮次却完全正常」；压缩失败则只留一行日志，极难关联到本设置。

改为在这两条路径显式挂上按探索稳定的 session id（exp<N>-goals /
exp<N>-compactor），与旁路问答、连接测试已有的做法一致。附带修好用量归因：
这两个 id 能被 llmrec.parseSession 正确解析，此前这两条路径的 token 完全
记不进 llm_usage。
 2026-09-29 18:21:30 +08:00
Autumn-27 1f759bea3d refactor(agent): 测试范围与资产覆盖度开关解耦，移除 insert_assets 的 related 入参 
task_scope 是任务的授权边界、资产查询的过滤基准，覆盖度开关只该决定要不要
拿它当分母算指标，不该决定要不要累积范围本身。此前关闭覆盖度会让 auto 与
agent 两条写入路径同时失效，task_scope 只剩界面手工添加的行。

- insert_assets 的自动入范围(source='auto')无条件执行，不再判 coverageDisabled
- add_task_scope 移出 coverageOnlyTools，planner / 任务内主 Agent / 目标拆解
  Agent 在覆盖度关闭时照样持有；list_untested_assets 仍随开关隐藏（纯覆盖度视角）
- 移除 insert_assets 每条资产的 related 入参：唯一作用是决定要不要入范围，值又
  不落库（同一资产再次登记即作废、界面上也看不出谁被判为无关），连带删除
  StripCoverageParams 及其专用的 deepCopyJSONMap / nestedMap
- add_task_scope 与 goalsScopeTail 的描述改为「授权边界」优先、「覆盖度分母」其次
 2026-09-11 13:33:44 -04:00
Autumn-27 a0c17701c2 feat(llm): 模型配置新增输出上限,支持 max_completion_tokens 字段名 
llm_profiles 加两列:max_tokens(单次回复输出上限,0=不发送该字段,由服务端
默认值决定)与 max_tokens_field(上限发哪个键)。后者仅对 format=openai 生效:
空(默认)= max_tokens;'max_completion_tokens' = 新键。OpenAI 推理模型
(o 系列/GPT-5)拒收 max_tokens、只认新键,而多数兼容网关反过来只认旧键,
故做成显式开关而非自动推断。anthropic 与 openai-responses 自带字段名,
存下来只会误导,保存时一并清空。

顺带补上一处从未接通的链路:planner/worker/chat/mainagent/goals 五个
agentcore.Options 都没设过 MaxTokens,恒为 0——openai 系因 omitempty 压根
不发上限,anthropic 走 norma 的 8192 兜底。光加配置项而不接这条线,用户在
后台填了数字也不会生效,故本次一并接通,取值与 streaming 一样按 profile
每轮解析,故障转移切换后下一轮即生效。

task_llm.go 里 nonStreaming() 的来源优先级(agent 绑定 → 任务链激活 profile
→ 全局)抽成共用的 activeCfg(),避免 maxTokens() 再抄一份同样的三级回退。

norma 升到 v0.3.3(该版本提供 Config.MaxTokensField)。go.mod 只动 norma 这
一行:仓库此前未 tidy 过,跑 go mod tidy 会顺带升 x/crypto、x/net 等一批无关
依赖,不混进本次改动。

迁移:新列走 ADD COLUMN IF NOT EXISTS + 默认 0/'',旧库升级后行为完全不变;
CHECK 约束限定取值,每次启动先删后建保持幂等。
 2026-08-31 12:20:31 -04:00
Autumn-27 ab558d69bf feat(llm): 每个 LLM 配置支持流式/非流式切换(默认流式) 
依赖 norma v0.3.0 的 Provider.Complete。为每个 llm_profile 增加 streaming
开关:开(默认)走流式 SSE;关走真·非流式(stream:false、一次性返回完整
JSON),可绕开部分网关糟糕的 SSE 实现(空帧、思考字段丢帧),代价是失去
运行中的实时进度与实时 token 计数。

- agent.Config.Stream → agentcore.Options.NonStreaming = !Stream;worker /
  planner / mainagent / chat / goals 经 SetNonStreaming resolver 注入,任务
  路由按当前激活 profile 动态取值
- llmpool.Pool / llmrec.Recorder / taskLLMRuntime 三个 Provider 包装均实现
  Complete(分别带故障转移 / 录制 / 同 provider 重试与额度 failover),使
  输出、token 统计、操作统计、LLM 录制四条链路在非流式下保持兼容
- db: llm_profiles 新增 streaming 列 + ALTER 补旧库(默认 true,旧配置无感)
- 系统 → LLM 配置表单增加「流式输出」开关
 2026-08-25 10:49:47 -04:00
Autumn-27 b885bf98c0 feat(constraints): 操作约束抽取→注入 planner/worker 提示→总览管理 
- 新表 task_constraints(allow/deny),CREATE TABLE IF NOT EXISTS 无需迁移
- 新工具 set_constraints:目标拆解器 round-0 先抽约束再拆目标、主 agent 运行时可补;
  拆解器提示词要求约束自包含(把「当前目标」等指代替换成具体域名/端口)
- constraintBlock 按最高优先级注入 planner+worker 系统提示;去偏:多样性/拓面显式服从约束
- 注入范围可配置(constraints_inject_planner/worker,默认都开,每轮读、即时生效)
- 总览「约束管理」卡片 + CRUD 接口(增删改不通知 planner,下轮规划自然读到)
- goals 提示词把抽约束步并入可编辑正文;旧库经 flag 守卫的一次性 reseed 追加新默认版本
 2026-08-23 12:48:01 -04:00
pphua 6bf99d2a32 feat(tasks): add inherited context and resilient LLM execution 
Add read-only task context inheritance, ordered task-level LLM failover, live Worker controls, cascading task cleanup, FIFO task concurrency, cancellation diagnostics, UI updates, tests, build script, and changelog.
 2026-08-20 18:34:24 +08:00
Autumn-27 f5ac10e1b5 feat(llm): LLM 配置轮询(故障转移),某个配置没额度/失效时自动切下一个 
默认关闭。开启后「未指定模型」的 agent 在当前配置不可用(402 余额不足 /
401 key 失效 / 429 限流 / 5xx)时自动切到下一个配置;agent 绑定或任务 pin
了配置的默认不轮询(绑定即独占,可由 llm_pool_bind_fallback 打开兜底)。

链序 = 激活配置 + 其余按 priority DESC,排除 pool_exclude 的。只给
llm_profiles 加两列,不引入关联表,所以 agents/tasks/conversations 对
llm_profile_id 的四处引用一行未改。

核心约束:只在本次调用尚未 yield 出任何事件时切换成员。已经吐出
text_delta / tool_use_start 后中途断流一律原样上抛(交给 agentcore 的
resume),否则重发同一 request 会重复输出、污染会话历史。SDK 的 doStream
保证 4xx/5xx 在读 body 前返回,所以目标场景都落在这个安全窗口内。

context.Canceled / DeadlineExceeded 绝不触发切换——那是用户取消或任务
超时,误判会白烧备用 key 并污染 b70e4b5 的终止原因诊断。400 也不切
(请求本身有问题,换模型结果一样)。

熔断:402/401/403/404 一次即熔断,429/5xx/网络错误连续 3 次;冷却
60s→5min→30min 退避,到期半开试探,成功清零。Registry 是进程级的,独立
于 provider 缓存,重建链路不丢状态,且全进程共享(A 任务撞见的 402,B 任务
立刻知道)。状态旁路落库,重启只恢复尚未到期的冷却窗口。

上下文窗口装不下当前请求的成员直接跳过(必然 400),不把主力模型的窗口
压到全链最小值。全员熔断时仍探链首,不让引擎停摆。

Pool 包在 llmrec 外面、每个成员自带 recorder,失败调用会以 status=error
+ 正确的 profile 名进 llm_records;切换/熔断走 log.Printf,自动出现在
系统日志页。

顺带修两个既有问题:
- DecomposeGoals 原本自己 NewProvider(),绕过限速器/录制/轮询,且每个
  任务新建一个实例——改为由 server 传入共享 provider
- saveLLMConfig 会把 priority/pool_exclude 重置为零值

前端:LLM 页新增轮询卡片(总开关/兜底开关/实际链路顺序/健康徽章/冷却
倒计时/立即恢复),配置编辑区加优先级与「不参与轮询」。

只有一个配置时链长度为 1,poolChain 返回 nil 走裸 provider,行为与开关
打开前完全一致。设计见 docs/LLM轮询设计.md。
 2026-08-19 11:07:53 -04:00
Autumn-27 bbc01f079d feat: set_goals 升级为受管领域工具(可 web 管理,默认绑 goals+mainagent)+ 主 agent 加目标复活任务 
- set_goals 从目标拆解器内联提交工具,改为入 tools 目录的领域工具:直接写 goal 节点、
  连任务根(RelSpawns)、notify 唤醒 planner;支持单条/批量;origin 按来源区分
  (拆解器=goals、主 agent 运行时=human)。新 key 走 SeedTool 首插入,旧库无需迁移。
- 默认绑定 goals + mainagent:目录 seed 新增 goals 项并入 order,MainAgentTools 纳入;
  DecomposeGoals 统一改用同一受管工具直接落库,createGoals 只保留无产出兜底。
- 主 agent 通过 set_goals 新增目标时,把终态(done/failed/timeout)/暂停的任务拉回
  running 继续跑:新增 ToolSet.resumeTask 回调(仅 mainagent 接线),经 resumeTaskForGoal
  置 running + engine.Run(幂等/重启后重起循环)+ 解除暂停。拆解器/worker 不触发。
- mainagent 提示词补充 set_goals 用法。
 2026-08-17 09:01:19 -04:00
Autumn-27 4e36eb8974 feat: 提示词新增全局变量 DataDir + 触发合并/种子意图默认值调整 
- prompt: 新增全局运行时变量 {{.DataDir}}(服务端数据根目录 s.m.dir),
  与 {{.Now}} 一样对所有 agent(planner/worker/mainagent/goals/chat 及自定义)可用;
  各 Vars 结构体加 DataDir 字段并在渲染时填入根 workDir,globalPromptVars 登记以便
  校验/UI 变量列表/预览识别(纯运行时变量,不入库,无需迁移)。
- trigger_merge_mode 默认 by_task→all(schema/config/后端兜底/前端初值同步)。
- seed_first_intent 默认 true→false(走标准先规划再执行);spawn_task 不再暴露该参数,
  工具建任务一律 false。
 2026-08-15 00:19:14 -04:00
Autumn-27 a19baa39e0 feat(agent): 新增通用 {{.Now}} 提示词变量(每轮实时渲染) 
- 各 agent 渲染路径(chat/worker/mainagent/goals/planner)统一提供 Now(nowStr());
  自定义会话 agent 每次触发都会重新 renderSystem,故 {{.Now}} 每轮实时刷新
- server 端 globalPromptVars + withGlobalVars:在保存校验/变量列表/预览/详情放行
  {{.Now}},否则引用它的自定义提示词会被 validateTemplate 拒绝
- 无 DB 迁移(handler 层注入通用变量,不动 agent_prompt_vars 表)
- 用途:配合固定的开始时间戳相减,判断"已运行多久/是否进入最后N小时"
- 新增 agent/prompt_now_test.go:{{.Now}} 渲染实时时间、未知变量安全回退
 2026-08-11 10:45:02 -04:00
Autumn-27andClaude Opus 4.8 b128818f25 fix(goals): URL/带子域目标登记为 subdomain，禁止缩成根域 
修正目标设定 agent 把带子域的 URL 目标(如 https://xxx.example.net/)
误登记成整个根域 example.net、放大测试范围的问题。goalsScopeTail 明确：
URL/主机名一律取完整主机名 kind=subdomain，禁止归约到 eTLD+1；仅裸根域名
或用户明说「整站/所有子域」才用 root_domain。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-08-08 12:59:58 -04:00
Autumn-27andClaude Opus 4.8 545fd535fa feat(goals): 目标设定 agent 提取并登记测试资产范围 
- DecomposeGoals 新增 as/taskID 参数，有效时复用 add_task_scope 工具挂入本次调用
- 追加 code-owned tail(仅工具挂上时)：从目标/描述提取明确的
  root_domain/subdomain/ip/cidr 并登记为 task_scope；只登记明确写出的、
  拿不准选更精确的；不处理 company(任务刚建公司通常未入库、名字解析不上，
  留给 plan 阶段)
- MaxTurns 4→6；server createGoals 传入 AssetStore + 数字 taskID

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-08-08 12:30:51 -04:00
Autumn-27andClaude Opus 4.8 0ef8561411 chore: ARTEX 初始化 
ARTEX — AI 自主渗透测试系统（Go 后端 + Next.js 前端，单二进制内嵌）。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-07-26 04:27:45 -04:00