数据挖掘与预测
数据挖掘是 Scopwis 的一级工作区。它直接暴露服务端已经注册的确定性分析目录,不再把高级能力藏在 Agent tool 名字里。
方法类别
当前目录覆盖:
- 画像、稳健统计、缺失、重复键和尾部分析;
- 聚类、密度分群、PCA 与聚类质量;
- 异常与局部密度离群;
- 关系、非线性依赖、偏相关、lead/lag 与稳定性;
- 时间序列趋势、季节性、变点、滚动区间与预测;
- 漂移与分布变化归因;
- 二元排序、校准、分类和回归诊断;
- 实验/组间比较与稳健效应量;
- 事件/状态、生存、留存和事件间隔;
- 因子生成、因子挖掘、signal evaluation、policy simulation 与量化绩效。
目录由已注册 method contract 驱动。UI 中的名字只是产品入口;真正可执行的 method ID、参数 schema 和质量约束由 Server 提供。
启动一个方法
- 打开 数据挖掘。
- 按分类筛选或搜索方法。
- 选择一个 starter。
- 检查并编辑生成的请求。
- 点击 开始分析。
目录支持按分类、名称和方法 ID 筛选。窄屏选择方法后进入详情,返回目录时保留该方法已编辑的请求。
只选择方法不会执行任何东西。明确的“开始分析”动作会让请求进入和“分析”工作区相同的 AgentPlan、授权、Query Safety、Artifact 和 Critic 门禁。
预测必须防泄漏
预测和时间序列方法必须遵守时间边界。Forecast、rolling 等方法使用显式历史/训练窗口;未来观察不能影响更早 baseline。无法满足排序、样本或质量契约时,方法必须失败关闭,而不是偷偷换一种算法。
预测输出只是对当前方法和验证窗口的证据,不自动等于“可以直接上线”的决策。
滚动分位数区间
使用 rolling_quantile_band,可以把每个数值与之前 5–500 次观察形成的区间比较。输入须包含 6–10,000 行,时间严格递增。lower_percent 可选 1–49,upper_percent 可选 51–99,默认分别为 5 和 95;top_n 可选 1–200,控制返回多少条越界记录。
方法会检查每个窗口,再按越界幅度从大到小返回结果;幅度相同时保留原始行顺序。调小 top_n 可以减少保留的排名候选和结果构建开销,但不会抽样或提前停止校验。历史值完全相同时,零宽度区间仍然有效。非有限输入,或数值范围无法表示的区间宽度、越界幅度,会使分析停止,而不是悄悄在报表里写入空值。越界只表示与历史区间存在差异,不说明差异的原因。
比较分布漂移
quantile_shift_profile 比较显式指定的基线和当前数据工件,输出 P05/P25/P50/P75/P95 以及四分位距(IQR)。只要基线四分位距大于零,即使数值非常小,比例仍然有定义;不能因为换了计量单位就把非零变化判成零。只有基线四分位距精确为零时,才返回 zero_baseline_iqr=true 和空比例。当前四分位距为零、基线大于零时,比例为零。
差值或比例超出有限数值范围时,方法返回结构化执行错误,不会在成功的分析工件或报表里悄悄替换为空值。结果只描述给定分布的差异,不会自动修正数据,也不能确定漂移原因。
恒定因子输入
因子挖掘与组合的 Pearson 诊断在任一有限输入序列恒定时返回零。这包括 [1e100; 10] 这样的重复大数值:均值计算中的舍入不能制造相关系数为 1 的假象。变化序列沿用既有的相关性计算,以及样本标准差 1e-12 的阈值。结果仍只衡量关联程度。
怎么解释 Mining 结果
已注册方法返回结构化 artifact、诊断和限制。Scopwis 不会把相关性说成因果,把 anomaly score 说成欺诈,把 drift 说成根因,也不会把回测直接说成交易建议。
需要决策型叙事时,回到“分析”让 Agent 把 mining artifact 和其他证据一起综合;需要视觉交付时,请生成报表。