百炼决策模型 decision-model-preview
原生概率
阿里云百炼 · 协议 native_decisions ·
数据集 1.1.0 / 切分 split_v1.1 /
scorer 1.0 / policy policy_v1
· 厂商回报版本 decision-model-preview
准确率
88.0%
与程序金标一致的比例
DRS
72.0
技能分归一化后的主分
E-AURC
0.0104
越小越懂得弃答
中英差
0.057
平行语料上的技能分差
校准
校准回归的截距反映整体偏移，斜率反映概率是过于自信还是过于保守： 斜率小于 1 表示自信过头。ECE 只做诊断，不进主分，因为它对分箱方式敏感。
截距
4.4312
斜率
1.9041
ECE
0.1402
| 概率区间 | 平均预测概率 | 实际正确率 | 样本数 |
|---|---|---|---|
| [0.00, 0.10) | 0.022 | 0.097 | 31 |
| [0.10, 0.20) | 0.163 | 0.750 | 4 |
| [0.20, 0.30) | 0.300 | 1.000 | 1 |
| [0.30, 0.40) | 0.000 | 0.000 | 0 |
| [0.40, 0.50) | 0.435 | 1.000 | 2 |
| [0.50, 0.60) | 0.567 | 1.000 | 3 |
| [0.60, 0.70) | 0.000 | 0.000 | 0 |
| [0.70, 0.80) | 0.760 | 1.000 | 2 |
| [0.80, 0.90) | 0.000 | 0.000 | 0 |
| [0.90, 1.00) | 0.978 | 1.000 | 19 |
风险覆盖曲线
横轴是把最没把握的样本交给人之后剩下的自动化比例，纵轴是这部分自动化的错误率。 工程上关心的是「错误率压到 5% 时还能自动处理多少」，即曲线与该横线的交点。
| 覆盖率 | 选择性风险 |
|---|---|
| 0.5% | 0.0000 |
| 5.5% | 0.0000 |
| 10.5% | 0.0000 |
| 15.5% | 0.0000 |
| 20.5% | 0.0000 |
| 25.5% | 0.0000 |
| 30.5% | 0.0000 |
| 35.5% | 0.0000 |
| 40.5% | 0.0000 |
| 45.5% | 0.0000 |
| 50.5% | 0.0039 |
| 55.5% | 0.0085 |
| 60.5% | 0.0083 |
| 65.5% | 0.0076 |
| 70.5% | 0.0142 |
| 75.5% | 0.0199 |
| 80.5% | 0.0311 |
| 85.5% | 0.0468 |
| 90.5% | 0.0718 |
| 95.5% | 0.1021 |
家族切片
| 切片 | 指标 | 取值 | 95% CI | 样本 |
|---|---|---|---|---|
candidate_rerank |
skill |
0.9959 | — | 16 |
candidate_rerank |
accuracy |
1.0000 | — | 16 |
complexity_routing |
skill |
0.7667 | — | 16 |
complexity_routing |
accuracy |
0.8125 | — | 16 |
context_rot |
skill |
0.7872 | — | 14 |
context_rot |
accuracy |
0.8571 | — | 14 |
evidence_relation |
skill |
0.8196 | — | 22 |
evidence_relation |
accuracy |
0.9545 | — | 22 |
extraction_validation |
skill |
0.9932 | — | 14 |
extraction_validation |
accuracy |
1.0000 | — | 14 |
intent_routing |
skill |
0.9781 | — | 22 |
intent_routing |
accuracy |
1.0000 | — | 22 |
memory_value |
skill |
-0.5217 | — | 20 |
memory_value |
accuracy |
0.5500 | — | 20 |
named_score |
skill |
0.4262 | — | 20 |
named_score |
accuracy |
0.6000 | — | 20 |
negation_indirection |
skill |
0.9861 | — | 15 |
negation_indirection |
accuracy |
1.0000 | — | 15 |
option_coverage |
skill |
0.9925 | — | 15 |
option_coverage |
accuracy |
1.0000 | — | 15 |
passage_relevance |
skill |
0.9709 | — | 13 |
passage_relevance |
accuracy |
1.0000 | — | 13 |
underdetermined |
skill |
0.7901 | — | 13 |
underdetermined |
accuracy |
0.9231 | — | 13 |
鲁棒性切片
| 切片 | 指标 | 取值 | 95% CI | 样本 |
|---|---|---|---|---|
filler_inject |
flip_rate |
0.0000 | — | 22 |
injection_inject |
flip_rate |
0.0000 | — | 22 |
语言切片
| 切片 | 指标 | 取值 | 95% CI | 样本 |
|---|---|---|---|---|
en |
drs |
74.8986 | — | 102 |
en |
accuracy |
0.9020 | — | 102 |
zh-CN |
drs |
69.1973 | — | 98 |
zh-CN |
accuracy |
0.8571 | — | 98 |
en |
aurc |
0.0125 | — | 102 |
zh-CN |
aurc |
0.0248 | — | 98 |
en |
ece |
0.1347 | — | 32 |
en |
calibration_intercept |
10.4254 | [-5.3797, 26.2305] | 32 |
en |
calibration_slope |
5.0753 | [-2.1442, 12.2948] | 32 |
en |
murphy_reliability |
0.0544 | — | 32 |
zh-CN |
ece |
0.1460 | — | 30 |
zh-CN |
calibration_intercept |
8.0703 | [-2.5831, 18.7237] | 30 |
zh-CN |
calibration_slope |
2.5298 | [-0.4147, 5.4743] | 30 |
zh-CN |
murphy_reliability |
0.0584 | — | 30 |
风险档位
| 切片 | 指标 | 取值 | 95% CI | 样本 |
|---|---|---|---|---|
0.1 |
csac |
— | — | 200 |
0.05 |
csac |
— | — | 200 |
0.01 |
csac |
— | — | 200 |
效率与成本
| 切片 | 指标 | 取值 | 95% CI | 样本 |
|---|---|---|---|---|
latency |
latency_p50_ms |
1066.4761 | — | 200 |
latency |
latency_p95_ms |
2345.2617 | — | 200 |
cost |
cost_per_10k_questions |
0.0000 | — | 200 |
tokens |
mean_input_tokens |
147.1000 | — | 200 |
