Scholar Evaluation¶

使用此技能，通过可复现的评分标准评估学术或科学工作。

使用场景¶

• 审阅研究论文、提案、论文或文献综述。
• 确认主张是否由所引用的证据支持。
• 评估方法论、研究设计、分析或局限性。
• 比较两篇或多篇论文的质量或相关性。
• 为修订创建结构化反馈。

评估范围¶

首先确定成果物：

• 实证研究论文
• 理论论文
• 技术报告
• 系统性或叙述性文献综述
• 研究提案
• 论文或学位论文的章节
• 会议摘要或短篇论文

然后选择范围：

• 全面：所有评分标准维度
• 聚焦：一个或两个维度（如方法或引用）
• 比较：对多个作品按同一评分标准进行排名

评分标准¶

对每个适用维度按 1 到 5 打分：

• 5：优秀；清晰、严谨，已具备发表水平
• 4：良好；需要轻微改进
• 3：合格；存在有意义的差距但可用
• 2：较弱；需要实质性修订
• 1：不足；存在主要有效性或清晰性问题

对不适用的维度使用 N/A。

1. 问题与研究问题¶

• 问题是否清晰且具体？
• 贡献是否有意义？
• 范围和前提是否明确？
• 问题是否与所声称的贡献一致？

2. 文献与背景¶

• 是否覆盖了相关先行研究？
• 工作是否整合了来源，而非仅仅罗列来源？
• 是否准确识别了差距？
• 近期来源与基础来源是否平衡？

3. 方法论¶

• 方法是否回答了研究问题？
• 设计选择是否有正当理由？
• 变量、数据集、参与者或材料是否清晰说明？
• 其他研究者能否复现该研究？
• 是否认识到伦理和实际限制？

4. 数据与证据¶

• 数据来源是否可靠且适当？
• 样本量或语料库覆盖是否充分？
• 纳入、排除和预处理决定是否有文档记录？
• 是否讨论了缺失数据和偏差风险？

5. 分析¶

• 统计、定性或计算方法是否适当？
• 基线和对照是否公平？
• 是否包含所需的不确定性、敏感性或稳健性检查？
• 是否考虑了替代解释？

6. 结果与解释¶

• 结果是否清晰呈现？
• 主张是否保持在证据范围内？
• 图表和指标是否易于理解？
• 负面或无效结果是否得到诚实处理？

7. 局限性与效度威胁¶

• 局限性是否具体而非笼统？
• 是否处理了内部、外部、构念和结论效度风险？
• 论文是否区分了推测性结果和实证结果？

8. 写作与结构¶

• 论证是否易于理解？
• 各部分是否围绕研究问题组织？
• 定义和符号是否清晰？
• 语气是否准确且学术？

9. 引用¶

• 所引用的论文是否支持其被赋予的主张？
• 是否尽可能使用一手来源？
• 综述是否被标注为综述？
• 预印本是否被标注为预印本？
• 引用元数据和链接是否正确？

评审流程¶

1. 阅读摘要、引言、图表和结论，了解所声称的贡献。
2. 阅读方法和结果，了解证据质量。
3. 将最强主张与所引用来源进行核对。
4. 对每个适用维度打分。
5. 将重大阻碍与修订建议分开。
6. 以具体的下一步编辑结束。

输出模板¶

# Scholar Evaluation: <成果物>

## 総合評価

- 総合スコア: <1-5 または N/A>
- 信頼度: <高 | 中 | 低>
- サマリー: <3-5 文>

## 次元スコア

| 次元 | スコア | 証拠 | 改訂優先度 |
| --- | ---: | --- | --- |
| 問題と質問 |  |  |  |
| 文献とコンテキスト |  |  |  |
| 方法論 |  |  |  |
| データと証拠 |  |  |  |
| 分析 |  |  |  |
| 結果と解釈 |  |  |  |
| 限界 |  |  |  |
| 文章と構造 |  |  |  |
| 引用 |  |  |  |

## 重大な問題

## 推奨される改訂

## 必要な証拠確認

常见陷阱¶

• 不要将分数用作具体反馈的替代。
• 不要因省略范围外的维度而惩罚论文。
• 不要将引用数量、发表地点或作者声誉作为质量证据。
• 不要因为主张出现在摘要中，就接受缺乏依据的主张。