背景定期更新临床实践指南(CPG)的文献证据是必要的,但耗时。人工智能(AI)工具,如Covidence,可能会加速文献筛选。我们前瞻性地评估了两个 Covidence 功能的有效性和准确性:自动标记过滤器(采用 Cochrane 的 RCT 分类器),用于识别两个癌症相关 CPG 中的随机对照试验(RCT)和机器学习辅助标题和摘要(I 期)筛查。
方法我们更新了安大略省卫生部(安大略省癌症护理)循证护理(PEBC)项目中乳腺癌和肺癌CpG的文献检索。两位方法学家通过指出前 25 篇参考文献中哪些被 Covidence 的 RCT 过滤器标记来训练机器学习模型。主要成果包括工作量和时间节省、抽样节省的工作(WSS),以及对原始指南建议是否需要更改的影响。
结果共有1,270例(乳腺癌)和1,734例(肺癌)参考文献被导入Covidence。其中,使用 Covidence 的 RCT 过滤器将 633 例乳腺癌和 656 例肺癌参考文献标记为可能的 RCT,需要在 I 期进行审查。Covidence 的 RCT 过滤器以很高的准确性排除了非 RCT,减少了 50.2%(乳腺癌)和 62.2%(肺癌)的人工筛查。对于I期筛查,Covidence在95%灵敏度下分别减少了48.3%和55.2%的工作量,在100%灵敏度下分别减少了44.2%和16.9%的工作量。WSS值与这些减少一致。由于筛选的参考文献数量很少,而且最初接受使用Covidence的培训需要时间,因此节省的时间很少。在95%的灵敏度下,每个CPG缺少一个纳入的参考文献,但指导原则建议保持不变。
结论Covidence AI辅助筛查可以通过减少工作量来有效地支持更新肿瘤学CPG的文献综述,而不会损害最终建议的完整性。95%的检测阈值可以在效率和准确性之间提供实际的平衡。