比能力更重要的是靠谱，大模型也一样（我们与AI合作的四个层级）

去年，我把大部分自称出色的文献阅读AI助手都试用了一遍，竟没有一款中意的。半年过去，情况好了许多。虽说还是没见到非常理想的，但总算能选出两款，结合使用，相互补充，基本能达到要求，这已经很不错了。如今，这些工具已成为我保证效率的必备之物。

我相信，从现在直到未来相当长的一段时间，我和AI的关系一定是紧密相伴，各司其责。AI替代不了人，但人也很难离得开AI。

近日，我在《美国计算机学会通讯》（Communications of the ACM）第67卷第4期看到一篇由多国专家合写的观点文章，他们提出了一个人类与大语言模型的工作协作谱，在全手动和全自动之间，存在四个层级：

1. 人工手动：人类独立做出所有相关性判断和决策，效率较低。

2. 模型辅助：大模型（LLM）提供辅助，例如生成文档摘要，帮助人类快速决策。这可以提高效率，但需要研究如何确保决策的可靠性和公正性。

3. 半自动（人在回路）：由LLM先给出初步结果，人类再进行验证或选择最佳决策。这增加了规模化的能力，但需要确定哪些决策过程的子任务需要人类参与，哪些不应被机器取代。

4. 全自动：如果LLM能可靠地完成某项任务，则可以完全替代人类。然而，这依赖于LLM的表现是否始终如一、准确无误。
   
   

整个协作谱可概括为下图：

让大模型有效落地的关键，在于找到正确的协作级别，尤其是需要研究如何在上述第2和第3层级中对协作进行优化，以提高决策过程的效率、效果和公平性。

高质量任务的完成，可能存在于上述级别的某个中间地带，具体则取决于如何平衡人类的判断力和LLM的技术能力，以及如何确保决策的可验证性和减少错误。

人与人的合作，常有“靠谱比能力更重要”的说法，我们和AI的合作也是一样。不必迷信技术，不要把技术抽象化、概念化，要深入客观地去理想它的真实能力，引导它向着“靠谱”的方向发展演化，让它成为真正有“团队精神”的好伙伴，这就够了。

参考文献：
Who Determines What   Is Relevant? Humans or AI? Why Not Both? - A spectrum of human–artificial intelligence collaboration in assessing relevance.
https://dx.doi.org/10.1145/3624730