深麦咨询
内容阅读

比能力更重要的是靠谱,大模型也一样(我们与AI合作的四个层级)

1
发表时间:2024-07-26 16:01作者:马学海

去年,我把大部分自称出色的文献阅读AI助手都试用了一遍,竟没有一款中意的。半年过去,情况好了许多。虽说还是没见到非常理想的,但总算能选出两款,结合使用,相互补充,基本能达到要求,这已经很不错了。如今,这些工具已成为我保证效率的必备之物。

我相信,从现在直到未来相当长的一段时间,我和AI的关系一定是紧密相伴,各司其责。AI替代不了人,但人也很难离得开AI。

近日,我在《美国计算机学会通讯》(Communications of the ACM)第67卷第4期看到一篇由多国专家合写的观点文章,他们提出了一个人类与大语言模型的工作协作谱,在全手动和全自动之间,存在四个层级:

  1. 人工手动:人类独立做出所有相关性判断和决策,效率较低。

  2. 模型辅助:大模型(LLM)提供辅助,例如生成文档摘要,帮助人类快速决策。这可以提高效率,但需要研究如何确保决策的可靠性和公正性。

  3. 半自动(人在回路):由LLM先给出初步结果,人类再进行验证或选择最佳决策。这增加了规模化的能力,但需要确定哪些决策过程的子任务需要人类参与,哪些不应被机器取代。

  4. 全自动:如果LLM能可靠地完成某项任务,则可以完全替代人类。然而,这依赖于LLM的表现是否始终如一、准确无误。

整个协作谱可概括为下图:

图片

让大模型有效落地的关键,在于找到正确的协作级别,尤其是需要研究如何在上述第2和第3层级中对协作进行优化,以提高决策过程的效率、效果和公平性。

高质量任务的完成,可能存在于上述级别的某个中间地带,具体则取决于如何平衡人类的判断力和LLM的技术能力,以及如何确保决策的可验证性和减少错误。

人与人的合作,常有“靠谱比能力更重要”的说法,我们和AI的合作也是一样。不必迷信技术,不要把技术抽象化、概念化,要深入客观地去理想它的真实能力,引导它向着“靠谱”的方向发展演化,让它成为真正有“团队精神”的好伙伴,这就够了。


参考文献:
Who Determines What   Is Relevant? Humans or AI? Why Not Both? - A spectrum of human–artificial intelligence collaboration in assessing relevance.
https://dx.doi.org/10.1145/3624730


分享到: