GETTY IMAGES
供稿:杨泓奕
This article is part of our exclusive IEEE Journal Watch series in partnership with IEEE Xplore.
程序员花了几十年时间为AI模型编写代码(https://spectrum.ieee.org/tag/ai-models),现在兜兜转转,AI又被用于编写代码。但是,人工智能代码生成器与人类程序员相比如何?
发表在IEEE Transactions on Software Engineering
(https://ieeexplore.ieee.org/xpl/RecentIssue.jsp?punumber=32)6月刊上的一项研究评估了OpenAI的ChatGPT生成的代码的功能性、复杂性和安全性(https://ieeexplore.ieee.org/document/10507163)。结果表明,ChatGPT在生成函数式代码方面取得了极其广泛的成功——成功率从低的0.66% 到高至89%不等——取决于任务的难度、编程语言和一系列其他因素。
虽然在某些情况下,人工智能生成器可以产生比人类更好的代码,但分析也揭示了人工智能生成代码的一些安全问题。
Yutian Tang是格拉斯哥大学的讲师,他参与了这项研究。他指出,基于人工智能的代码生成可以在提高生产力和自动化软件开发任务方面提供一些优势,但了解这些模型的优势和局限性很重要。
“通过进行全面分析,我们可以发现基于ChatGPT的代码生成中出现的潜在问题和局限性......并改进生成技术。”Tang解释道。
为了更详细地探索这些限制,他的团队试图测试GPT-3.5(https://chatgpt.com/g/g-F00faAwkE-open-a-i-gpt-3-5?oai-dm=1)在五种编程语言(C、C++、Java、JavaScript和Python)中解决LeetCode测试平台728个编码问题的能力(https://spectrum.ieee.org/tag/coding)。
“A reasonable hypothesis for why ChatGPT can do better with algorithm problems before 2021 is that these problems are frequently seen in the training dataset.”
—YUTIAN TANG, UNIVERSITY OF GLASGOW
总体而言,ChatGPT相当擅长解决不同编码语言的问题——尤其是尝试解决2021年之前存在于LeetCode上的编码问题。例如,它能够为简单、中等和困难问题生成函数式代码,其成功率分别约为89%、71%和40%。
“然而,当涉及到2021年之后的算法问题时,ChatGPT生成功能正确的代码的能力受到了影响。它有时无法理解问题的含义,即使是简单水平的问题。”Tang指出。
例如,ChatGPT为“简单”编码问题生成功能代码的能力在2021年之后从89%下降到52%。在这段时间之后,它为“困难”问题生成函数式代码的能力也从40%下降到0.66%。
“对于为什么ChatGPT可以在2021年之前更好地解决算法问题,一个合理的假设是,这些问题在训练数据集中经常出现,”Tang说。
从本质上讲,随着编码的发展,ChatGPT还没有接触到新的问题和解决方案。它缺乏人类的批判性思维能力,只能解决以前遇到的问题(https://spectrum.ieee.org/theory-of-mind-ai)。这可以解释为什么它在解决旧编码问题方面比解决新问题要好得多。
“ChatGPT may generate incorrect code because it does not understand the meaning of algorithm problems.”
—YUTIAN TANG, UNIVERSITY OF GLASGOW
有趣的是,对于相同的LeetCode问题,ChatGPT能够以比至少50%的人工解决方案更少的运行时间和内存来生成代码。
研究人员还探讨了ChatGPT在收到LeetCode的反馈后修复自身编码错误的能力。他们随机选择了50个编码场景,在这些场景中,ChatGPT最初生成了错误编码,要么是因为它不理解内容,要么是因为它不理解手头的问题。