ChatGPT标注数据比人类便宜20倍,80%任务上占优势 | 苏黎世大学

Admin 2023-07-24 群英技术资讯 353 次浏览

这篇文章主要介绍了“ChatGPT标注数据比人类便宜20倍,80%任务上占优势 | 苏黎世大学”相关知识,内容详细易懂,操作简单快捷,具有一定借鉴价值,相信大家阅读完这篇ChatGPT标注数据比人类便宜20倍,80%任务上占优势 | 苏黎世大学文章都会有所收获,下面我们一起来看看吧。


你觉得你的饭碗还保得住吗?

Pine 发自 凹非寺

量子位 | 公众号 QbitAI

又一“人类饭碗”被AI抢走,还是和训练AI息息相关的:

数据标注。

苏黎世大学研究发现,在ChatGPT面前,无论成本还是效率,人类可以说是毫无优势:

  • 成本上,ChatGPT平均每个标注成本低于0.003美元,比众包平台便宜20倍;
  • 效率上,在相关性、立场、主题等任务中,ChatGPT也是以4:1的优势“碾压”人类。

论文发出后,有网友调侃,“生成训练数据需要人工”的说法已经成为过去式了。

还有人直呼“古籍修复数字化工作是不是有希望提速了”。

还有人看热闹不嫌事大,直接发推称:

这是直接端了平台工作者的饭碗。

话说回来,ChatGPT是怎么抢了数据标注工作者的“饭碗”的?

ChatGPT在80%任务上占优势

首先得先了解下数据标注工作的具体内容。

简单来讲,数据标注就是给社交媒体上的内容数据贴标签,将其以不同主题或者概念进行分类,或是对其立场以及情绪进行判别。

这些经过标注的数据就可以用作NLP模型的训练集或是评估标准。

以往,这类工作都是交由人工处理的,比如说MTurk就是专门进行数据标注的一个众包平台。

在MTurk这类众包平台内部,还会有更加精细的分工,比如说会有经过专业训练的数据标注者以及众包工作者。

前者在产出高质量数据上具有优势,但自然成本也更高,而后者虽然更便宜但质量也会随任务难度波动。

于是研究团队就开始着手研究大语言模型(LLM)在这方面的潜力,并且对比了没有额外训练(zero-shot)的ChatGPT(基于GPT-3.5)和MTurk在数据标注上的性能。

这项对比基于研究团队此前收集到的2382条推文样本。

ChatGPT和MTurk分别将推文以“相关性、立场、主题、政策、实用性”这五种任务进行标注。

评估的标准有两条:

  • 准确性:ChatGPT和MTurk众包工作者相较于正确标注的百分比;
  • 编码者间的一致性信度:用ChatGPT、MTurk众包工作者以及专业数据标注者任意二者之间的一致性来计算;

结果呢也显而易见,在准确性上,ChatGPT有五分之四的任务都要优于MTurk众包工作者。

一致性信度上,ChatGPT全部任务都超过了专业数据标注者。

成本方面,开头也已经提过,ChatGPT平均每条比人工便宜20倍,何况AI还能24*7无休。

不过对于研究团队得出的这个结论并不是所有网友都买账,有人表示:

这五条任务都太单一了,难度也是。仅凭这一点就得出这样的结论可靠性存疑。

甚至还有网友嘲讽了起研究样本太少来:

(竟然)只用2382条推文做样本。

“饭碗威胁”不止数据标注

现在,AI会不会完全取代某一类工作还不好说,但它会在一定程度上影响人类工作是毋庸置疑的。

上周,OpenAI就发布过一份分析报告,称有80%的工作都会在一定程度上受到ChatGPT的影响,19%的岗位会受到ChatGPT的严重冲击。

并且薪资越高的职业受到的冲击就越大。

OpenAI还进一步列出了会被影响的具体职业,从大到小依次是:

翻译从业者、文字创作者(包括诗人、作家等)、公关人员、数学家、税务编制人员、区块链工程师、财务工作者、媒体从业者……

除此之外,OpenAI的CEO奥特曼也不止在一个场合下说过“AI会取代现有的部分工作”。

前不久,MidjourneyV5大升级也是让不少人类画师直呼饭碗不保。

emmmmmm,你觉得你的饭碗还保得住吗?

论文地址:
https://arxiv.org/abs/2303.15056
参考链接:
https://twitter.com/arankomatsuzaki/status/1640521970608402435


上述内容具有一定的借鉴价值,感兴趣的朋友可以参考,希望能对大家有帮助,想要了解更多"ChatGPT标注数据比人类便宜20倍,80%任务上占优势 | 苏黎世大学"的内容,大家可以关注群英网络的其它相关文章。


群英智防CDN,智能加速解决方案

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:mmqy2019@163.com进行举报,并提供相关证据,查实之后,将立刻删除涉嫌侵权内容。

猜你喜欢

成为群英会员,开启智能安全云计算之旅

立即注册
专业资深工程师驻守
7X24小时快速响应
一站式无忧技术支持
免费备案服务
免费拨打  400-678-4567
免费拨打  400-678-4567 免费拨打 400-678-4567 或 0668-2555555
在线客服
微信公众号
返回顶部
返回顶部 返回顶部
在线客服
在线客服