专栏名称: 轻松参会
回复会议名称获取交流群二维码,如“cvpr”
目录
相关文章推荐
Python开发者  ·  OpenAI ... ·  2 天前  
Python爱好者社区  ·  梁文锋和杨植麟,论文撞车了!! ·  3 天前  
Python爱好者社区  ·  《Machine Learning ... ·  3 天前  
Python开发者  ·  上万点赞!使用 Cursor AI 编程的 ... ·  4 天前  
51好读  ›  专栏  ›  轻松参会

2023年, Prompt Tuning是否已全面超越Fine-Tuning?

轻松参会  · 公众号  ·  · 2023-04-19 10:30

正文

最近几年,自然语言处理领域的研究飞速发展。特别是自2020年后,在NLP相关顶会上出现了一些原理简单、实现容易、理论清晰、效果惊人的方法论,例如,对比学习,提示学习等。这些方法论在诸如情感分析、文本蕴含、句子表征、知识图谱等下游任务上已经取得了令人瞩目的成绩。

本质上说 p rompt 是一种激发语言模型中知识的手段。随着 p rompting 技术的大火, 有越来越多的研究者在思考 Prompt( 除了让这个方向的研究越来越卷 还能 带来什么?

与此相类似的,对比学习在自然语言中备受关注。 它使用成对的训练数据增强为具有良好的表示能力的编码器构建分类任务。 可能是因为对比学习 研究的持续热度 2202 以来文本表示方向突然就卷起来了, SOTA刷的嗖嗖的, 卑微的科研 er 表示 上一个工作才开始熟悉 新的 SOTA 就狠狠砸过来……


好,你厉害,我读还不行吗。

作为近年来 NLP 最火的方向之一 prompt 吸引了足够多的关注 纵观 年各大顶会上的最新论文,我们可以观察到对比学习出现的频率明显增高,并且各种改进也层出不穷, 一句话就是 开始卷起来了

扫码领prompt必读论文合集

NLP 发展至今,已经延伸出很多的子方向、子领域,单单从顶会论文的收录情况来看,很难不让人有这样的疑惑:感觉所有方向都有人做过了,好不容易有了一个idea,上网一搜,早已有人用来发了论文。

对于已然入坑的 NLPer 怎么样才能高效做科研发论文抢占 idea

全民 积极向(内)上(卷) 的时代,江湖常有传言: SCI 在手,升职加薪、前程无忧。

发论文的门槛,说高不高,说低不低。不管你是科研经验丰富的研二研三学生还是研0小白都可以发论文的。有时候限制你发论文的,不是写作技巧、不是实验,往往是最初但是最重要的idea。

对于想要发表论文,对科研感兴趣或正在为科研做准备的同学, 想要快速发论文有两点至关重要。

1. 紧跟风口。

想发文章最容易的方法就是紧跟风口,顺着领域内的研究趋势确定自己的方向,毕竟在热门领域内,创新点和 idea远比其他非热门领域多。

2. 有一位有经验有能力的前辈指导。

大家都在努力的设计新网络、新策略、新 training算法,只要能够在某一问题上做到一个很好的performance,论文就水到渠成。而想要快速达到,来自前辈的指点不可或缺。

所以,要解决的问题就是:

1. 找到风口

2. 找到领域内的大神做导师

一个好的指导老师的作用是, 没有课题,能够结合所在课题组具体情况,结合最近热门研究方向,帮你规划课题,如果有了课题而缺少创新方向,老师能够快速帮你找到几种切入点,几种框架,甚至连需要读哪些文献都帮你想好了 ......

扫码免费领取论文指导攻略

快速打通写论文的任督二脉

(文末 福利


同时向大家推荐一个 prompt科研小班。由沃恩智慧金牌导师,毕业于哈工大的Kimi博士指导。

滑动查看课程介绍


Kimi老师复现代码精彩片段↓

心动了就赶紧扫码预约吧~

实际上,99%的论文创新点都是这么来的——

0 1



了解前沿研究,建立科研认知

了解前沿研究是找到创新点的基本步骤。 对于人工智能领域的研究者来说,了解最新的研究进展、当前的研究趋势和热点话题是非常重要的。


人工智能领域的顶级会议和期刊,如NeurIPS、ICML、CVPR等,是了解最新研究进展的重要渠道。


0 2



寻找研究空白


在了解前沿研究的基础上,接着需要寻找研究空白。 这包括已有研究中未解决的问题、未被深入探讨的领域、尚未研究过的数据集等。这些研究空白可能是大家寻找创新点的重要来源。


为了寻找研究空白,你需要对已有研究进行深入的分析和思考。 可以通过阅读文献综述、看研究方向的细节、参加研讨会等方式,找到一些未被解决的问题或者未被深入探讨的领域。


0 3



提出新问题


在找到研究空白的基础上,接着需要提出新的问题。 这些问题应该是基于前沿研究和研究空白的基础上,具有一定的挑战性和实际应用价值。通过提出新问题,可以找到新的研究方向和创新点哦~


提出新问题需要对前沿研究和研究空白进行深入的分析和思考。需要思考如何从已有的研究中提取出新的问题,以及这些问题的研究意义和应用价值。


同时,大家也同时考虑如何解决这些问题,并寻找创新的解决方法。 例如,如果你发现当前的图像分割算法不能很好地处理医学图像,那么你可以提出一个新问题:


如何利用深度学习技术更好地处理医学图像中的分割问题?这个问题既有一定的挑战性,也有很高的实际应用价值。通过解决这个问题,你可以为医学图像分割领域做出贡献,并发掘新的研究方向和创新点。


又如,如果你发现当前的对话系统不能很好地处理多轮对话,那么你可以提出一个新问题:如何设计一种新的对话系统,可以更好地处理多轮对话,并具有良好的用户体验?


这个问题同样具有一定的挑战性和实际应用价值,通过解决这个问题,你可以为对话系统领域做出贡献,并发掘新的研究方向和创新点。

扫码免费领取论文指导攻略

快速打通写论文的任督二脉

(文末 福利


0 4



两大创新方向






请到「今天看啥」查看全文