Stephan Profile picture
Feb 25, 2023 8 tweets 4 min read Read on X
AI提示工程(PE)小技巧系列第二篇:如何让ChatGPT写长文

在使用免费版的ChatGPT过程中,如果我们想要针对一个主题让ChatGPT写一篇长文的话,经常会发现几轮问答下来它的连贯性就不好了。好像ChatGPT对上下文的“记忆力”不太好。以下是原因及一些解决方法👇
#AI #ChatGPT #promptengineering
原因

ChatGPT有最大token数量的限制,token的定义如下图。

免费版API中,最大token上限是2048。也就是说一个API账号,能够“记住”的最大上下文信息是2048个token。对于记忆顺序,我猜大致是记新忘旧的。

注意,在对话过程中,用户的输入+ChatGPT的回答内容都会计算token。 Image
那么,如果需要让ChatGPT写长文,我们需要做的就是保障在2048个token内,有我们需要的所有必要信息。
方法1:迭代法

就是在每轮提问时,把上次他的回答带上。
这样做适合文章整体长度不太长,但单次回答又没有完成的情况。如下图所示: ImageImageImage
迭代法适合整体长度不太长的文章,但如果文章长度过长就不行了(需要迭代的前文长度都超过2048个token)

方法2:总分法
此时,可以将文章分为几段,且将段落提纲、必要的上下文信息放在每次提问中。然后在每次提问时让他写其中一段内容,如下图: ImageImageImage
如果总分法使用的token也不够了,可以再拆分一下conversation(理论上,只要整体框架完整,且各个章节间相对独立的话,是可以无限拆分的)。

比如,对于“环境问题概述”这部分单独拆分一个conversation出来(注意,标题也有变化): Image
备注:
1.ChatGPT Plus的text-davinci-003模型,支持的上限是4096个token,是免费版的一倍。如果需要更多,可以考虑用大招Fine-tuning(当然也是要收费的)。
2.这里有一个估算token数量的网站:gpttools.com/estimator ImageImage
3.中文能够容纳的token数量比英文要少,我实验大概在800个汉字左右对应2000个token(不绝对,还包括各种标点符号等)

以上,主要讨论了如何让ChatGPT写长文,实质问题是如何解决与AI对话的连贯性问题。

多说一句,我并不支持用这种方法学术造假,我认为AI的用处是提升生产力,但不能代替思考和创新。

• • •

Missing some Tweet in this thread? You can try to force a refresh
 

Keep Current with Stephan

Stephan Profile picture

Stay in touch and get notified when new unrolls are available from this author!

Read all threads

This Thread may be Removed Anytime!

PDF

Twitter may remove this content at anytime! Save it as PDF for later use!

Try unrolling a thread yourself!

how to unroll video
  1. Follow @ThreadReaderApp to mention us!

  2. From a Twitter thread mention us with a keyword "unroll"
@threadreaderapp unroll

Practice here first or read more on our help page!

More from @StephanCptMax

Mar 26, 2023
AI时代的数据获取姿势

最近在设计一个数据抓取的模块,意识到其实传统的结构化数据抓取方式,在AI时代已经不太需要了。这可能也是AI给程序员带来的一大效率提升👇🧵
传统的抓取方法,一般要考虑网站的结构、元素的位置,正则、xpath、DOM树解析这种都是需要考虑网站结构的。这种抓取的一大缺点就是需要定制化和大量的数据清洗工作。网站结构稍微一变就抓不到数据了,而且不同网站的结构千差万别,维护工作就变得异常复杂和无聊。
现在AI时代就完全不需要这样抓数据了,爬虫只需要设计两部分:

1. 整站链接的递归抓取,这个跟网站内容无关,只需要把同域名下的url全部抓下来,做成一个树状结构保存下来(如果网站有提供完整的sitemap的话这一步都可以省掉)。
Read 11 tweets
Mar 22, 2023
AI浪潮下的创业方向思考

最近因为天天在学习 #AI #GPT4 相关的知识,经常会兴奋到睡不着觉。目前能看得到的关于 #GPT4 很快会来临的引爆点👇👇👇
1. 上下文从目前的4K,很快会扩充到8K、16K、32K,目前绞尽脑汁优化上下文的团队可以省省力气了。如果上下文扩充到16-32K,将对向量检索知识库的能力极大扩充,届时怎么从用户意图挖出更多上下文才是该思考的问题😝
2. #多模态 ,这绝对是核弹级的。想象一下所有的文本、视频、语音信息可以混编扔给GPT4,对他理解问题以及回答质量会有怎样的提升?
Read 7 tweets
Mar 14, 2023
#GPT-4 发布
openai.com/product/gpt-4

1.目前面向Plus付费用户提供服务
2.API开发者可以通过这个链接提交waitlist申请
openai.com/waitlist/gpt-4…

#gpt4
看几个官方给出的GPT-4能做、GPT-3做不到的事情:

1.强大的写作和协作能力:

以下提问是让GPT-4写一下有关灰姑娘的故事,要求每个单词的第一个字母要依次从a~z,不允许有重复 Image
2.支持多模态:

具体形式是支持文本和图像混编的输入,然后GPT-4给出文本输出。
以下提问让GPT-4根据图中的原料,给出能做哪些菜: Image
Read 7 tweets
Mar 14, 2023
主流稳定币数据跟踪

数据含义:
1.直方图值<0:代表MACD线小于信号线,长期利空趋势
2.直方图值>0:代表MACD线大于信号线,长期利好趋势
3.直方图深色:代表环比加速,深绿短期利好趋势
4.直方图浅色:代表环比减速,浅绿短期利空趋势

详细说明:


#stablecoin #稳定币
上周数据:

上周末由于USDC背后SVB银行的暴雷,导致大量用户将USDC赎回USD或者换成USDT避险。
具体数据上看,上周USDT供应量增长了9亿左右(图1),USDC供应量减少了31亿左右(图2)。 ImageImage
Mcap/TVL

Mcap/TVL是稳定币的总市值和TVL的比值,反应了链上稳定币的资金使用率情况。
使用率越高Mcap/TVL比值越小,代表市场情绪倾向乐观,
使用率越低Mcap/TVL比值越大,代表市场情绪倾向悲观。
Read 4 tweets
Mar 8, 2023
AI提示工程系列第五篇:构建一个基于知识库的AI机器人

1/12
在第二篇讲了如何让ChatGPT写长文,是从生成的角度来说。
那如果我们手头有一套知识库,如何根据知识库来建立一个类似 #chatpdf 的问答系统呢?今天就来聊聊这个话题👇🧵

#AI #ChatGPT #提示工程 #promptengineering #SemanticSearch
2/12
本文偏系统设计方面,适合于AI领域的产品/技术同学阅读。

没看过前四篇的朋友可以回顾一下:
3/12
假设我们的场景是要建立一个公司的AI自动客服系统,手头有公司的一整套知识库。

我们清楚ChatGPT有4096的Token上下文的限制,是无法一次性将整套知识库灌给ChatGPT的。这就要求我们想办法将数据“剪枝”,而剪枝的方法就是将用户的“问题”和知识库中可能的“段落上下文”联系起来。
Read 12 tweets
Mar 7, 2023
主流稳定币数据跟踪

数据含义:
1.直方图值<0:代表MACD线小于信号线,长期利空趋势
2.直方图值>0:代表MACD线大于信号线,长期利好趋势
3.直方图深色:代表环比加速,深绿短期利好趋势
4.直方图浅色:代表环比减速,浅绿短期利空趋势

详细说明:


#stablecoin #稳定币
上周数据:

USDT供应直方图,上周继续上升。当前处在长期中性+短期利好趋势
Mcap/TVL

Mcap/TVL是稳定币的总市值和TVL的比值,反应了链上稳定币的资金使用率情况。
使用率越高Mcap/TVL比值越小,代表市场情绪倾向乐观,
使用率越低Mcap/TVL比值越大,代表市场情绪倾向悲观。
Read 5 tweets

Did Thread Reader help you today?

Support us! We are indie developers!


This site is made by just two indie developers on a laptop doing marketing, support and development! Read more about the story.

Become a Premium Member ($3/month or $30/year) and get exclusive features!

Become Premium

Don't want to be a Premium member but still want to support us?

Make a small donation by buying us coffee ($5) or help with server cost ($10)

Donate via Paypal

Or Donate anonymously using crypto!

Ethereum

0xfe58350B80634f60Fa6Dc149a72b4DFbc17D341E copy

Bitcoin

3ATGMxNzCUFzxpMCHL5sWSt4DVtS8UqXpi copy

Thank you for your support!

Follow Us!

:(