宝玉 Profile picture
Jul 1 3 tweets 1 min read Twitter logo Read on Twitter
在我们调用OpenAI的API的时候,除了Prompt和模型,还有几个参数可以选:Temperature、Top K和Top P。

大部分都知道温度(Temperature)参数是可以控制输出的确定性的,温度越低,输出结果越确定;反之温度越高,输出结果越具有多样性。

那么Top K和Top P是什么呢?看完这个视频你会找到答案!
这个视频来自Google的Generative AI learning path课程系列的《Introduction to Generative AI Studio 生成式人工智能工作室介绍》

完整视频:
Top K 可以让模型从可能性最高的前 K 个词中随机返回一个词,这种方法可以让模型不会总是选概率最高的那个,而是从概率最高的前K个词中随机选择一个词。

但这种方法有一个缺陷,比如说你指定Top K是3,但如果概率最高的前3个词里面,第3个词其实概率很低相关度很弱,那么就会导致生成的结果不够好。… twitter.com/i/web/status/1…

• • •

Missing some Tweet in this thread? You can try to force a refresh
 

Keep Current with 宝玉

宝玉 Profile picture

Stay in touch and get notified when new unrolls are available from this author!

Read all threads

This Thread may be Removed Anytime!

PDF

Twitter may remove this content at anytime! Save it as PDF for later use!

Try unrolling a thread yourself!

how to unroll video
  1. Follow @ThreadReaderApp to mention us!

  2. From a Twitter thread mention us with a keyword "unroll"
@threadreaderapp unroll

Practice here first or read more on our help page!

More from @dotey

Jun 15
很好的案例来说明function call(FC)和Agent的用途。可能有人会问:这和没有FC之前我调完GPT的API再调自己的API有什么区别?

这个的差别在于并非每一条消息都需要调用API,有了FC,就可以让GPT根据上下文来决定要不要调用API。… twitter.com/i/web/status/1…
Read 4 tweets
Jun 4
这次的课程让我收获很大,我之前尝试使用GPT-3.5帮我翻译字幕,但是数组索引老是对应不上,也无法给我返回JSON格式,我按照这个课程的内容,借助CoT的思路把Prompt拆分成几个Steps后,神奇在GPT-3.5中得到了我想要的结果。

解释一下我的Prompt:… twitter.com/i/web/status/1… Image
注意,即使这个Prompt已经好了很多,但是依然会有出错的情况,所以这里要借鉴吴老师这堂课“使用ChatGPT API构建系统8——评估(上)”思路,把Tricky的案例都收集起来,然后持续的优化你的Prompt

当你收集了不少有问题的案例,但是通过优化Prompt之后,还是有一些怎么也得不到理想的结果,这时候不妨按照Isa老师在这堂课“使用ChatGPT API构建系统——输入处理: 链式提示”里面教的:… twitter.com/i/web/status/1…
Read 9 tweets
Jun 4
开个新坑:翻译下《How Diffusion Models Work 扩散模型是如何工作的》learn.deeplearning.ai/diffusion-mode…

🧵《How Diffusion Models Work 扩散模型是如何工作的》

第一集:“Introduction 介绍”
learn.deeplearning.ai/diffusion-mode…

YouTube列表: twitter.com/i/web/status/1… Image
《How Diffusion Models Work 扩散模型是如何工作的》

第二集:“Intuition 直观理解”
learn.deeplearning.ai/diffusion-mode…

YouTube列表:
《How Diffusion Models Work 扩散模型是如何工作的》
第三集:“Sampling采样”

learn.deeplearning.ai/diffusion-mode…

YouTube列表:
Read 5 tweets
May 31
《用ChatGPT API构建系统》课程简介
learn.deeplearning.ai/chatgpt-buildi…

吴恩达:欢迎参加关于使用ChatGPT API构建系统的课程。 之前,Isa和我介绍了如何提示(Prompt)ChatGPT的课程。 但是一个系统需要的远不止一个提示(Prompt)或一个对LLM(大型语言模型)的调用。… twitter.com/i/web/status/1…
吴恩达和OpenAI合作的新的“使用ChatGPT API构建系统”的课程的第一课《大语言模型、ChatGPT API格式和Token介绍》(中英文字幕)

课程地址:learn.deeplearning.ai/chatgpt-buildi…

视频:
Read 4 tweets
May 27
微软2023年Build大会演讲:如何训练和应用GPT(中英文字幕)

这是本次微软2023年Build大会来自OpenAI的AI 研究员和创始成员Andrej Karpathy的一个主题为State of GPT的演讲。

演讲主要有两部分内容:
1. OpenAI是如何训练GPT的
2. 我们如何有效应用GPT

都是非常有价值的分享。… twitter.com/i/web/status/1…
来自微博用户 明风 的点评:

在5月24日的微软Build大会上,OpenAI的Andrej Karpathy做了《State of GPT》的演讲,其中的第一部分:How to train your (Chat)GPT… twitter.com/i/web/status/1… Image
还有Alex这篇,他在观看Andrej Karpathy的演讲时做了一些笔记。以下是线程的主要内容:

1. 预训练阶段需要数月时间和数千个GPU,然后是需要几小时或几天的微调阶段。

2. 在预训练之前,需要进行数据收集和标记化。数据收集是从不同的来源获取大量的数据,标记化是在词语片段和整数之间进行无损转换。… twitter.com/i/web/status/1…
Read 4 tweets
May 26
这是继斯坦福的25人小镇后我看到的最有意思的AI论文了。

简单来说,Jim… twitter.com/i/web/status/1…
-他们的Prompt也有很多值得学习的地方,你在-解释(如果适用)- 可以看到完整的Prompt。大部分Prompt都巨长无比,每执行一次估计就要几毛钱!

挑几个解释一下。

action_template.txt 这个是用来生成操作游戏代码的核心Prompt。

1. 首先,设定GPT的角色是:

Prompt:
“你是一个有用的助手,能编写… twitter.com/i/web/status/1… Image
会员也不好使,前面这条发完也不能编辑,写的时候不小心把链接给我替换掉了,这里是prompts的链接:github.com/MineDojo/Voyag…
Read 5 tweets

Did Thread Reader help you today?

Support us! We are indie developers!


This site is made by just two indie developers on a laptop doing marketing, support and development! Read more about the story.

Become a Premium Member ($3/month or $30/year) and get exclusive features!

Become Premium

Don't want to be a Premium member but still want to support us?

Make a small donation by buying us coffee ($5) or help with server cost ($10)

Donate via Paypal

Or Donate anonymously using crypto!

Ethereum

0xfe58350B80634f60Fa6Dc149a72b4DFbc17D341E copy

Bitcoin

3ATGMxNzCUFzxpMCHL5sWSt4DVtS8UqXpi copy

Thank you for your support!

Follow Us on Twitter!

:(