Jiayuan Zhang Profile picture
Apr 18, 2021 10 tweets 1 min read Read on X
关于 Feedback Loop 的一些思考(thread)
1/

什么是 Feedback Loop,简单来说就是:做某件事 -> 获得反馈 -> 根据反馈来进行改进。

详细的过程可以参考下图。 Image
2/

Elon Musk 鼓励大家多接受来自别人的 negative feedbacks,积极的反馈大家都爱听,但是真正重要的确实那些批评和意见。 Image
3/

Feedback Loop 有点像是产品研发的过程:1)先构建最基本的产品原型(MVP);2)迅速投放到市场中;3)根据市场的反馈数据来改进原型。
4/

Q: Feedback 的来源都有哪些?
5/

A1: 最简单的方法就是自己给自己反馈。按照上面提到的 Feedback Loop 环中内容,想要获得反馈,就先要进行分析,而分析的前提是需要有数据来支持。所以自己给自己反馈最重要的就是记录数据并分析。
6/

比如我会给自己的工作计时(这个是从柳比歇夫那里学到的),每做完一个 project 你就会清楚到底用了多少时间,和预估的时间比有什么不同,为什么有这些不同。这些都是可分析的点。
7/

另外就是我会写工作日志,可以参考之前发的一个推。

记录工作日志的一个好处就是在之后遇到同样的问题的时候,我只需要把当时解决问题的方法拿出来看一下,照着做就好了。并且它给分析提供了详尽的依据,在写 Journal 的过程中也是一种 feedback loop。

8/

再举个例子,我在练习 Kickflip(街式滑板的一个动作) 的时候,会把自己练习的过程拍摄下来,然后通过视频来找到自己哪些地方没有做好,然后在下一次练习的时候就避免这些问题。
9/

A2:第二种比较容易但是大家都会忽略的方法就是从身边的人那里获得反馈。

身边的人指的是:亲人、朋友、同事。

• • •

Missing some Tweet in this thread? You can try to force a refresh
 

Keep Current with Jiayuan Zhang

Jiayuan Zhang Profile picture

Stay in touch and get notified when new unrolls are available from this author!

Read all threads

This Thread may be Removed Anytime!

PDF

Twitter may remove this content at anytime! Save it as PDF for later use!

Try unrolling a thread yourself!

how to unroll video
  1. Follow @ThreadReaderApp to mention us!

  2. From a Twitter thread mention us with a keyword "unroll"
@threadreaderapp unroll

Practice here first or read more on our help page!

More from @Tisoga

Mar 8
I just learned about an exciting development of (by @jeremyphoward), they just released an open source system that can train a 70b large language model on a regular desktop computer with two or more standard gaming GPUs (RTX 3090 or 4090).

This could be a game-changer!

1/nAnswer.AI
The system combines FSDP (Fully Sharded Data Parallel) and QLoRA (Quantized Low-Rank Adaptation) techniques, allowing users to train large models on consumer-grade hardware.

It's the result of a collaboration between , Tim Dettmers (U Washington), and Hugging Face.

2/nAnswer.AI
@jeremyphoward The goal is to make useful AI accessible to everyone, enabling people to create their own personalized models and have control over their AI systems. This project is a key foundation for achieving that goal.

3/n
Read 11 tweets
Dec 18, 2023
是如何构建高效的 RAG 系统的 Part 2

这个系列的 thread 会分享 背后构建整个 Retrieval Augmented Generation System 的经验,包括在生产环境上的一些实践。

这是系列的第二篇,主题是「如何评估一个 RAG 系统」。

🧵 devv.ai
devv.ai
Image
如果没有看过第一篇的朋友,欢迎先看一下第一篇的内容,可以对整个 RAG 系统有一个初步的了解。



1/31
上篇我们提到了什么是 RAG 系统,以及构成的基本要素,这里再来复习一下。

一个最基本的 RAG 系统由以下 3 个部分组成:

1. 语言模型
2. 外部知识合集
3. 当前场景下所需要的外部知识

2/31
Read 32 tweets
Dec 13, 2023
创业应该学习什么?

这个 thread 分享一下过去一段时间构建 这个产品时学习的一些资料,适合每个创始人或者有创业想法的人参考。

创业没有千篇一律的公式,但是有体系的方法更能提升成功的概率,另外创业本身是一门实践学科,最好的方法就是 learning by doing。

1/11devv.ai
最推荐的课程就是 YC 的 Startup School,这是一门纯免费的课程,不需要被 YC 创业营录取也能够进行学习。

课程的内容涉及到了创业早期的所有方面,例如:

- 如何构建 MVP
- 如何与用户沟通
- 如何增长

完整看过 n 遍,有些在实践的过程中还会再回去找答案。



2/11 startupschool.org
Image
YC Library 是另一个我会经常去找资料的地方,这里面涵盖了 YC 建立以来发表的大部分内容,可以作为一个 wiki 来查询。



3/11 ycombinator.com/library/
Image
Read 11 tweets
Dec 4, 2023
是如何构建高效的 RAG 系统的 🔎

之前答应过要分享一下 底层涉及到的技术,这个系列 thread 会分享我们在这个项目上的具体实践,这是第一篇。

另外我们开了一个专门用于提交反馈和建议的 GitHub Repo,欢迎反馈。

🧵

devv.ai
devv.ai
github.com/devv-ai/devv
RAG 的全称是:Retrieval Augmented Generation(检索增强生成)

最初来源于 2020 年 Facebook 的一篇论文:Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks(是的,你没有看错,2020 年就有这项技术了)。

1/22 Image
这篇论文要解决的一个问题非常简单:如何让语言模型使用外部知识(external knowledge)进行生成。

通常,pre-train 模型的知识存储在参数中,这就导致了模型不知道训练集之外的知识(例如搜索数据、行业的 knowledge)。

之前的做法是有新的知识就再重新在 pre-train 的模型上 finetune。

2/22
Read 23 tweets
Nov 17, 2023
如何使用 AI 加速软件开发 🚀

经过几周的迭代,今天正式发布 Devv Search



Devv Search 是一款面向开发者的 AI 搜索引擎,我们基于文档、代码、实时搜索数据从零到一构建了一套高效、准确的 RAG 系统,底层的模型基于微调后的 Code Llama 和 GPT-3.5。

1/13 devv.ai
Image
在深度使用了 GitHub Copilot、ChatGPT 等产品之后,我们发现 AI 在代码生成方面依然存在很大的改进空间。

ChatGPT 和通用的 RAG(Bing Chat)系统在代码生成方面并未做特殊的优化,生成的代码会存在以下问题:

1. 时效性差
2. 错误率高
3. 缺乏上下文理解

2/13
例如在这个例子中,GPT-4 & Bard 的生成效果就不尽如人意。



3/13
Read 13 tweets
Jun 12, 2023
如何更高效地阅读论文 📃

上周 @CopilotHubAI 新发布的 Magic Copilot 功能可能会永远改变你阅读论文的方式,只需要 3 个步骤,就可以开始交互式地阅读论文:

1. 上传论文 PDF
2. Magic Copilot 自动生成 Prompt
3. 开始阅读

这个 thread 以 ChatDB 这篇论文为例 👇
app.copilothub.ai/chat?id=7495 Image
1/ 上传论文并生成论文相关的 Prompt

1. 直接上传对应论文
2. 根据论文来生成对应的 Prompt,例如这里我写的需求是「paper analyzer for ChatDB ...」,然后就会自动生成这篇论文的 Prompt

等待十几秒就创建完成了,这篇论文的地址:

arxiv.org/abs/2306.03901
2/ 第一步来让这个 Copilot 总结一下这篇文章中相关的一些内容。
Read 6 tweets

Did Thread Reader help you today?

Support us! We are indie developers!


This site is made by just two indie developers on a laptop doing marketing, support and development! Read more about the story.

Become a Premium Member ($3/month or $30/year) and get exclusive features!

Become Premium

Don't want to be a Premium member but still want to support us?

Make a small donation by buying us coffee ($5) or help with server cost ($10)

Donate via Paypal

Or Donate anonymously using crypto!

Ethereum

0xfe58350B80634f60Fa6Dc149a72b4DFbc17D341E copy

Bitcoin

3ATGMxNzCUFzxpMCHL5sWSt4DVtS8UqXpi copy

Thank you for your support!

Follow Us!

:(