I just learned about an exciting development of (by @jeremyphoward), they just released an open source system that can train a 70b large language model on a regular desktop computer with two or more standard gaming GPUs (RTX 3090 or 4090).

This could be a game-changer!

1/nAnswer.AI The system combines FSDP (Fully Sharded Data Parallel) and QLoRA (Quantized Low-Rank Adaptation) techniques, allowing users to train large models on consumer-grade hardware.

It's the result of a collaboration between , Tim Dettmers (U Washington), and Hugging Face.

2/nAnswer.AI

是如何构建高效的 RAG 系统的 Part 2

这个系列的 thread 会分享 背后构建整个 Retrieval Augmented Generation System 的经验，包括在生产环境上的一些实践。

这是系列的第二篇，主题是「如何评估一个 RAG 系统」。

🧵 devv.ai
devv.ai
如果没有看过第一篇的朋友，欢迎先看一下第一篇的内容，可以对整个 RAG 系统有一个初步的了解。



1/31

https://x.com/Tisoga/status/1731478506465636749?s=20

创业应该学习什么？

这个 thread 分享一下过去一段时间构建 这个产品时学习的一些资料，适合每个创始人或者有创业想法的人参考。

创业没有千篇一律的公式，但是有体系的方法更能提升成功的概率，另外创业本身是一门实践学科，最好的方法就是 learning by doing。

1/11devv.ai 最推荐的课程就是 YC 的 Startup School，这是一门纯免费的课程，不需要被 YC 创业营录取也能够进行学习。

课程的内容涉及到了创业早期的所有方面，例如：

- 如何构建 MVP
- 如何与用户沟通
- 如何增长

完整看过 n 遍，有些在实践的过程中还会再回去找答案。



2/11 startupschool.org

是如何构建高效的 RAG 系统的 🔎

之前答应过要分享一下 底层涉及到的技术，这个系列 thread 会分享我们在这个项目上的具体实践，这是第一篇。

另外我们开了一个专门用于提交反馈和建议的 GitHub Repo，欢迎反馈。

🧵

devv.ai
devv.ai
github.com/devv-ai/devv RAG 的全称是：Retrieval Augmented Generation（检索增强生成）

最初来源于 2020 年 Facebook 的一篇论文：Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks（是的，你没有看错，2020 年就有这项技术了）。

1/22

如何使用 AI 加速软件开发 🚀

经过几周的迭代，今天正式发布 Devv Search



Devv Search 是一款面向开发者的 AI 搜索引擎，我们基于文档、代码、实时搜索数据从零到一构建了一套高效、准确的 RAG 系统，底层的模型基于微调后的 Code Llama 和 GPT-3.5。

1/13 devv.ai
在深度使用了 GitHub Copilot、ChatGPT 等产品之后，我们发现 AI 在代码生成方面依然存在很大的改进空间。

ChatGPT 和通用的 RAG（Bing Chat）系统在代码生成方面并未做特殊的优化，生成的代码会存在以下问题：

1. 时效性差
2. 错误率高
3. 缺乏上下文理解

2/13

如何更高效地阅读论文 📃

上周 @CopilotHubAI 新发布的 Magic Copilot 功能可能会永远改变你阅读论文的方式，只需要 3 个步骤，就可以开始交互式地阅读论文：

1. 上传论文 PDF
2. Magic Copilot 自动生成 Prompt
3. 开始阅读

这个 thread 以 ChatDB 这篇论文为例 👇
app.copilothub.ai/chat?id=7495 1/ 上传论文并生成论文相关的 Prompt

1. 直接上传对应论文
2. 根据论文来生成对应的 Prompt，例如这里我写的需求是「paper analyzer for ChatDB ...」，然后就会自动生成这篇论文的 Prompt

等待十几秒就创建完成了，这篇论文的地址：

arxiv.org/abs/2306.03901

如何写出一个更好的 ChatGPT Prompt

关于 prompt engineering，有各种各样的技术，但是对于普通用户来说，门槛还是太高了。

为此，我们训练了上万条不同的 prompt，然后做了这个 Prompt Generator Copilot。

只需要告诉它你的需求，就可以进行快速创建 👇

app.copilothub.ai/chat?id=3733

🧵 第一步：创建 Prompt

格式：I want a prompt that will help me [具体需求]

比如说我现在需要创建一个 Copilot 来帮助我更好得练习英文写作，我可以向这个 Copilot 说：

I want a prompt that will help me practice my English writing skills

[具体需求] 部分也可以使用中文描述。

如何基于网页链接来创建知识库 AI & Chatbot

Copilot Hub 发布了新的功能：可以基于一系列网页链接的内容来创建自定义的 ChatGPT

app.copilothub.co

使用场景：
- 主题研究分析
- 网站聊天机器人
- 个人博客助手

🧵 比如现在我要创建一个关于 OpenAI 行业发展研究的 AI 助手

首先第一步是搜集相关的资料，包括：

- Wikipedia 相关词条
- OpenAI 官网相关文章
- Substack 中相关 newsletter
- 微信公众号相关文章

如何基于 ChatGPT 创建个人的知识库 AI

经过几周的内测，现在正式发布 Copilot Hub 👇

app.copilothub.co

Copilot Hub 是一个帮助你基于私有数据创建智能知识库 & 人格化 AI 的平台。你可以基于文档、网站、Notion database 或其他数据源在几分钟内创建一个自定义的 ChatGPT。

🧵 平台上已经预训练了一些 AI，例如：

- 基于 Steve Jobs 传记、演讲、书信训练的 Steve Mind AI，可以以 Steve Jobs 的视角来回答你的问题
- 基于 How to Start a Startup 这门课的语料训练的 Startup Launch 创业导师，可以回答任何关于创业的问题

1/8

Apple 最近开源了针对苹果芯片特殊优化的 Transformer 架构（ChatGPT 底层的架构）

看 commit 的时间，差不多已经快是 1 年前的工作了，可以看到虽然 Apple 没有在公开场合发声，但是已经在这个领域默默做了很多工作了。

github.com/apple/ml-ane-t…

1/4 预测一下，Apple 的 LLM 一定是针对 Apple Silicon 做了深度优化的，甚至在未来的 iPhone 上，可以直接进行本地推理（类比现在 iPhone 上已经非常强大的神经网络）。

这是有天然优势的，Siri + Shortcuts 几乎已经集成了所有 App Store 上的应用，唯一缺的就是让 Siri 更加智能一点。

2/4

OpenAI 刚刚发布了 GPT-4

GPT-4 是大型多模态模型（large multimodal model），支持图像和文本的输入，并生成文本结果。

这个 thread 会汇总一下有关 GPT-4 的一些信息（包括论文中的一些要点和实际的体验）。

🧵 GPT-4 在专业和学术能力的 benchmark 上已经达到了人类水平。

例如模拟律师考试分数占所有应试者的前 10%，而 GPT-3 的测试结果为倒数 10%。

ChatGPT 背后的原理是什么？

Stephen Wolfram 花了大概 3 个多小时的时间解释了 ChatGPT 背后涉及的原理，从最基础的模型概念一直到如何构造一个神经网络，深入浅出，对于没有深度学习背景的人也能够很好地理解。

视频 👇
youtube.com/live/flXrLGPY3… 这个视频基本上是把这篇文章以 live coding 的形式讲了一遍，可以说是近期看过的解释 GPT 背后原理最好的文章了。

writings.stephenwolfram.com/2023/02/what-i…

1/ 把 Meta 前两天发布的这篇论文读了一遍，mind blowing

这篇论文被近期 ChatGPT & Bing Chat 的风头盖过去了，不过我感觉论文中提到的内容可能是未来 Language Model 发展的一个重要的分支。

-- thread 🧵 -- 2/ 简单来说，这篇论文提出了一种新的语言模型：Toolformer。

这个 LM 的特别之处是可以训练自己来使用各种工具，例如调用 API、做数值计算、请求网页内容，或者是其他任何操作。

受 Perplexity AI 启发，基于 OpenAI 写了一个搜索引擎的 demo，可以让 GPT-3 来基于当前的事实进行回答。

现在这个 demo 只是用 jupyter 糊了一点代码，后面会增加一个前端交互，然后把代码开源。 目前实现的效果：

1. 询问谁是 Gmail 的 founder
2. 询问 Paul Buchheit 最近关于 Google 和 AI 的观点

已经能够成功索引到 @paultoo 最近发表的相关推文，然后给出搜索（回答）结果了。

如何从零开始 build 一个 GPT

这个视频中，作者根据 Attention is All You Need & GPT-3 的论文来从零开始构建一个 GPT，每一部分都有代码演示。

两篇涉及到的论文：

- Attention is All You Need: arxiv.org/abs/1706.03762
- Language Models are Few-Shot Learners
: arxiv.org/abs/2005.14165

1/ 在 ChatGPT 中实现了一门新的编程语言：GPTLang，并用这个语言写了一个排序算法。

定义了一个新的命令 `gptlc`，用来编译 GPTLang 的代码。

下图是最终的效果：让 ChatGPT 用 GPTLang 写了一个选择排序，并在命令行编译运行。

这个 thread 将会详细讲述一下是如何一步步实现这门语言的。 2/ 首先我告诉了 ChatGPT 正在实现一门新的编程语言，能不能给一些 idea 或者建议，ChatGPT 给出了 GPTLang 的一些基本特性。

OpenAI 刚刚 launch 了 #ChatGPT ，可以说是一款划时代的产品，这个 thread 记录一下都可以使用 ChatGPT 做哪些事情。 用来写项目的 pitch deck 和产品文案，基本上可以覆盖 copy.ai, jasper.ai, lex.page 这些服务提供的功能。

另外一点是，一些运营和 marketing 的工作可能在未来会面临比较大的挑战，AI 已经可以承担大部分的文案写作工作了。

https://twitter.com/Tisoga/status/1598265799394721792

我在大学里是如何自学 CS 的？

在搜索资料的时候找到了之前做的一个总结，不是非常典型，但是也可以作为一个参考，在本科学校不是特别好的情况下如何自学 CS。

- a thread - 1/ 大一 C 语言课 final project 大家都在写 xx 管理系统的时候写了一个解释器，期间读了著名的 SICP（《计算机程序的构造和解释》）、王垠的解释器教程、不完全刷了 CS 61A，其他编译原理相关的书也随便翻了一下，还一并学会了 Emacs，最后写出了一个非常简单的 Lisp 解释器（C 写起来太累了）。

如何高效地阅读英文长文？

使用到的工具：Matter、彩云小译、iPad。

- a thread - Step 1：使用 Matter 来生成阅读网页

Matter 是一个类似于 Instapaper 的稍后读工具，但是在文章的排版上会比 Instapaper 更加优美，第一步借助 Matter 来生成阅读模式的长文网页。

这里以 Paul Graham 的这篇 How People Get Rich Now 为例，可以看到 Matter 的阅读模式非常简洁。

如何 100x 提升 Twitter 的使用体验（消费者篇）？

🧵👇 1/ 安装 Twemex 插件

Twemex 提供了一个定制化的侧边栏：

1. 可以查看当前 twitter 用户的热门推文/某一天的推文/与我相关的推文
2. 可以进行定制化的搜索

twemex.app

我从 Elon Musk 那里学到的 2 个法则：

1. 第一性原理，剥开问题的表象，从事物的本质进行思考；
2. 树干理论，学习某个领域的知识要先建立树干和树枝，这些是最核心的知识，然后在这个体系上再慢慢补充一些细节（树叶）。

关于第一性原理，推荐一些读物 👇 1/ Tim Urban ( @waitbutwhy ) 写的一系列关于 Elon Musk 的博客文章。

waitbutwhy.com/2017/03/elon-m…