▍如何爬取網站內容，生成 GPTs 知識庫

3 天前在臉書上簡單分享如何生成 GPTs 知識庫，沒想到迴響熱烈，也把教學整理到這邊。

其實核心就 2 個點：

1. 找到所有含有內容的網址
2. 用 CSS 選擇器定位內容所在位置

只要找到這兩個，我的工具就能幫忙把所有網址合成一個 markdown 語法的知識庫。 ▎1. 首先，透過 sitemap 找到所有頁面

要找到所有網頁最簡單的方式就是透過 sitemap，如果網頁是 CMS 平台像是 WordPress 或是別人的內容平台，基本上都會由對應的 sitemap。

只要在該網域後綴輸入 sitemap.xml 就能找到，然後點擊右鍵 > 儲存為，就能儲存一個帶有該網域網址的 xml 檔。

p.s. 有些網域可能不存在 sitemap.xml 或是 sitemap 內容不完全

▎如何用 LLM 機器人讀書，以《晶片戰爭》做示範

誠如之前所說，我認為僅憑類 ChatGPT 工具來快速總結獲得資訊，是一種透過犧牲大量信息量來獲得「文章架構或總結」的內容。

就像道與術的關係一樣，去掉了大部分的術，好像獲得了道，卻是一種飄在空中抓不見的道。

這邊介紹我自己如何搭配 LLM 來閱讀一本書，對我來說 LLM 可以幫助我的點在於：

1. 抓到聚焦點

僅僅理解去脈絡化後的「架構」是不夠的，但是帶著這些架構卻能很好的聚焦不同章節的內容。

2. 理解內容

書都有案例太複雜、舉例不到位、比喻不生動等現象，導致讀者沒辦法理解當前想要表達的觀點。

這時透過 LLM 可以「換種方法表述」、「多點案例輔助」、「用中學生也能聽懂的比喻說明」。

下圖只是我用 Maginnote 閱讀的過程，留言開始才是使用 LLM 的過程。

書籍是 Chris Miller 所撰寫的《晶片戰爭》，對於理解當前半導體局勢很有幫助。
首先要有辦法從電腦上複製書籍的內容，不管你是用 epub、PDF 或是線上閱讀，能從電腦複製內容才能讓電腦知道要互動的章節為何。

使用的 AI 工具為 Claude 2 及 ChatGPT，我會先說：

我正在閱讀一本書《晶片戰爭》，為了方便我更深入閱讀，我會複製不同章節的內容給你。 請使用 Markdown 語法總結關鍵資訊和詳細重點內容或範例。再來請你根據該章節內容提出一些重要洞察，最後根據該章節提出 3~5 個關鍵性問題來考考我是否真正瞭解該章節內容。

然後將每個章節的內容分別放到不同的 LLM，為的是避免幻覺，以及從不同的 LLM 視角完善脈絡。

▎ 我如何使用 ChatGPT 類的工具改變閱讀習慣

在 ChatGPT 可以使用 Plugin 來讀取網頁內容後，我的閱讀流程就有了不同的改變。

以往閱讀英文文章都有個痛點：

→ 不理解整篇架構，導致閱讀有時候不清楚內容起承轉合，有時也容易失焦

→ 因為翻譯或專有名詞導致不理解內容（最大痛點）

→… twitter.com/i/web/status/1… (1) ReaderGPT 快速概覽內容，決定是否閱讀

這是一款能針對網頁內容進行一次性對話的瀏覽器擴充元件。意思是能設定不同的特定 prompt 針對內容進行提問、總結、翻譯等。

詳細功能不多做介紹，可參考其它人的相關教學。不過要記得這個工具需要用 OpenAI 的 API。… https://t.co/wWpOK5XQ7Atwitter.com/i/web/status/1…

【🧵讓 GPT-4 自主探索遊玩 Minecraft！！】

繼上次史丹福大學的模擬 25 人小鎮實驗後，現在這個 Voyager 應該是 AI 自主模擬探索的最具代表了。

▎Voyager 是什麼？
Voyager 就是一個可以自主在 Minecraft 探索的… twitter.com/i/web/status/1… 1. 自動化學習（Automatic Curriculum）：為了盡可能的探索，根據環境、自身條件與遊戲回饋學習執行任務

舉例來說，當你手上有 3 塊木頭、4 跟木棍、3 個石頭跟 1 個木鎬。

這時候 AI 就會自動思考『我應該拿一些做石鎬，這樣可以提升採礦效率』，然後就會有一個任務是『製作 1 支石鎬』。… twitter.com/i/web/status/1…

【Mr. Ranedeer：用 AI 學會任何知識】

目前市面上的對話機器人，用了這一套 prompt + Plugin 的功能，就能拿來輔助學習任何想學的知識了。

▎複製 prompt 給 ChatGPT

只要複製以下 Mr_Ranedeer 的 prompt：
github.com/JushBJJ/Mr.-Ra…

如果只有 GPT-3.5 怕上下文不夠的話，可以用精練版：… twitter.com/i/web/status/1… ▎複製 prompt 給 ChatGPT

只要複製以下 Mr_Ranedeer 的 prompt：
github.com/JushBJJ/Mr.-Ra…

如果只有 GPT-3.5 怕上下文不夠的話，可以用精練版：
github.com/JushBJJ/Mr.-Ra…

(1/7)【太神啦！ 10 萬 token 的上下文：Claude】🧵
Anthropic 真不愧是 OpenAI 最強大的競爭對手，把自家機器人 Claude 的上下文拓展到 10 萬個 token（相當於 75000 左右的字符）
未來要將書本或是多個文件一起檢索重要資訊非常非常有用！
申請 Claude: anthropic.com/product (2/7)在合併資產負債表中，請強調對潛在投資者最重要的項目並解釋其意義。首先製作一個使用 Markdown 格式的表格或多個表格來顯示所選結果，然後提供結果的摘要和分析。