Eric Xu 🇺🇦 Profile picture
Jan 1, 2022 8 tweets 3 min read Read on X
Using this thread to record books I read in 2022. More to come.
First book of the year.

A conflict of visions by Thomas Sowell.

分析框架类似于性本善或恶之辩,但用人的认知能力的 constrain 表述,更符合认识论/epistemological 范式。 Image
Second book 📕 of the year: Narrative and Numbers. Image
Book #3. “Risk Society” by Ulrich Beck.

This is my second pass. This is not an easy one to read. Need to revisit it again. Image
3D Printing Failures. #book

This is a fun yet dense read.

It is amazing a 3D printer could actually work, because so many things could go wrong. Image
📚
Coding Literacy: How Computer Programming Is Changing Writing

“Literacy is both functional and rhetorical”. Image
📚
The Supreme Court in the Intimate Lives of Americans Image
📚
Why Nations Fail

Perspective from New Institutional Economics. Similar to North’s framework. 3/5. Image

• • •

Missing some Tweet in this thread? You can try to force a refresh
 

Keep Current with Eric Xu 🇺🇦

Eric Xu 🇺🇦 Profile picture

Stay in touch and get notified when new unrolls are available from this author!

Read all threads

This Thread may be Removed Anytime!

PDF

Twitter may remove this content at anytime! Save it as PDF for later use!

Try unrolling a thread yourself!

how to unroll video
  1. Follow @ThreadReaderApp to mention us!

  2. From a Twitter thread mention us with a keyword "unroll"
@threadreaderapp unroll

Practice here first or read more on our help page!

More from @xleaps

Mar 24, 2024
为什么流氓国家拿到一样的剧本

你或许不知道,在莫斯科被袭击之前的几个月,几乎一模一样的脚本就在伊朗演习过一次。

按照赵立坚的说法,美国情报机构就是个笑话,然后几天后脸被扇肿了。美国情报机构一直跟踪阿富汗的 ISIS-K 的动向,可以说在预测恐袭方面至今保持 100% 的准确度

/1
伊朗有个叫圣城旅的特种军事组织,主要任务是在中东执行军事任务。它的指挥官苏莱曼尼四年前在巴格达机场被美军的无人机干掉了。

苏莱曼尼的支持者在他死亡四周年之际去纪念他。美国情报部门截获了 ISIS-K 要发动袭击的情报,私下(因为两国没有外交关系)通知了伊朗。

/2
恐怖分子安排了两个炸弹,一个在纪念活动旁边,另一个在人群逃亡下方的路线上。显然是要造成更大人员伤亡。

显然伊朗情报部门失责了,恐袭发生了。于是,指责游戏开始。

现场的群众居然在恐袭发生后第一时间就喊出了“打倒以色列,打倒美国”的口号。这可以理解,他们参与纪念活动的本意就是反美

/3
Read 9 tweets
Feb 25, 2023
民主的棘轮的预测近一周年了。

此刻,一个独裁者想要在普京被棘轮彻底绞杀之前把他抢救下来,然而这只是徒劳。
这位独裁者的两难困境在于,一方面,他一直致力为世界指明方向,这就需要表现出对一些普世价值的尊崇,比如反对战争反对使用核武器,另一方面他为了取而代之现下的世界秩序反对美国,他需要构建他的轴心联盟。

而他的轴心联盟的成员,恰恰正在破坏他声张的普世价值,这让他进退失据。
所以他让他的战狼外交官和有联合国履职经验的一群人,捣鼓出了一个四不象的方案。

1. 他为了自己负责人大国领袖形象,在欧洲那些毫无英雄气概的政客说动之下,明确表态核武器不是普京的可选项。

自此,俄罗斯在此场战争中最大的王牌被自己的同盟毫无预兆地抽走。
Read 13 tweets
Feb 21, 2023
昨日发推后,不少推友说 Transformer 似乎有种跨语言的能力,同时隐含着中文语料大小未必是瓶颈。索性花多点篇幅解释一下。

首先说一下我在大语言模型上的一些经验吧。我从 2016 年 Attention is all you need 出来之前就在训练大的代码语言模型。Transformer 出现之后我在 Reddit 训练过多个 LLM。
语料和语言模型之间的关系如同燃油和引擎。在 NLP 领域,一度是模型能力落后,好比引擎落后,再好的汽油也是低效运转。

比如 2013 年 Word2Vec 出现那会儿, 算词向量需要先划定词汇表。如果做中文词向量还要分词。做代码向量更不可能,代码里变量的词汇量是个无限的。
同时代的技术,无非是一个字母一个字母读取,或者在字符串上做卷积,才可以把开放词汇表的语料读进网络 (LLM先决条件) 但这两者都有笨拙之感。

直到 2016 年 Subword unit / BPE 技术出现后,模型这边才有了真正的无需过滤选择而处理全部语料的能力。
Read 20 tweets
Feb 19, 2023
说一个大多风险资本不懂, 行内人为了赢得不明就里的风投而故意不讲的一个公开秘密,即:

现有的中文语料大小和质量,与 GPT-3 或者 ChatGPT 使用的主要是英文的语料相比,无论是质量还是数量都差好几倍。

而这一点,是多年来中文互联网高质量开放式内容贫乏,内容在自家高墙之内的福报
东方文化里,现代化的寓意和“赶英超美”的叙事,往往最后都落实在一个关键指标上,如钢产量。

复刻中文版 ChatGPT 的关键指标,无非就是模型大小。GPT-3 架构是已知的,175B 个参数。如果一家公司宣称复刻 ChatGPT 来拉投资或者上项目,心理上绕不过这个参数量。这是“赶超”情结的先天缺憾。
2022 年,DeepMind 贴出了一篇著名的方向性的 paper, 题为 Training Compute-Optimal Large Language Models 不过业内一般叫做 Chinchilla (龙猫).

大致的意思是语言模型的参数量,语料大小和最佳损失(即模型效果)之间符合一个凸曲线。多大量的语料和多大的模型配合有个经验公式。
Read 4 tweets
Oct 18, 2022
略评中国式现代化

个人认为和大清洋务派倡导的大清现代化(洋务运动)是内核同构的:在不改变政治制度设置的前提下,寻求其他领域现代化。
中国式现代化并不玄妙。讲到底,只有一个原则:现代化只能增强不能削弱统治权。

削弱统治权的现代化就不属于中国式现代化。试举二例:

✅ 中国拥有特斯拉这样的创新企业销往全球
🚫 创始人因此成为世界首富还说话口无遮拦
中国式现代化,从满清到如今,从来都弥漫着这种左右互搏式的异想天开,仿佛截然相反的政策目标,能够自动达到帕累托最优。

✅ 农业生产大规模提升更少农民从事农业
🚫 失地农民跑到城市不买房从事低端产业
Read 8 tweets
Sep 14, 2022
(再用中文解释一遍)

策应表示口惠实不至而已。普京当下最大的危机是战场上的节节败退,需要直接军事援助。而这一代中国领导层所处的阵营关系,决定了即使他们心理的父亲和行动楷模是毛泽东,他们也无可能再做出抗美援俄的决策,甚至也做不了铁道兵援越。他们眼高手低无能为力。
一些地缘政治专家预测,俄罗斯的衰落会成为中国的小弟(junior partner)。考虑到文革知青领导层的精神太上皇是沙皇斯大林,以及普京继承了沙皇的野心与权柄,两方金字塔顶端的几个实际权力决策者都有地位转换带来的心理不适。这种心理不适的具体表现就是普京不可能甘愿接受成为藩属的胡志明或金正日。
那么怎么刻画未来的中俄关系呢?

1, 合作错位:普京要的军援,知青一代给不了。知青一代要的精神父亲和四面开花拖美国下水的反美战争,普京给不了。俄罗斯的寡头政治也注定了远东地区成为不了一个更加靠近的非洲。策应是因为没有深度合作的立足点,只能在外围以协同为名各自为战。
Read 10 tweets

Did Thread Reader help you today?

Support us! We are indie developers!


This site is made by just two indie developers on a laptop doing marketing, support and development! Read more about the story.

Become a Premium Member ($3/month or $30/year) and get exclusive features!

Become Premium

Don't want to be a Premium member but still want to support us?

Make a small donation by buying us coffee ($5) or help with server cost ($10)

Donate via Paypal

Or Donate anonymously using crypto!

Ethereum

0xfe58350B80634f60Fa6Dc149a72b4DFbc17D341E copy

Bitcoin

3ATGMxNzCUFzxpMCHL5sWSt4DVtS8UqXpi copy

Thank you for your support!

Follow Us!

:(