Eric Xu 🇺🇦 Profile picture
polymath, polyglot, root of a ternary tree. Sr Director of AI @HubSpot 🧑‍💻 prev @Meta @Google @Reddit 三脚猫 martial artist 🥋 Rookie pilot 🛩️
Learn Chinese With Quincy Profile picture Adanon Profile picture 2 subscribed
Mar 24 9 tweets 1 min read
为什么流氓国家拿到一样的剧本

你或许不知道,在莫斯科被袭击之前的几个月,几乎一模一样的脚本就在伊朗演习过一次。

按照赵立坚的说法,美国情报机构就是个笑话,然后几天后脸被扇肿了。美国情报机构一直跟踪阿富汗的 ISIS-K 的动向,可以说在预测恐袭方面至今保持 100% 的准确度

/1
伊朗有个叫圣城旅的特种军事组织,主要任务是在中东执行军事任务。它的指挥官苏莱曼尼四年前在巴格达机场被美军的无人机干掉了。

苏莱曼尼的支持者在他死亡四周年之际去纪念他。美国情报部门截获了 ISIS-K 要发动袭击的情报,私下(因为两国没有外交关系)通知了伊朗。

/2
Feb 25, 2023 13 tweets 1 min read
民主的棘轮的预测近一周年了。

此刻,一个独裁者想要在普京被棘轮彻底绞杀之前把他抢救下来,然而这只是徒劳。 这位独裁者的两难困境在于,一方面,他一直致力为世界指明方向,这就需要表现出对一些普世价值的尊崇,比如反对战争反对使用核武器,另一方面他为了取而代之现下的世界秩序反对美国,他需要构建他的轴心联盟。

而他的轴心联盟的成员,恰恰正在破坏他声张的普世价值,这让他进退失据。
Feb 21, 2023 20 tweets 3 min read
昨日发推后,不少推友说 Transformer 似乎有种跨语言的能力,同时隐含着中文语料大小未必是瓶颈。索性花多点篇幅解释一下。

首先说一下我在大语言模型上的一些经验吧。我从 2016 年 Attention is all you need 出来之前就在训练大的代码语言模型。Transformer 出现之后我在 Reddit 训练过多个 LLM。 语料和语言模型之间的关系如同燃油和引擎。在 NLP 领域,一度是模型能力落后,好比引擎落后,再好的汽油也是低效运转。

比如 2013 年 Word2Vec 出现那会儿, 算词向量需要先划定词汇表。如果做中文词向量还要分词。做代码向量更不可能,代码里变量的词汇量是个无限的。
Feb 19, 2023 4 tweets 1 min read
说一个大多风险资本不懂, 行内人为了赢得不明就里的风投而故意不讲的一个公开秘密,即:

现有的中文语料大小和质量,与 GPT-3 或者 ChatGPT 使用的主要是英文的语料相比,无论是质量还是数量都差好几倍。

而这一点,是多年来中文互联网高质量开放式内容贫乏,内容在自家高墙之内的福报 东方文化里,现代化的寓意和“赶英超美”的叙事,往往最后都落实在一个关键指标上,如钢产量。

复刻中文版 ChatGPT 的关键指标,无非就是模型大小。GPT-3 架构是已知的,175B 个参数。如果一家公司宣称复刻 ChatGPT 来拉投资或者上项目,心理上绕不过这个参数量。这是“赶超”情结的先天缺憾。
Oct 18, 2022 8 tweets 1 min read
略评中国式现代化

个人认为和大清洋务派倡导的大清现代化(洋务运动)是内核同构的:在不改变政治制度设置的前提下,寻求其他领域现代化。 中国式现代化并不玄妙。讲到底,只有一个原则:现代化只能增强不能削弱统治权。

削弱统治权的现代化就不属于中国式现代化。试举二例:

✅ 中国拥有特斯拉这样的创新企业销往全球
🚫 创始人因此成为世界首富还说话口无遮拦
Sep 14, 2022 10 tweets 1 min read
(再用中文解释一遍)

策应表示口惠实不至而已。普京当下最大的危机是战场上的节节败退,需要直接军事援助。而这一代中国领导层所处的阵营关系,决定了即使他们心理的父亲和行动楷模是毛泽东,他们也无可能再做出抗美援俄的决策,甚至也做不了铁道兵援越。他们眼高手低无能为力。 一些地缘政治专家预测,俄罗斯的衰落会成为中国的小弟(junior partner)。考虑到文革知青领导层的精神太上皇是沙皇斯大林,以及普京继承了沙皇的野心与权柄,两方金字塔顶端的几个实际权力决策者都有地位转换带来的心理不适。这种心理不适的具体表现就是普京不可能甘愿接受成为藩属的胡志明或金正日。
May 3, 2022 4 tweets 1 min read
俄罗斯外交部也战狼化了,这几天有意升级和以色列的龃龉。

我把这些外部看来自我作死,但系统内部各部分都是做得理性选择的范型,称为“内生误判”(endogenous miscalculation)。

🧵👇 首先,现代社会由各种组织/系统构成,决定也由各系统而非单一个人做出并执行。即使是独裁者,也是处于一个决策执行系统之中。铁拳的遍历是系统,草台班子也是系统。

系统决策的好坏,只有放到外部环境中才有意义。如运动员,通过竞赛才能知道其训练方式是否有效。

决策是内部做出,外部评价的。
Mar 24, 2022 4 tweets 1 min read
新写了一篇文章:风险分析框架

算是我 2021 年整个投资哲学(铁拳遍历性+做多中概股波动性)的总结

blog.youxu.info/2022/03/23/ris… 点名感谢一下推友 @renfanzi 。从他的推文和邮件组里获益良多,推荐有兴趣的订阅(我们之间无利益往来)。
Feb 28, 2022 13 tweets 2 min read
懒得写长文了,用中文简单说一下。

普金正在经历“民主的棘轮”(不必搜出处,我发明的词)。这个棘轮一旦转起来有了惯性,会随时间自动绞杀普金。

1. 普金的算计是。西方的政客效率低,只会动嘴,因此只要生米做成熟饭,回头来谈判条件肯定对自己有利。这个判断,至少在 2/24 前无法证否。 2. 起初,所有的人都不知道乌克兰可以抵抗多久。不过半年前,阿富汗被塔利班势如破竹攻下,总统逃亡,大量武器装备落入塔利班之手。在这种不确定下,军援乌克兰有着巨大的沉没风险。

然而,乌克兰居然久攻不下。泽连斯基一夜成为英雄。此时,援助和制裁的沉没风险就被极大消解了。
Feb 27, 2022 5 tweets 1 min read
The ratchet!

As long as the invasion is ongoing, the West has the obligation to do something, anything, everyday.

Given time, the ratchet will choke Russia hard, till it taps out. Oh judo!

Thanks to the resistance of Ukraine, time is their friend. Oh armchair geopolitical analyst hat on:

Prior to the invasion, there was no clear signal if Ukraine would fail fast like Afghanistan. Thus I assume the west didn't want to throw a lot of resources at the problem. Plus wordcel politicians like to talk as opposed to do things.
Jan 7, 2022 4 tweets 1 min read
我想就算对中文再不敏感的人到现在也熟悉了一个句式:“应 X 尽 X”。这里 X 是一个动词。这个句式是习大大首先使用的,目前已经成为一个政策原则。

其实这也是铁拳刚性的一个定义。

从这个定义出发有时候可以听风就是雨可以做一些金融操作,让习大大帮构建已经到来的未来。

我话就说到这里了。 我想从词源和流变角度 (etymology) 去考察这个问题会很有意义。精力和能力有限只能列个大概。

这个句式起源于武汉新冠肺炎爆发时的收治政策,即“应收尽收”。2020年2月3日首次提出,后来作为武汉建立方舱医院等一系列决定的政策依据。

本来仅是一项应急政策,但习后来一系列的讲话强化了它的传播。
Jan 1, 2022 8 tweets 3 min read
Using this thread to record books I read in 2022. More to come. First book of the year.

A conflict of visions by Thomas Sowell.

分析框架类似于性本善或恶之辩,但用人的认知能力的 constrain 表述,更符合认识论/epistemological 范式。 Image
Dec 19, 2021 6 tweets 1 min read
今后的几十年,所有的有良心的中国人,都会持续不断地和“中国人”这个标签上所蕴含的耻辱感共存,寻求和解。这是操蛋的时代和正在做恶的那些人,强加给我们的一个额外心理任务。我们无从逃避。

傻逼们不必来争辩了,你无耻是你自己的事情。 我大约三四年前关注这个话题。我从二战后德国人的反思里汲取了许多思想。德语里有个专门的词 Vergangenheitsbewältigung 就是讲和历史之耻共生和解。

最让人绝望的是恶和耻仍在积累,历史在不久的将来会重复。这种无力感是没法赋予文字表达的。知道越多越无力。