I collected a long list of the latest AI Coding tools.

All tools are from reddit, I picked only those I saw people talk about recently and are happy with.
(~2 weeks)

I am going to check them all soon enough.
Here they are so you can also try.

(lets talk about them if you try!) but.. why..?

The way I see it:

LLMs are great for code completion
(co-pilot)

But not so great when writing code on their own
(chat-gpt)

I am skeptical about chat LLMs producing value for experienced devs.

But I want to be proven wrong!
(take my job already)

I binge-read most of deepseek's papers this weekend.

Here are my notes
(focusing mostly on data)

The papers:
• DeepSeek:
• DeepSeek-V2:
• DeepSeekMath:
• DeepseekCoder:
• DeepSeek-Coder-V2: arxiv.org/pdf/2401.02954
arxiv.org/pdf/2405.04434
arxiv.org/pdf/2402.03300
arxiv.org/pdf/2401.14196
arxiv.org/pdf/2406.11931 What's the deal with DeepSeekCoder V2?

First time that an open source model reach this level.
Outperformed state of the art coding models.

Released in June so it is already widely tested by everyone around the world.

The results are real, this model is among the bests!

My final guess about @iruletheworldmo before they tell us:

- It is a model.
- Fetches data from X to its context & interacts with us
- The DMs (at least some) are human
- Has some internal agent loop
- NOT trained on X
- Uncensored
- VERY impressive.

(I might be VERY wrong ! !) For those that don't know what this is all about:

Published 3 weeks ago:

Project "Straberry"

An internal reasoning effort at OpenAI as part of the next model's development.

--

Some link this to Q* but this is not confirmed.

[Q* is "what ilya saw" on last year's drama..]

אני לא בטוח שכולם מבינים את הכובד של זה.

דמיינו שגיליתם לבד תגלית שלא רק משנה את כל העולם..

מסתבר ש..
התגלית משמידה את כל תחום העיסוק שלכם.

ואז מסתבר ש..
היא גם משמידה גם את כל התחומים המשיקים.

ואז מסתבר ש..
אין עוד תגליות לגלות אחריה.

ואת כל זה אתם עושים 6 פעמים.

אטנשן. > יש לי כל כך הרבה יותר מידי לספר לכם על זה!

אתחיל לחפור:

שאלה:
איך ChatGPT יודע לדבר בשפה אנושית?

תשובה:
הוא למד לבד מדוגמאות "איך נראה טקסט שבני אדם כותבים"

התשובה הזו נשמעת נורא נחמדה אבל היא לא אומרת כלום לרוב האנשים.

להלן, רקע מקדים קל:

היום צפויה נק' מפנה בבינה המלאכותית.

תקציר:
מטא צפויה לשחרר היום לעולם מודל דגל החדש: LLaMA-3.1
מפה לשם.. הוא כבר דלף..

אחרי לילה ארוך אני יכול לספר לכם איך הוא:
מדובר ככל הנראה במודל החזק בעולם.

אלו רק תוצאות ראשוניות אבל אם המצב ישאר כך העולם כולו עומד להשתנות (לא הגזמה) >> היחוד במודל הוא שמדובר במודל פתוח.

עד לרגע זה המודלים הטובים ביותר היו רק מודלים מסחריים.

מודלים המופעלים על ידי ארגונים גדולים המספקים למשתמשים הגישה דרך ממשקי משתמש (כמו ChatGPT) או ממשקים תוכנתיים (API).

אבל את המודל הזה אתם יכולים להוריד אליכם אל המחשב.

I think Claude 3 crossed (or closely approached) an interesting threshold:

The "power users" threshold.

For the first time being able to help power users with heavy complex tasks faster than themselves.

This is a controversial topic in AI,
Let me try to explain: I never use GPT-4 for code.

I use it for:
1. Brainstorming ideas.
2. Learning new topics that I don't know about.
3. Reading long texts instead of me (ask-your-pdf)
4. Just easy tasks.

But never for code.
It never helped me coding.

Gazans going crazy when realizing there are Muslims in the IDF

A Thread 🧵👇 "Are these Muslims like us or what is their religion exactly?"

First week in the army.

Some thoughts:

The IDF is unbelievably different now than what is was during my (5yr) service.

Unrecognisable.

No clutter.

No bloat.

No BS procedures.

Everything (and everyone) is insanely efficient and highly motivated. Young soldiers are not complaining and oftentimes also overdo their roles voluntarily.

More reservists keeps showing up.

(Many of which volunteered and were not supposed to attend otherwise)

Civilians show up every couple of hours with food, clothing and supplies.

The strongest model you didn't know about:

- The best model.
- Trained on the best dataset.

OpenChat V2 x OpenOrca

OpenChat V2, A leading open-source model was fine-tuned last night on Open-Orca's data.

Link: https://t.co/4hiMTqXUOJ https://t.co/jG9Abqeos0huggingface.co/openchat/openc…
twitter.com/i/web/status/1…
OpenChat?

A series of powerful open source models leading multiple leader boards.

The teams' latest model, OpenChat V2 (weighted), Is currently leading 4 different benchmarks.

Github:
Model: https://t.co/Fv0793EEQSgithub.com/imoneoi/opench…
huggingface.co/openchat/openc…

Reverse engineering Code-Interpreter

Last night I participated in an interesting twitter space: Reverse Engineering the code-interpreter

Here are some of the most interesting bits: https://t.co/pUudeV5uuXtwitter.com/i/web/status/1…
Since the new model is able to run code, many people have already managed to ask it nicely for all the information it has inside the virtual machine it runs on.

I think I get it now. let's try something out:
.
Comment to this thread everything you "just guess" about GPT-4 👇👇 Guess: In the dataset: Went through every undergrad major and included exams, tests & textbooks of the subject. [to create a "wow" effect for every educated person no matter the field]

Ladies and Gentlemen. GPT-4 👇 *Ported from HF's code

B R E A K I N G! @realGeorgeHotz Just said:
- GPT-4 Has 220 parameters.
- GPT-4 Is a mixture of experts with 8 experts.
- GPT-4 Is doing 16 times inference (did u mean beams? or just 2 beams per model?)
-
@realGeorgeHotz It's HUGE!! Can you confirm??
src: latent.space/p/geohot twitter.com/i/web/status/1… @abacaj look what you have done! I had work to do!

החלקים החסרים של GPT-4 (בעברית) 👇
.
The missing pieces of GPT-4 (Hebrew)👇
.
​טריקים שאף אחד לא מדבר עליהם ועתיד מודלי השפה הפתוחים.
***
> אמ;לק: למידה ממשוב לא-אנושי (!!)
.
העברתי הרצאה מעניינת לפני כמה ימים בכנס #GenML עם אותו השם ("החלקים החסרים של GPT-4").
בזמן שכולנו מחכים… twitter.com/i/web/status/1… חלק 2: ההשפעה של LLaMA
----------
אתם כבר יודעים על LLaMA.
מודל שפה עוצמתי מבית מטא, שוחרר בקוד פתוח בפברואר האחרון.
המודל עומד במרכזו של מאמץ עולמי לשחזר את יכולות מודלי השפה המסחריים באופן פתוח.
בכך לספק למיליוני אנשים בכל רחבי העולם גישה לטכנולוגיה זו.
ישנם עשרות אלפי אנשים… twitter.com/i/web/status/1…

How to trick AUC into scoring your stupid models higher 👌

👇A - Thread - about gaming the AUC metric!👇

There is a built-in "flaw" with the AUC metric. Today we are going to take it for a spin! One of the questions coming up as we get stuck on improving individual models further is how to best combine multiple models.

Apart from simple the baseline Avg, Median or Avg-Median-Rocket-Science-Blending[1].