Thread by @oz1lqo

[da] #nerdalert #påskenørderi
Hej allesammen!😃
Det har været en dejlig påske, men også en påske hvor jeg trængte til at koble lidt af, tænke på noget (helt) andet… Og så ville skæbnen at jeg snublede over en lidt sjov artikel.. Mere om den om lidt 🙂

Her er en ret underlig tråd om AI og neurale netværk - tro mig, det er ikke hvad du troede du skulle læse på en mandag aften 😂 Der er selvfølgeligt også rigeligt med elektronik, spænd sikkerhedsselen 👍🏼

Først, ved I hvordan AI, LLM (Large Language Models), GPT, alt det der, virker? Jeg har en rimelig (overfladisk) forståelse for det og der er mange videoer på YouTube som alle viser de sjove (nogen vil sige underlige) neurale netværksdiagrammer som vist herunder.
Forklaringerne bliver hurtigt temmeligt langhårede.. 🤷🏼‍♂️🙂

Men hvordan startede det, hvad er det helt grundlæggende?

Rosenblatt skrev i 1958 en artikel om ‘Perceptronen’, en model som meget ligner den måde neuronenerne i vores hjerne fungerer. Det er slående, at han allerede dengang stillede tre meget fundamentale spørgsmål om hvordan neurale netværk ‘lærer’ og gemmer det lærte.

En Perceptron er en model med en række inputs, der hver især bliver vægtet og dernæst lagt sammen. Resultatet bliver så tolket til en handling, der kan være så simpel som at output blot er et ON eller OFF, alt efter hvad inputtet var.
Det er faktisk meget sådan, at vores mange neuroner og synapser(forbindelser) i hjernen fungerer 🙂

I 1960 skrev Bernard Widrow en artikel om, hvordan man kunne bygge en ‘Maskine’ som kunne emulere Perceptronen - dengang havde man jo ikke computere som i dag.
Sammen med en studerende, byggede han ‘KNOBBY ADALINE’, en analog Perceptron, som man kunne træne til at genkende mønstre.
Kig her for at se lidt mere om den:

en.m.wikipedia.org/w/index.php?ti…

Der er ikke meget information om ADALINE i dag, desværre, men som nævnt tidligere, snublede jeg over denne artikel, hvor Widrow fortæller om den - og der er sørme et principdiagram.. 😃

Jeg har bygget min egen ADALINE, en analog Perceptron, en simpel neuron som man kan træne! 😃
Princippet er, at man på knapperne til venstre kan vælge mellem en positiv eller negativ spænding i 4x4 celler. Lysdioderne lyser op, hvis den pågældende celle er positiv og på den måde kan man tegne et mønster.
Signalet fra cellerne føres videre til 4x4 potentiometre, så hver enkelt celles spænding kan justeres, den proces kaldes ‘vægtning’.
Det hele lægges sammen og vises på et lille viserinstrument, som kan vise ‘positivt’ eller ‘negativt’.
Billedet viser at det hele er i hvile, før den er blevet ‘trænet’.

Lad os træne den til at kende forskel på ‘T’ og ‘J’. Vi tænder for de celler, som kan danne et ‘T’ og reglen er nu, at man justerer de tændte celler lidt op og de ikke-tændte celler lidt ned.
Resultatet bliver, at Perceptronen viser et positivt output, alt er godt. 👍🏼

Nu skifter vi til ‘J’. Udlæsningen er lige midt i, den genkender ikke mønstret, men nu justerer vi omvendt: De tændte celler skal nu lidt ned og alle de slukkede celler skal lidt op.

Sådan, så fik vi et negativt output på et ‘J’, det er meget bedre 🙂

Sådan træner vi de fire kombinationer: to ‘T’ og to ‘J’.
Resultatet er, at Perceptronen nu vil vise positivt for begge ‘T’ og negativt for begge ‘J’. Ja det behøver ikke engang at være et perfekt ‘T’, den viser stadigt positivt udslag 😎

Nu kunne man jo tro, at den endelige position på potentiometrene efter træningen måske ville vise noget som er genkendeligt ift. de to bogstaver ‘T’ og ‘J’, men det er faktisk ikke tilfældet 🤷🏼‍♂️ Der er endda mange af cellerne som står på 0 (nul) og dermed i praksis er inaktive …
Det er en sjov pointe: den måde informationen lagres på, ligner ikke nødvendigvis det som Perceptronen er blevet trænet op imod.

Min ene lille Perceptron (kunstige neuron) opstilling er simpel.
Vores hjerne har over 100mia, med over 1000mia forbindelser imellem dem.
Moderne LLMs (GPT, Grok), har endnu flere og den træning de bliver udsat for, og den mængde information de gemmer, er nærmest ubeskrivelig stor. Det hele er gemt som tal, ‘vægte’ på milliarder af forbindelser mellem milliarder af neuroner.
Det var den påske 🐣- hvad skal jeg nu lave? 😂
Hav en god aften 👍🏼 Slut 🧵

@threadreaderapp unroll