Thread by @PhDJokesMemes

Machine Learning - V
- Seshadhiri Dhanasekaran

#MachineLearning
#Thread

ஒரு மெஷின் லேர்னிங் மாடலை நீங்கள் implement செய்யும்போது படிப்படியாக தான் செய்ய முடியும். எடுத்த உடனே மாடலை apply செய்து ரிசல்ட் காட்ட முடியாது.

ஒரு machine learning சார்ந்த product(அ) டாஸ்க் என்னவாக இருந்தாலும் மெஷின் லேர்னிங் நீங்கள் இந்த 7- ஸ்டெப் paradigms பின்பற்ற வேண்டும்.

1. Data Collection
2. Exploratory Data analysis (EDA)
3. Data Cleaning and Preparation
4. Feature Selection
5. Train Algorithm on Training data
6. Test the Algorithm
7. Deploy the Algorithm on Testing Data

ஒவ்வொன்றாக விரிவாக உதாரணம் கொண்டு பார்ப்போம்.

கார் கம்பெனி மார்க்கெட்டிங் ஏஜென்ட்க்கு டேட்டா கொடுக்கறாங்க. எந்தந்த கஸ்டமர் கார் வாங்குவாங்கனு கண்டுபுடிச்சு கால் பண்ண சொல்லி வேலை கொடுக்கறாங்க.

அதுல பெயர், சம்பளம்,சொந்த வீடு இருக்கா ,கல்யாணம் ஆகிருச்சா, அட்ரஸ் ,குடும்பத்தில் எத்தனை நபர், எந்த ஏரியான்னு டேட்டா கொடுக்கறாங்க.

இதை machine லேர்னிங் மாடல் வெச்சி எப்படி செய்யலாம்ன்னு பார்ப்போம். அவன் வாங்குவானா மாட்டானா என்பது மட்டுமே நாம கண்டுபுடிக்கணும். அதாவது classification டாஸ்க்.

1. Data Collection: இது தான் முழு முதல் கட்டம். டேட்டாவை வெப்சைட், Excel ஷீட்ஸ் , கூகுள் APIs , ஒரு சின்ன கம்ப்யூட்டரில் இன்னிக்கு எவ்ளோ மளிகை சாமான் வித்து இருக்கோம்ன்னு டேட்டா எடுத்தாலும், அதுவும் டேட்டா collection தான் . இதை எங்க இருந்து வேண்டுமானாலும் எடுக்கலாம்.

இனிமேல் உங்களை சுற்றி உள்ள அனைத்து எலக்ட்ரானிக் டிவைஸும் டேட்டா source தான். உங்கள் ஸ்மார்ட் வாட்ச் கூட ஒரு டேட்டா சுரங்கம் தான். கார் கம்பெனி பேங்க் மேனேஜர் கிட்ட இருந்து சேலரி அக்கௌன்ட் டேட்டா கிடைப்பது.

2. Exploratory Data analysis (EDA) : இது கிணத்துல குதிக்கிறதுக்கு முன்னாடி ஆழம் பார்ப்பது போல. டேட்டா கிடைச்சுருச்சு. அது எந்த formatல இருக்கு, எவ்ளோ ஜிபி, எத்தனை என்ட்ரி, எத்தனை variables, அதில் ஒவ்வொன்றும் எந்த distribution ல இருக்கு என்பதை புரிந்து கொண்டு செயல்படுத்த செய்வது.

உதா. நாம மேல சொன்ன டேட்டாவில் அதிக சம்பளம் எது,குறைந்த சம்பளம் எது, சம்பளத்திற்கும் ஊருக்கும் சம்மந்தம் இருக்கிறதா என்பதை போல நம்ம அனாலிசிஸ் செய்ய இது உதவும்.

3. Data Cleaning and Preparation : 100க்கு 99% டேட்டாவில் நீங்க டேட்டா கிளீனிங் செய்ய வேண்டி வரும். ஒரு மெஷின் லேர்னிங் ப்ராஜெக்ட்ல 50%க்கு மேல் நீங்க வேலை பார்க்க போற விஷயம் இது தான். இது போல மல்டிபிள் பார்மட்ஸ் இருக்கும். இதை எல்லாத்தையும் ஒரே அளவில் சமன் செய்யணும்.

ஒரே uniform அளவில் டேட்டா இருக்கணும். நம்ம கார் டேட்டாவில் சம்பளம் என்னும் variableஇல் சிலருக்கு 7.2L னு போட்டு இருப்பாங்க, சிலர் 1000000ன்னு போட்டு இருப்பாங்க. இதை எல்லாம் நீங்க தெரிஞ்சிக்க EDA செய்யணும்.

4.Feature Selection : இதில் செய்ய போறது எந்த variablesஐ நீக்க வேண்டும், எதை அடுத்த கட்டத்திற்கு எடுத்து செல்ல வேண்டும் என்பதை முடிவு செய்ய இது உதவும்.

இந்த கார் மார்க்கெட்டிங் டேட்டாவில் உங்க அட்ரஸ் என்பது மிகவும் குறைந்த முக்கியத்துவம் வாய்ந்தது கார் வாங்க. அதனால் அதை நீக்கிவிடலாம் அதை போல எதை நீக்க வேண்டும், எது முக்கியமானது என உதவி செய்யும்.

5. Train the Algorithm on Training Data : நமக்கு கார் மார்க்கெட்டிங் டேட்டா கிடைத்திருச்சு . அதில் 80% அல்லது 70%
டேட்டாவை கொண்டு algorithm இந்த டேட்டா எப்படி உருவானது என கற்று கொள்ள உதவுகிறது. அதாவது வித்தை கற்று கொள்வது போல.

முதலில் ட்ரெயினிங் டேட்டா எடுத்து கொண்டு algorithmத்தை உங்கள் டேட்டாவுடன் சரியாய் பொறுத்த வேண்டும் . இது குறித்து விரிவாக வரும் கட்டுரைகளில் படிப்போம். அதாவது 100 கஸ்டமர் டேட்டாவில் 70 பேர் டேட்டாவை மட்டும் தனியே எடுத்து ட்ரைனிங் கொடுப்பது. டேட்டா இப்படி தான் உருவாகி இருக்கிறது

6. Test The Algorithm : சரி ட்ரைனிங் டேட்டாவில் algorithm சரியாக பொருந்துகிறது. அடுத்து இது சரியாக வேலை செயகிறதா என்பதை மீதம் உள்ள டேட்டாவில் இருந்து ஒரு 5% இல்லை 10% எடுத்து கொண்டு சரியாய் வேலை செய்கிறதா என்று சரி பார்க்க வேண்டும்

இந்த 5%(அ) 10% டேட்டா validation டேட்டா எனப்படும். அதாவது மீதம் உள்ள 30 பேர் டாட்டாவில் 10 பேர் டேட்டா எடுத்து நம்முடைய algorithm சரியாக பொருந்துகிறதா என டெஸ்ட் செய்யலாம்.

7.Deploy The Algorithm on Testing Data
100ல் 70யை train செய்வதற்கும் 10யை validate செய்வதற்கும் மீதி உள்ள 20யை டெஸ்டிங் data எனவும் பிரித்து கொண்டு மீதி 20% dataவின் மீது நம்முடைய algorithmத்தை deploy செய்து புதிதாக எந்த data வந்தாலும் அதற்கு ஏற்றார்போல் சரி செய்வது தான் கடைசி.

இந்த 7 ஸ்டெப் கொண்டு தான் machine learning ப்ரொஜெக்ட்ஸ் உலகம் முழுவதும் இயக்கப்படுகிறது.

#MachineLearningTamil