முதலில் ஒரு ML Algorithm அப்ளை செய்வதற்கு முன் செய்யவேண்டியது hypothesis டெஸ்டிங். இந்த hypothesis டெஸ்டிங் என்பது நம்முடைய அனுமானம் சரியாக இருக்கிறதா இல்லையா என்பதை பரிசோதித்து கொள்ள உதவும்.
டேட்டாவில் இருந்து ஒரு சிறிய சாம்பிள் எடுத்து அதன் மேல நீங்கள் hypothesis டெஸ்டிங் செய்யலாம்.
population என்பது மொத்த டேட்டாவாகும். மொத்த டேட்டாவில் இருந்து ஒரு சிறிய பகுதி எடுத்தால் அது தான் சாம்பிள்.
population என்பது மொத்த டேட்டாவாகும். மொத்த டேட்டாவில் இருந்து ஒரு சிறிய பகுதி எடுத்தால் அது தான் சாம்பிள்.
இதில் மேஜராக ரெண்டு types இருக்கு.
1. probability sampling மற்றும்
2. non- probability sampling.
இதை பற்றி விரிவாக பாப்போம்.
1. probability sampling மற்றும்
2. non- probability sampling.
இதை பற்றி விரிவாக பாப்போம்.
நம்ம friend ஒரு சாக்லேட் பேக்டரி வெச்சி இருக்கார். அவர் தன்னுடைய ஒவ்வொரு சாக்லேட் பாக்கெட்டும் 1kg சரியாய் எடை இருக்கும்ன்னு சொல்றார். நமக்கு சந்தேகம். சரிபார்க்கணும்னு ஆசை.ஆனா எப்படி சரி பார்க்க . இங்க தான் நாம hypothesis டெஸ்டிங் உபயோகிக்கணும்.
இதை step by step பண்ணனும் :
1. இந்த கேள்வியில் நமக்கு இருப்பதே ரெண்டு வாய்ப்பு தான். ஒன்னு எடை சரியாக இருக்கலாம் இல்லனா எடை தப்பா இருக்கலாம். எப்போவுமே நாம Null hypothesis (எந்த வேறுபாடும் இல்ல) ன்னு ஆரம்பிக்கணும்.
1. இந்த கேள்வியில் நமக்கு இருப்பதே ரெண்டு வாய்ப்பு தான். ஒன்னு எடை சரியாக இருக்கலாம் இல்லனா எடை தப்பா இருக்கலாம். எப்போவுமே நாம Null hypothesis (எந்த வேறுபாடும் இல்ல) ன்னு ஆரம்பிக்கணும்.
2. சாம்பிள் கலெக்ட் பண்ணனும் .
3. சாம்பிள் மீது நம்ம டெஸ்ட் பண்ணி இந்த null hypothesis சரியா இல்லையான்னு சரி பார்க்கணும்.
4. சரிபார்த்த பின் அந்த null hypothesisயை ஏற்றுக்கொள்வதா இல்லை மறுப்பதா என முடிவு செய்யலாம்.
3. சாம்பிள் மீது நம்ம டெஸ்ட் பண்ணி இந்த null hypothesis சரியா இல்லையான்னு சரி பார்க்கணும்.
4. சரிபார்த்த பின் அந்த null hypothesisயை ஏற்றுக்கொள்வதா இல்லை மறுப்பதா என முடிவு செய்யலாம்.
நீங்கள் null hypothesisயை மறுத்தால் உடனே alternative hypothesisயை ஏற்று கொண்டதாக அர்த்தம். (அதாவது வேறுபாடு இருக்கிறது என்று)
சரி கணக்குக்கு வருவோம். அந்த சாக்லேட் பேக்டரில இருந்து 30 சாம்பிள் எடுத்து எடை போடுறீங்க. சராசரி எடை 990கி. (இதுலே தெரிஞ்சுருச்சுன்னு குதிக்க வேண்டாம்).
சரி கணக்குக்கு வருவோம். அந்த சாக்லேட் பேக்டரில இருந்து 30 சாம்பிள் எடுத்து எடை போடுறீங்க. சராசரி எடை 990கி. (இதுலே தெரிஞ்சுருச்சுன்னு குதிக்க வேண்டாம்).
அதன் சாம்பிள் deviation 12.5கி. உங்களுக்கான வேறுபாட்டு அளவு 0.05 (அதாவது 5%). (உலகத்தில் எந்த பொருள் உற்பத்தி செய்தாலும் 5% தவறாக இருக்கும் என்பது கணித விதி).
இப்போ நீங்கள் H0 (null hypothesis) வேறுபாடு இல்லை என அனுமானம் கொள்கிறீர்கள். இதை நிரூபிக்க செல்வோம்.
H0 - Null Hypothesis
H1 - Alternative Hypothesis.
H0 - Null Hypothesis
H1 - Alternative Hypothesis.
X! = 990 (சராசரி எடை), N = 30, s = 12.5. இப்போது இதன் மீது T- டெஸ்ட் செய்ய வேண்டும். இதன் formula
t = (x! - µ)/ s/sqrt ( N ) இங்கு µ என்பது இருக்க வேண்டிய எடை . அதாவது 1000கி
t = (990 - 1000) / (12.5/sqrt(30)) = - 4.3818
t = (x! - µ)/ s/sqrt ( N ) இங்கு µ என்பது இருக்க வேண்டிய எடை . அதாவது 1000கி
t = (990 - 1000) / (12.5/sqrt(30)) = - 4.3818
இந்த மதிப்பிற்கு நாம் T- டேபிள் சார்ட் பார்த்து value கணக்கிடணும். t0.05, 30 = 1.699 => - t0.05, 30 = -1.699
அதாவது இந்த சார்ட்ல T significance லெவல் 0.05இல் 30க்கு பார்க்கணும். அப்படி பார்க்கும்போது -1.699க்கு குறைவாக -4.3818 உள்ளது. எனவே நம்ம நண்பர் சொன்ன கூற்று பொய்யாகிறது
அதாவது இந்த சார்ட்ல T significance லெவல் 0.05இல் 30க்கு பார்க்கணும். அப்படி பார்க்கும்போது -1.699க்கு குறைவாக -4.3818 உள்ளது. எனவே நம்ம நண்பர் சொன்ன கூற்று பொய்யாகிறது
இன்னொரு வகையிலும் நீங்கள் உங்கள் அனுமானத்தை சரிபார்த்து கொள்ளலாம். அது p = 0.05 என p value கொண்டு, 0.05க்கு கீழே போனால் உங்கள் அனுமானம் சரி. 0.05க்கு மேல் சென்றால் உங்கள் அனுமானம் தவறு.
இதற்கு உண்டான python code கீழே இணைத்து உள்ளேன்.இதில் சில சமயம் தவறுகள் ஏற்படலாம் .
அவை Type 1 Error , Type 2 Error எனப்படும்.
அவை Type 1 Error , Type 2 Error எனப்படும்.
Type 1 Error : உண்மையாக இருக்கும் Ho (Null hypothesis ) ஐ ரிஜெக்ட் செய்தல்.
Type 2 Error : தவறாக இருக்கும் Ho( Null Hypothesis)ஐ ஏற்று கொள்ளுதல்.
நாளை முதல் ML கடலில் இன்னும் ஆழமாக பொதக்கடீர்ன்னு குதிப்போம்.
#EndofPartVII
Type 2 Error : தவறாக இருக்கும் Ho( Null Hypothesis)ஐ ஏற்று கொள்ளுதல்.
நாளை முதல் ML கடலில் இன்னும் ஆழமாக பொதக்கடீர்ன்னு குதிப்போம்.
#EndofPartVII
