ناصر کے والد محمد سلطان کاظمی سرکاری ملازم تھے۔ والد کے پیشہ ورانہ تبادلوں کی وجہ سے ان کا بچپن کئی شہروں میں گزرا تھا۔ انہوں نے میٹرک مسلم ہائی اسکول انبالہ سے کیا۔ آگے کی تعلیم کے لیے اسلامیہ کالج لاہور آ گئے تھے۔
ناصر کاظمی وہاں کے ایک ہوسٹل میں رہتے تھے۔ ان کے استادِ خاص رفیق خاور ان سے ملنے کے لیے اقبال ہاسٹل میں جاتے اور ان کے کمرے میں شعر و شاعری پر بات کرتے تھے۔ تاہم اس کے باوجود بھی ناصر نے بنا بی اے پورا کیے تعلیم ترک کردی۔