تأخير الحج خوف المعاصي

بعض الناس يؤخر حجة الإسلام إلى كِبر السن خشية أن يقع في الأخطاء بعد الحج ظناً أن ذلك يفسد الحج، فهل هذا صحيح؟