خلع العمامة ولبس المصر

نسمع مقولة أن من لبس العمامة لا يحق له خلعها ولبس المصر لأنه أقل مرتبة؛ ما صحة ذلك؟