إمامة عاصٍ يتوب ويعود

رجل يذنب في الخلوات بالزنا ثم يتوب ويعود مراراً، وهو يحفظ أجزاء من القرآن ويصلي بالناس أحياناً، فهل يترك إمامة الناس حتى يقلع عن الذنب؟