حكم ترك صلاة الجماعة والصلاة منفردًا مع وجود جماعة قائمة

أحيانًا في المساجد وعلى الطرقات تكون هناك جماعة تصلي الظهر أو العصر أو المغرب أو العشاء، فيأتي شخص فيصلي منفردًا نفس الصلاة التي تصليها تلك الجماعة ثم يذهب، وقد لاحظت هذا في مسجد عام على الشارع؛ صلّيت أنا ورجل من كبار السن جماعة، فجاء شخص وصلى تلك الصلاة نفسها منفردًا ولم يصلِّ معنا. إن كان هذا الشخص عنده عذر أو مستعجل فهل يسوغ له ترك صلاة الجماعة مع قيام الجماعة؟