مسافر يصلي بالناس أربعا

إذا كانت هناك جماعة من المسافرين فصلى بهم إمام مسافر صلاة رباعية وهو لا يعلم أن المسافر يقصر، فقام للركعة الثالثة بعد التشهد الأول وسبحوا له فلم يرجع، فماذا على المأمومين أن يفعلوا؟