خدمة المسجد وإهمال الأهل

رجل تطوع لخدمة المسجد وتكونت جماعة يسمون أنفسهم جماعة المسجد يسمرون بعد المغرب والعشاء، وهو يقصّر في حاجات زوجته وأهله؛ فهل خدمته للمسجد أحق من خدمته لأهله؟