منع الأب لبناته من الزيارة

نحن ثلاث أخوات متزوجات نزور منزل أبينا شهرياً وبعد الزيارة تحدث خلافات بين أمي وزوجة أخي، وأبي يزعم أن سبب الخلاف زيارتنا وصرّح أنه لا يريد دخولنا بيته، فهل علينا إثم في ترك زيارته وما الواجب؟