حكم إغلاق المسجد بعد أوقات الصلوات للعذر

شخص له مسجد ويغلقه من بعد صلاة الفجر إلى وقت الظهر ويفتحه إلى وقت العصر ويغلقه إلى المغرب ثم يفتحه إلى بعد صلاة العشاء ويغلقه إلى وقت الفجر فهل عليه إثم في إغلاق المسجد لأن بعض الناس يحتاج للحمام عزكم الله والبعض يريد أن يصلي إذا تأخر عن أول وقت الصلاة حيث وحجته بأن الأولاد الصغار يلعبون بالماء؟