هل يجوز أخذ حجار المسجد

نحن خربنا مسجدا مبني من أحجار ووسعناه وبنيناه ببلك حيث وحجاره ما وجدنا لها مكانا فوضعناها طرف الخط وضيقنا بها الخط والمسجد مستغني عنها ويوجد بدلها لو احتجنا له أحجارا فهل يجوز لي أخذها في حاجتي الخاصة؟