حكم الكلام في صرح المسجد وقت خطبة الجمعة

يوم الجمعة كنا نتجابر في صرح المسجد حال الخطبة وفي نهاية الخطبة دخلنا المسجد فما يلزمنا؟