الجمع بين الصلاتين

أنا أصلي بالناس في المسجد صلاة الظهر ثم نصلي العصر أنا ومجموعة لكن البعض ينتقدنا بأنه ما يصلح نصلي العصر في ذا الوقت فنقول له إلا تصلح وفي أول وقتها أفضل فما رأيكم؟