هل تنتقل الولاية للابن إذا كان هو الذي ينفق على الأسرة دون الأب

رجل تزوج بالثانية ولديه على الأولى تسعة أولاد وبنات ولا ينفق عليهم حيث والولد من صغره الذي شقي عليهم وربى إخوته لما كبروا فهل الولاية للولد الذي أنفق وعانى من صغره أم للأب الذي لم ينفق على عياله وكانت المسؤولية على الولد لمدة سنين؟