فطرة الرضيع لازمة على أبيه

امرأة مطلقة ومعها طفل في حضانتها في بيت أهلها وأبيها الذي يصرف على طفلها من كل شيء فعلى من تلزم زكاة فطرة طفلها على أبيها أم مطلقها بالرغم أنه لا يعطي لولده شيء ولا حتى يزوره؟