在此情况下，男方应被视为未履行抚养责任。
首先，建议通过交涉来解决此事，以期男方能够承担相应责任。
若此途径无效，您可依法向法院申请变更抚养权。
男方未尽抚养义务的行为已违反离婚协议中的抚养权条款。
为维护自身权益，需搜集证据，例如证人证言及男方未付抚养费的纪录，以此为依据提交至法院。
在诉讼过程中，法院会参照有利于未成年人身心健康发展和保障他们合法权益的原则，对双方的抚养力和抚养条件做出全面评估并据此裁决。
若您能证明男方未履行抚养义务且具备更好的抚养条件和实力，您变更抚养权的诉求将很可能得到支持。

以上是律师的法律建议，如有疑问，欢迎进一步咨询。