离婚时，抚养权给了男方现在想要回来的，首先可以与男方协商变更抚养权。协商不成的，可以向法院另行提起变更抚养权之诉。若能向法院举证证明对方不适合继续抚养孩子，如对方有赌博、吸毒等恶习的，对方的经济条件不足以抚养孩子的，法院在审查后，一般会支持变更抚养权。 父母与子女间的关系，不因父母离婚而消除。离婚后，无论由谁直接抚养，仍是父母双方的子女。

法律依据

《最高人民法院关于适用中华人民共和国民法典婚姻家庭编的解释（一）》第五十六条 具有下列情形之一，父母一方要求变更子女抚养关系的，人民法院应予支持：

（一）与子女共同生活的一方因患严重疾病或者因伤残无力继续抚养子女；

（二）与子女共同生活的一方不尽抚养义务或有虐待子女行为，或者其与子女共同生活对子女身心健康确有不利影响；

（三）已满八周岁的子女，愿随另一方生活，该方又有抚养能力；

（四）有其他正当理由需要变更。

《最高人民法院关于适用中华人民共和国民法典婚姻家庭编的解释（一）》第五十七条 父母双方协议变更子女抚养关系的，人民法院应予支持。