离婚后随时都能要回孩子抚养权。当事人在离婚后想要回抚养权的，可以先与有抚养权的一方进行协商，协商不成的，可以起诉至人民法院，要求人民法院变更抚养关系。