离婚的时候三金一般不需要归还给男方，但是有两种特殊情况除外。第一种是双方虽然办理了结婚登记，但是没有实际共同生活过，离婚时男方可以请求返还三金。第二种是男方婚前给付三金导致自己生活困难，离婚时可以请求返还三金。