对于该问题，需视具体情况而定。
若在与中介签订的协议中有明文约定且遵循了法律和公正原则，中介在某些特定情况下可以依法扣除违约金是合情合理的。
但是，如无明确规定，或者条款模糊导致不公，或者中介扣除违约金的理由不能自圆其说，那么这样的行为就涉嫌违法。
因此，我们应该深入理解合约内容，明确双方的权利义务。
如果中介扣除违约金的行为不当，您有权进行协商；
若协商无效，您可以收集相关证据，如合同、付款凭证、沟通记录等，向相关部门投诉或寻求司法帮助以维护自身利益。

以上是律师的法律建议，如有疑问，欢迎进一步咨询。