我目前打算卖一套房屋，产权属于夫妻双方共同共有，在签合同时，只有我方只有我妻子签字，买家夫妻双方均签字，对方的定金也在中介的保管账户，我们没有实际收到定金。由于我在国外，前段时间回国后去找买家付首付款并完善合同 ，在约定的日期（口头的，比合同中约定的日期提前）去中介要求对方付款时，对方说是没有钱，另外，要求降低首付。我拒绝了，我说到我们没收到定金，同时合同也没生效，就取消交易，我没时间折腾 。目前我又在国外 ，对方最近又经常联系我，要我履行合同 ，请问这种情况下，我不履行合同 ，是否有损失？多谢。
