我與中介簽訂了一份房產(chǎn)買賣合同，簽訂這份買賣合同當(dāng)日后對方給我交付了一萬元定金，次日與我一起去銀行辦理房產(chǎn)貸款結(jié)清，墊付了52萬元左右，因我購房合同丟失當(dāng)日未辦理房產(chǎn)證等手續(xù)，于是在兩三天后我與我愛人商量時(shí)，不同意以這個(gè)價(jià)格出手。而后辦理了抵押借款，想給這個(gè)中介退還押金和墊付款時(shí)，對方要求我賠付3萬元違約金，想咨詢一下這個(gè)事怎么辦。我只想全額給他退還這些錢。