我付款后由于卖家迟迟不发货，我点了退款，卖家不处理，然后本来等两天就行了，结果差几个小时了那个卖家又点了同城面交。这时候我立马点击退款，又要等4天。我想问到时候他要是拒绝了我这钱不一直扣在那边了？