我家在村子里买了一栋民房，之前对方和我家关系也比较好，所以在谈价格的时候说得有点模糊，等到签合同的那天，我妈说的是17.6万，对方说的是18万，最后经过大家当天协商好为17.8万，然后交5万的定金，也签了收据（算农村的协议吧），剩余的在一个月多后的某天付清，签协议当天也是说好很多家具都是送我家的。过了一段时间，对方女老人突然觉得自己损失了2000块（因为原本她要的是18万），然后就到整个村里去说闲话，这样长那样段，我妈知道后很生气，但是都忍了。过了几天，那个女老人又跑回来踢已经卖给我家的房子，一阵臭骂，还来把一些说好的送我家的小东西拿走了，她依然到处去说闲话，然后直到有一天，大冷天，我妈正在用炉火烧火烙烤饼卖，她那个女老人气急败坏的来就把我妈正在使用的一个燃燃的火给弄息了，还胡乱又说了一通，（房子在一个小学旁边，当小杂货铺用的），这个火炉在签协议那天是明确说好送我家的，此时离约定好的交清余款的时间还有二十多天。我妈非常伤心，然后就决定不要这个房子了，当天就打电话给她的女儿们，还有男老人，说我家不要房子了，他们让我家考虑清楚，后来他们也来道歉了，但是呢，因为之前那个女老人到处去说闲话，说了很多不中听的，胡乱扯，而且还来把那些当时说好的送我家的东西拿走了，而且态度很恶劣，所以他们来道歉我家也是说不要房子了，因为已经做得一点人情味都没有了，所以还是不要房子了。现在约定付款期已经过了，她家来要钱（之前我家已经说过不要房子了），说要么把钱付清，要么把钥匙给她家，（我家已经说了不要房子了），但她们不退还定金，就想要把钥匙要回去，说要退钱以后请人来讲，讲好再退。我所要讲清了退多少定金回来再同时交还钥匙。我说是他家违约在先，把口头约定好送我家的东西搬走了，她说她家没有违约，哪些东西没有糊在墙壁上。现在僵持着，所以想请问这个事该怎么解决？非常感谢！