8年前为了耕种方便我家和本生产队的另一户更换了一块土地，农村人法律意识淡薄没有任何手续，就是口头协议。 后来各自都在地里种上了树，现在他换给我们家的地被征用了补偿了6万元，钱现在在我手里，他家现在要求换回土地。
粮食补贴什么的都是按照换地后的领的，我领他家地的补贴，他领我家地的补贴。而且我换给他家的地后来也被他种上了树，当时也得到了一部分补偿。
这种情况该如何处理
我们手里都没有土地承包合同，我们这里当时是先签合同后分的地。土地承包合同也没有下发到农户。
我现在觉得冤的就是我换给他家的地他已经改变了用途，本来是水浇地，现在被他种上了树。而且当时种树是因为地临近一家煤矿为了好看让种的。给他们有补偿。 现在看到他家的地赔偿的多了就要求要换回。
求帮助，求安慰。心里老是窝火啊。对方可能要起诉，如果输了钱是小事儿，面子是大事儿了。实在是窝囊。