我骑着电动三轮停靠在非机动车道路边去上个厕所，出来的时候刚坐在三轮车上，一女子骑电动车载着另一女子撞在我三轮车上，后排女子腿受伤，然后报警了，判的我次责，我没在责任认定书上签字，直接走了，交警今天给我打电话说明天让我去签字，有异议的话去什么单位附议(我也忘了给我说的哪个单位了)，让我先把字签喽，求问不签可以吗