不行。根据中国法律法规，任何人在公共场所携带管制刀具（包括小刀）都是违法的行为，火车也不例外。在火车上携带小刀会被视为违法，严重者可能会被追究法律责任。因此，建议市民在搭乘火车前，仔细检查携带物品，以避免违法行为的发生。