撤消市舶司之后发生了另外一个问题。浙江、福建、广东等东南沿海地区，人口密度高，人多耕地少，不少人没有生产资料。这些人作什么呢？在通商的时候他们借一点资本出去作买卖，买一些外国货到中国来卖；把中国的土产卖出去。因此，这些人是依靠通商来维持生活的。这是一种情况。另外还有一种情况，就是东南沿海的一些大地主，他们看到对外通商的收人比在农业生产上进行剥削要多好几倍，因此从事对外贸易。他们自己搞了很多海船载运中国土产出国；同时把外国商品带回来卖。沿海大地主依靠通商发财，这在当时叫作“通番”。“通番”的历史已经很久了，宋朝后期就有许多大地主组织船队出海通商的事。宋代关于这一类事情的记载很多。元朝也有。民间有这样一个传说，说明朝有一个大富翁叫沈万三，他家里有一个聚宝盆，这个盆里可以出很多宝贝。这是传说，事实并不是这样。事实是他搞对外贸易发了财。有人说他富到这样的程度，明太祖修建南京城时，有一半是他出的钱；此外，每年还要他出很多钱，因为在明朝和元朝作斗争的时候，他曾经站在元朝这一边。所以后来明太祖干脆把他的家产全部没收了，把他充了军。有的说是充军到云南，也有的说是充军到东北。这个故事说明，当时是有这么一部分人是依靠通商和对外贸易来发财的。所以，当时东南沿海地区的情况是，一方面许多贫民依靠对外通商来维持生活，其中有一些穷苦的人长期停留在国外，这一批人就成为华侨。现在南洋各个地方都有华侨，大体上以广东、福建人为多；另一方面，沿海一些大地主依靠通商来发财。因此，当一五二三年，由于倭寇不断骚扰沿海，明朝政府封闭了市舶司，断绝了对外通商关系时，就发生了新的问题：一方面很多穷苦人失去了生活来源；另方面，沿海大地主失去了发财机会。他们要求恢复通商。在这种情况下，某些地主集团便采取反抗手段。你禁止通商，他就秘密通商。他们自己组织船队出去，其中有一些照样发了财，有一些就遭到倭寇的抢劫；而另外一些则采取和倭寇合作的办法，他们也变成了倭寇。他们组织船队出去，能够作买卖就作买卖，不能作买卖就抢。因此，倭寇主要是日本海盗，但其中也有一部分是中国人。
除了倭寇之外，当时还有一种情况，即在十六世纪初年（1513年），葡萄牙人到东方来了。这些葡萄牙人一方面进行通商活动；另方面也进行海盗活动。不但进行海盗活动，而且占据了我国福建沿海的一些岛屿。