秦始皇灭六国后，采纳李斯的建议，废除分封制，改行郡县制。地方行政机构分郡、县两级。郡县主要官吏由中央任免。

三川郡是秦朝的郡级行政区。最早是战国韩宣王置，以境内有河、洛、伊三川而得名。秦庄襄王元年（前249年）复置，郡治位于洛阳（一说荥阳）。部辖境相当今河南黄河以南，灵宝以东的伊、洛流域和北汝河上游地区。

公元前261年，李斯二十岁时喜得长子，取名李由。李由天资聪颖，自幼尊老敬贤、勤奋好学，志存高远，邻里都夸李斯教子有方，日后前程不可限量。

秦始皇十年（公元前237年），李斯被逐，向秦王上《谏逐客书》。嬴政纳李斯言废《逐客令》，复李斯官为“用事大臣。”
嬴政为安定李斯心，特许他回上蔡接家属来咸阳定居，李由随父移居咸阳。时逢李斯“官制更新”治国方略的实施，李由应征入伍。李由在军中足智多谋、英勇善战，凭他在军中的贡献和个人才能，经“官制考核”被晋升为三川郡守。

秦末陈胜吴广揭竿而起，向西进攻。
陈胜令吴广为假王，统率诸将围攻荥阳，由于李由驻兵镇守，“吴叔弗能下”（《陈涉世家》）

然而，赵高却诬陷李斯父子说：“楚盗公行，过三川，城守不肯出击。”（《李斯列传》）曾想，以有限的兵力被吴广所困，哪里还有兵力防御他地呢？三川郡的官兵能够坚守城池不被吴广所破，就是万幸了。

从荥阳解围后的战局看，李由不但肃清了三川郡境地的反秦乱军，还组织了一支强大的军队与章邯联合作战，并把陈涉反秦乱军击溃到山东省的西部和江苏省的北部。李由凭借雍丘地势险要，对故城又重新加固，修筑城防，作为军事据点与刘邦、项羽反秦军队血战。终因寡不敌众，秦军大败，李由壮烈牺牲，年仅四十多岁。有：“大破秦军斩李由。”（《项羽本纪》）项羽对李由率领的军队不称三川军，而称秦军，可见李由统率的军队已经成为秦朝的正规军，其中不知耗费李由多少心血。

《史记·秦本纪》记载：公元前249年，“东周君与诸侯谋秦，秦使相国吕不韦诛之，尽入其国”，“使蒙骜伐韩，韩献成皋、巩，秦界至大梁，初置三川郡”。三川郡治应该在汉魏洛阳故城内。

后吕不韦被任为丞相，封文信侯，洛阳十万户为封地，吕不韦封地就是洛阳南宫遗址，也就是现在洛阳市东郊龙虎滩村西北 。
吕不韦在此大兴土木，修建了风景幽雅、规模宏大的园林建筑——南宫。由于缺乏考古支持，只能从文献之中对南宫进行大致的了解。根据元《河南志》记载，南宫的主体宫殿坐落在南北中轴线上，建筑布局整齐有序。南宫是一个格子形的布局。中轴线两侧的四排宫殿与中轴线平行。每座宫殿建筑的前后左右都有直道与其他宫殿相通。

由吕不韦和李斯长子李由这两位重量级人物担任洛阳（三川郡）地区的一把手，可见在秦时洛阳的地位仍然是非常重要的。

楚汉之争，刘邦获胜。前205年，刘邦入洛阳南宫，改三川郡为河南郡。刘邦本欲定都洛阳，由于天下局势未定，谋士娄敬的一番话促使刘邦西迁至防御更加坚固长安定都。
刘邦在洛阳期间留下了南宫论三杰的佳话。《史记》记载，帝置酒洛阳南宫，上曰：“夫运筹帷幄之中，决胜千里之外，吾不如子房；镇国家，抚百姓，给饷馈，不绝粮道，吾不如萧何；连百万之众，战必胜，攻必取，吾不如韩信。三者皆人杰，吾能用之，此吾所以取天下者也。项羽有一范增而不用，此所以为我所擒也。”

汉景帝时七国之乱席关东各地，汉景帝命窦婴坐镇洛阳，控卫关中，指挥汉军平叛，最终将七国联军击败，之后将洛阳建设成关东第一军事重镇

西汉时期的河南郡基本上承袭了秦朝的三川郡，主要的政区变动为西汉中期函谷关的东移、弘农郡的分置和颍川
郡部分属县的加入，武帝以后河南郡的政区大体定型。
西汉时期，河南郡在区域发展方面具有显著特征。河南郡适宜的自然条件和丰富的劳动力资源促进了农业的发展和手工业的发展，水陆交通的便利和沟通四方的地理位置使得这里成为商业发达地区。在西汉两百多年间，河南郡的经济发展水平始终位于全国前列。
从人口规模来看，西汉平帝元始二年（公元 2 年）河南郡有 276444 户、1740279 人，在全国所有郡中排名第五。从所辖面积和人口规模来看，河南郡无疑属于西汉时期的一个大郡。