我是读取文件 存入数据库
有一个唯一索引
逐行读取txt文件
insert时候 查询是否有可合并条数 如果有 则做upsert
平均insert50W条数据,会做150-200W条upsert
最终 insert+update 的总条数 在40亿条左右
最终 insert的条数 大约10亿条左右
以上为需求 ,和我是怎么做的。。。。。。
感觉行不通, 初始库内数据较少,update的速度按说会非常快,但是即便这样, 每秒处理insert+update的条数 为6000条左右
服务器硬盘为18T, 运行程序的服务器内存为128G