专栏名称: ImportNew
伯乐在线旗下账号，专注Java技术分享，包括Java基础技术、进阶技能、架构设计和Java技术领域动态等。
目录
相关文章推荐
厦门日报  ·  备受瞩目！福建这场县域经济盛会即将召开 ·  14 小时前  
厦门日报  ·  蛇年上班首日，百亿级新能源项目正式开工！ ·  22 小时前  
厦门日报  ·  谷歌，被立案调查！ ·  昨天  
厦门日报  ·  1.7亿人次！刷新影史纪录！厦门有影院票房登 ... ·  昨天  
厦门日报  ·  再次！火锅店老板春节3天净赚53.2万，全发 ... ·  4 天前  
51好读  ›  专栏  ›  ImportNew

面试官：聊聊如何优化 30 万条数据插入

ImportNew  · 公众号  ·  · 2024-04-24 11:30

正文

（给 ImportNew加星标，提高Java技能）


本文主要讲述通过 MyBatis、JDBC 等做大数据量数据插入的案例和结果。


验证的数据库表结构如下：


CREATE TABLE `t_user` (  `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '用户id',  `username` varchar(64) DEFAULT NULL COMMENT '用户名称',  `age` int(4) DEFAULT NULL COMMENT '年龄',  PRIMARY KEY (`id`)) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='用户信息表';


话不多说，开整！


1. 实体类、mapper 和配置文件定义


User 实体


/** * 
用户实体
 * * @Author zjq * @Date 2021/8/3 */@Datapublic class User {
    private int id;    private String username;    private int age;
}

mapper 接口


public interface UserMapper {
    /**     * 批量插入用户     * @param userList     */    void batchInsertUser(@Param("list") List userList);}

mapper.xml 文件


<insert id="batchInsertUser" parameterType="java.util.List">    insert into t_user(username,age) values    <foreach collection="list" item="item" index="index" separator=",">        (        #{item.username},        #{item.age}        )    foreach>insert>

jdbc.properties


jdbc.driver=com.mysql.jdbc.Driverjdbc.url=jdbc:mysql://localhost:3306/testjdbc.username=rootjdbc.password=root

sqlMapConfig.xml


<configuration>
        <properties resource="jdbc.properties">properties>

        <typeAliases>        <typeAlias type="com.zjq.domain.User" alias="user">typeAlias>    typeAliases>

        <environments default="developement">        <environment id="developement">            <transactionManager type="JDBC">transactionManager>            <dataSource type="POOLED">                <property name="driver" value="${jdbc.driver}"/>                <property name="url" value="${jdbc.url}"/>                <property name="username" value="${jdbc.username}"/>                <property name="password" value="${jdbc.password}"/>            dataSource>        environment>    environments>

        <mappers>        <mapper resource="com/zjq/mapper/UserMapper.xml">mapper>    mappers>

configuration>


2. 不分批次直接梭哈


MyBatis 直接一次性批量插入 30 万条，代码如下： 


@Testpublic void testBatchInsertUser() throws IOException {    InputStream resourceAsStream =            Resources.getResourceAsStream("sqlMapConfig.xml");    SqlSessionFactory sqlSessionFactory = new SqlSessionFactoryBuilder().build(resourceAsStream);    SqlSession session = sqlSessionFactory.openSession();    System.out.println("===== 开始插入数据 =====");    long startTime = System.currentTimeMillis();    try {        List userList = new ArrayList<>();        for (int i = 1; i <= 300000; i++) {            User user = new User();            user.setId(i);            user.setUsername("共饮一杯无 " + i);            user.setAge((int) (Math.random() * 100));            userList.add(user);        }        session.insert("batchInsertUser", userList); // 最后插入剩余的数据        session.commit();
        long spendTime = System.currentTimeMillis()-startTime;        System.out.println("成功插入 30 万条数据,耗时："+spendTime+"毫秒");    } finally {        session.close();    }}


可以看到控制台输出：


Cause: com.mysql.jdbc.PacketTooBigException: Packet for query is too large (27759038 >yun 4194304). You can change this value on the server by setting the max_allowed_packet’ variable.




超出最大数据包限制了，可以通过调整 max_allowed_packet 限制来提高可以传输的内容，不过由于 30 万条数据超出太多，这个不可取，梭哈看来是不行了 😅😅😅


既然梭哈不行那我们就一条一条循环着插入行不行呢？


3. 循环逐条插入


mapper 接口和 mapper 文件中新增单个用户新增的内容如下:


/** * 新增单个用户 * @param user */void insertUser(User user);<insert id="insertUser" parameterType="user">    insert into t_user(username,age) values        (        #{username},        #{age}        )insert>


调整执行代码如下：


@Testpublic void testCirculateInsertUser() throws IOException {    InputStream resourceAsStream =            Resources.getResourceAsStream("sqlMapConfig.xml");    SqlSessionFactory sqlSessionFactory = new SqlSessionFactoryBuilder().build(resourceAsStream);    SqlSession session = sqlSessionFactory.openSession();    System.out.println("===== 开始插入数据 =====");    long startTime = System.currentTimeMillis();    try {        for (int i = 1; i <= 300000; i++) {            User user = new User();            user.setId(i);            user.setUsername("共饮一杯无 " + i);            user.setAge((int) (Math.random() * 100));            // 一条一条新增            session.insert("insertUser", user);            session.commit();        }
        long spendTime = System.currentTimeMillis()-startTime;        System.out.println("成功插入 30 万条数据,耗时："+spendTime+"毫秒");    } finally {        session.close();    }}


执行后可以发现磁盘 IO 占比飙升，一直处于高位。



等啊等等啊等，好久还没执行完。



先不管他了太慢了先搞其他的，等会再来看看结果吧。


控制台输出如下：



总共执行了14909367毫秒，换算出来是4小时八分钟。太慢了。。



还是优化下之前的批处理方案吧


3. MyBatis 实现插入 30 万条数据


先清理表数据，然后优化批处理执行插入：


-- 清空用户表TRUNCATE table  t_user;

以下是通过 MyBatis 实现 30 万条数据插入代码实现：


/** * 分批次批量插入 * @throws IOException */@Testpublic void testBatchInsertUser() throws IOException {    InputStream resourceAsStream =            Resources.getResourceAsStream("sqlMapConfig.xml");    SqlSessionFactory sqlSessionFactory = new SqlSessionFactoryBuilder().build(resourceAsStream);    SqlSession session = sqlSessionFactory.openSession();    System.out.println("===== 开始插入数据 =====");    long startTime = System.currentTimeMillis();    int waitTime = 10;    try {        List userList = new ArrayList<>();        for (int i = 1; i <= 300000; i++) {            User user = new User();            user.setId(i);            user.setUsername("共饮一杯无 " + i);            user.setAge((int) (Math.random() * 100));            userList.add(user);            if (i % 1000 == 0) {                session.insert("batchInsertUser", userList);                // 每 1000 条数据提交一次事务                session.commit();                userList.clear();
                // 等待一段时间                Thread.sleep(waitTime * 1000);            }        }        // 最后插入剩余的数据        if(!CollectionUtils.isEmpty(userList)) {            session.insert("batchInsertUser", userList);            session.commit();        }
        long spendTime = System.currentTimeMillis()-startTime;        System.out.println("成功插入 30 万条数据,耗时："+spendTime+"毫秒");    } catch (Exception e) {        e.printStackTrace();    } finally {        session.close();    }}


使用了 MyBatis 的批处理操作，将每 1000 条数据放在一个批次中插入，能够较为有效地提高插入速度。同时请注意在循环插入时要带有合适的等待时间和批处理大小，以防止出现内存占用过高等问题。此外，还需要在配置文件中设置合理的连接池和数据库的参数，以获得更好的性能。



在上面的示例中，我们每插入 1000 行数据就进行一次批处理提交，并等待10秒钟。这有助于控制内存占用，并确保插入操作平稳进行。



五十分钟执行完毕，时间主要用在了等待上。


如果低谷时期执行，CPU 和磁盘性能又足够的情况下，直接批处理不等待执行：


/** * 分批次批量插入 * @throws IOException */@Testpublic void testBatchInsertUser() throws IOException {    InputStream resourceAsStream =            Resources.getResourceAsStream("sqlMapConfig.xml");    SqlSessionFactory sqlSessionFactory = new SqlSessionFactoryBuilder().build(resourceAsStream);    SqlSession session = sqlSessionFactory.openSession();    System.out.println("===== 开始插入数据 =====");    long startTime = System.currentTimeMillis();    int waitTime = 10;    try {        List userList = new ArrayList<>();        for (int i = 1; i <= 300000; i++) {            User user = new User();            user.setId(i);            user.setUsername("共饮一杯无 " + i);            user.setAge((int) (Math.random() * 100));            userList.add(user);            if (i % 1000 == 0) {                session.insert("batchInsertUser", userList);                // 每 1000 条数据提交一次事务                session.commit();                userList.clear();            }        }        // 最后插入剩余的数据        if(!CollectionUtils.isEmpty(userList)) {            session.insert("batchInsertUser", userList);            session.commit();        }
        long spendTime = System.currentTimeMillis()-startTime;        System.out.println("成功插入 30 万条数据,耗时："+spendTime+"毫秒");    } catch (Exception e) {        e.printStackTrace();    } finally {        session.close();    }}


则 24 秒可以完成数据插入操作：



可以看到短时CPU和磁盘占用会飙高。


把批处理的量再调大一些调到 5000，在执行：



13 秒插入成功 30 万条，直接芜湖起飞🛫🛫🛫


4. JDBC 实现插入 30 万条数据


JDBC 循环插入的话跟上面的 MyBatis 逐条插入类似，不再赘述。


以下是 Java 使用 JDBC 批处理实现 30 万条数据插入的示例代码。请注意，该代码仅提供思路，具体实现需根据实际情况进行修改。


/** * JDBC分批次批量插入 * @throws IOException */@Testpublic void testJDBCBatchInsertUser() throws IOException {    Connection connection = null;    PreparedStatement preparedStatement = null;
    String databaseURL = "jdbc:mysql://localhost:3306/test";    String user = "root";    String password = "root";
    try {        connection = DriverManager.getConnection(databaseURL, user, password);        // 关闭自动提交事务，改为手动提交        connection.setAutoCommit(false);        System.out.println("===== 开始插入数据 =====");        long startTime = System.currentTimeMillis();        String sqlInsert = "INSERT INTO t_user ( username, age) VALUES ( ?, ?)";        preparedStatement = connection.prepareStatement(sqlInsert);
        Random random = new Random();        for (int
                            

                            






                            

                                请到「今天看啥」查看全文
推荐文章
厦门日报  ·  备受瞩目！福建这场县域经济盛会即将召开
14 小时前
厦门日报  ·  蛇年上班首日，百亿级新能源项目正式开工！
22 小时前
厦门日报  ·  谷歌，被立案调查！
昨天
厦门日报  ·  1.7亿人次！刷新影史纪录！厦门有影院票房登上全国前三
昨天
厦门日报  ·  再次！火锅店老板春节3天净赚53.2万，全发给员工！
4 天前
DeepTech深科技  ·  Skype创始人重金投资的飞行汽车，最高时速达300千米
8 年前
圈内扒爷  ·  潘辰恋爱了，何洁离婚，张靓颖一场闹剧，超女真是有人欢喜有人愁啊！
8 年前
Livin广州  ·  她坚守蜀绣，将近半生飞针走线，只是为了...
7 年前
禅茶一味  ·  【茶语馆】眼光要冷，心肠须热
7 年前
伊犁我的家  ·  毕业后拿5000+高薪、五险一金全都有，铁路学院来伊犁招生了！
7 年前
Sov5搜索   ·   小百科   ·   今天看啥   ·   移动版
51好读 - 好文章就要读起来!