Summer's Blog
😈酷炫主页
✨运维
🎉安装
👀踩坑
  • k8s
  • shell
  • python
  • redis
  • elasticsearch
  • mysql
  • ceph
  • spark
  • 关于
  • 思维
  • 命令
  • 友链
  • 分类
  • 标签
  • 归档
👨‍👩‍👦‍👦腾讯云社区
🗣GitHub

Summer———夏苏文

💨运维界的前行者
😈酷炫主页
✨运维
🎉安装
👀踩坑
  • k8s
  • shell
  • python
  • redis
  • elasticsearch
  • mysql
  • ceph
  • spark
  • 关于
  • 思维
  • 命令
  • 友链
  • 分类
  • 标签
  • 归档
👨‍👩‍👦‍👦腾讯云社区
🗣GitHub
  • vim使用技巧

  • zabbix使用技巧

  • linux使用技巧

    • 查看隐藏文件大小
    • 修改 hostname
    • 查看硬盘大小
    • 各种cd之间的区别汇总
    • 查看CPU个数
    • 查看当前目录文件数
    • rwxrwxr含义
    • 查看占用内存CPU最多进程
    • yum下载 RPM 包
    • rz命令和sz命令使用方法
    • 服务器ntp时间同步
    • ssh免密配置
    • samba的配置和使用
    • root盘满了怎么办
    • 如何屏蔽linux服务
    • 如何替换jar中的jar配置
    • Linux启动流程
    • 统计脚本执行时间
    • 批量替换示例
    • 大文件切割技巧
      • 分切文件
      • 合并文件
      • 解压验证
    • 一条命令让CPU嗨起来
    • 记录服务器raid操作
    • linux测试网速
    • VM虚拟机扩容操作
    • linux如何快速删除大文件
    • 正则处理文本记录
    • linux测试硬盘读写操作
    • 根据进程查看文件位置
    • iostat查看硬盘读写速度
    • linux内核调优参数记录
  • mysql使用技巧

  • docker使用技巧

  • k8s使用技巧

  • redis使用技巧

  • elasticsearch使用技巧

  • window使用技巧

  • nginx使用技巧

  • ansible使用技巧

  • 运维
  • linux使用技巧
summer
2020-12-14

大文件切割技巧

主要用到split命令:可以将一个大文件分割成多个小文件,有时候文件太大了需要将文件分割成更小的片段,如数据库备份sql文件或者应用log

# 分切文件

这里举例分切一个423M的文件,将其分成若干个50m一个的小文件,分出来的文件默认aa,ab,ac..结尾

[root@summer test]# ll
total 432836
-rw-r--r-- 1 root root 443222812 Dec 14 09:33 tidb_install.zip
[root@summer test]# du -sh *
423M	tidb_install.zip
[root@summer test]# cat tidb_install.zip | split -b 50m - ls_tidb_install.zip 
[root@summer test]# ll
total 865672
-rw-r--r-- 1 root root  52428800 Dec 14 15:46 ls_tidb_install.zipaa
-rw-r--r-- 1 root root  52428800 Dec 14 15:46 ls_tidb_install.zipab
-rw-r--r-- 1 root root  52428800 Dec 14 15:46 ls_tidb_install.zipac
-rw-r--r-- 1 root root  52428800 Dec 14 15:46 ls_tidb_install.zipad
-rw-r--r-- 1 root root  52428800 Dec 14 15:46 ls_tidb_install.zipae
-rw-r--r-- 1 root root  52428800 Dec 14 15:46 ls_tidb_install.zipaf
-rw-r--r-- 1 root root  52428800 Dec 14 15:46 ls_tidb_install.zipag
-rw-r--r-- 1 root root  52428800 Dec 14 15:46 ls_tidb_install.zipah
-rw-r--r-- 1 root root  23792412 Dec 14 15:46 ls_tidb_install.zipai
-rw-r--r-- 1 root root 443222812 Dec 14 09:33 tidb_install.zip
[root@summer test]# du -sh *
50M	ls_tidb_install.zipaa
50M	ls_tidb_install.zipab
50M	ls_tidb_install.zipac
50M	ls_tidb_install.zipad
50M	ls_tidb_install.zipae
50M	ls_tidb_install.zipaf
50M	ls_tidb_install.zipag
50M	ls_tidb_install.zipah
23M	ls_tidb_install.zipai
423M	tidb_install.zip
[root@summer test]# mv ls_tidb_install.zipa* ../test2
[root@summer test]# cd ../test2
[root@summer test2]# du -sh *
50M	ls_tidb_install.zipaa
50M	ls_tidb_install.zipab
50M	ls_tidb_install.zipac
50M	ls_tidb_install.zipad
50M	ls_tidb_install.zipae
50M	ls_tidb_install.zipaf
50M	ls_tidb_install.zipag
50M	ls_tidb_install.zipah
23M	ls_tidb_install.zipai
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41

# 合并文件

合并后的文件注意大小应和切割前的文件大小一致(可以看到这里都是423M)

[root@summer test2]# cat  ls_tidb_install.zipa* > tidb_install.zip
[root@summer test2]# ll
total 865672
-rw-r--r-- 1 root root  52428800 Dec 14 15:46 ls_tidb_install.zipaa
-rw-r--r-- 1 root root  52428800 Dec 14 15:46 ls_tidb_install.zipab
-rw-r--r-- 1 root root  52428800 Dec 14 15:46 ls_tidb_install.zipac
-rw-r--r-- 1 root root  52428800 Dec 14 15:46 ls_tidb_install.zipad
-rw-r--r-- 1 root root  52428800 Dec 14 15:46 ls_tidb_install.zipae
-rw-r--r-- 1 root root  52428800 Dec 14 15:46 ls_tidb_install.zipaf
-rw-r--r-- 1 root root  52428800 Dec 14 15:46 ls_tidb_install.zipag
-rw-r--r-- 1 root root  52428800 Dec 14 15:46 ls_tidb_install.zipah
-rw-r--r-- 1 root root  23792412 Dec 14 15:46 ls_tidb_install.zipai
-rw-r--r-- 1 root root 443222812 Dec 14 15:50 tidb_install.zip
[root@summer test2]# du -sh *
50M	ls_tidb_install.zipaa
50M	ls_tidb_install.zipab
50M	ls_tidb_install.zipac
50M	ls_tidb_install.zipad
50M	ls_tidb_install.zipae
50M	ls_tidb_install.zipaf
50M	ls_tidb_install.zipag
50M	ls_tidb_install.zipah
23M	ls_tidb_install.zipai
423M	tidb_install.zip

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

# 解压验证

[root@summer test2]# unzip tidb_install.zip 
Archive:  tidb_install.zip
   creating: tidb_install/
  inflating: tidb_install/install.sh  
   creating: tidb_install/include/
  inflating: tidb_install/include/chk_install.sh  
  inflating: tidb_install/include/common.sh  
  inflating: tidb_install/include/Menu.sh  
  inflating: tidb_install/include/sysinfo.sh  
  inflating: tidb_install/include/tidb.sh  
   creating: tidb_install/src/
  inflating: tidb_install/src/tidb-latest-linux-amd64.tar.gz  
[root@summer test2]# ll
total 865672
-rw-r--r-- 1 root root  52428800 Dec 14 15:46 ls_tidb_install.zipaa
-rw-r--r-- 1 root root  52428800 Dec 14 15:46 ls_tidb_install.zipab
-rw-r--r-- 1 root root  52428800 Dec 14 15:46 ls_tidb_install.zipac
-rw-r--r-- 1 root root  52428800 Dec 14 15:46 ls_tidb_install.zipad
-rw-r--r-- 1 root root  52428800 Dec 14 15:46 ls_tidb_install.zipae
-rw-r--r-- 1 root root  52428800 Dec 14 15:46 ls_tidb_install.zipaf
-rw-r--r-- 1 root root  52428800 Dec 14 15:46 ls_tidb_install.zipag
-rw-r--r-- 1 root root  52428800 Dec 14 15:46 ls_tidb_install.zipah
-rw-r--r-- 1 root root  23792412 Dec 14 15:46 ls_tidb_install.zipai
drwxr-xr-x 4 root root        50 Jul 12 13:05 tidb_install
-rw-r--r-- 1 root root 443222812 Dec 14 15:50 tidb_install.zip
[root@summer test2]# 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
#linux
上次更新: 12/18/2020, 9:59:17 AM
批量替换示例
一条命令让CPU嗨起来

← 批量替换示例 一条命令让CPU嗨起来→

最近更新
01
ceph块设备使用iscsi
03-29
02
Citrix设置vm开机自启动
02-17
03
ntp与chrony时间同步
12-17
更多文章>
Theme by Vdoing | Copyright © 2019-2023 夏苏文 | MIT License

网站已在灾难中运行:

蜀ICP备2022029853号-1
  • 跟随系统
  • 浅色模式
  • 深色模式
  • 阅读模式