文件查找和压缩

本章内容概要

• 使用locate命令
• 使用find命令
• 压缩和解压缩工具

1、文件查找

• 在文件系统上查找符合条件的文件
• 文件查找：locate，find
    非实时查找（数据库查找）：locate
    实时查找：find

1.1 locate

• 查询系统上预建的文件索引数据库
    /var/lib/mlocate.db
• 依赖于实现构建的索引
  索引的构建是在系统较为空闲时自动进行（周期性任务），管理员手动更新数据库（updatedb）
• 索引构建过程需要遍历整个根文件系统，极消耗资源
• 工作特点:
    查找速度快
    模糊查找
    非实时查找
    搜索的是文件的全路径，不仅仅是文件名
    可能只搜索用户具备读取和执行权限的目录

locate命令

• 用法：locate keyword
• 常用选项：
    -i 不区分大小写的搜索
    -n N 只列举前N个匹配项目
    -r 使用正则表达式

示例：

搜索名称或路径中带有“conf”的文件  
 locate conf  
使用Regex来搜索以“.conf”结尾的文件  
 locate -r ''\.conf$'  

1.2 find

• 实时查找工具，通过遍历指定路径完成文件查找
• 工作特点：
    查找速度略慢
    精确查找
    实时查找
    可能只搜索用户具备读取和执行权限的目录
• 语法：find [OPTION]... [查找路径] [查找条件] [处理动作]
    查找路径：指定具体目标路径；默认为当前目录
    查找条件：指定的查找标准，可以文件名、大小、类型、权限等标准进行；默认为找出指定路径下的所有文件
    处理动作：对符合条件的文件做操作，默认输出至屏幕

查找条件

• 指搜索层级
    -maxdepth level 最大搜索目录深度,指定目录为第1级
    -mindepth level 最小搜索目录深度
• 先处理目录内的文件，再处理目录
    -depth
• 根据文件名和inode查找：
    -name "文件名称"：支持使用glob
      *, ?, [], [^]
    -iname"文件名称"：不区分字母大小写
    -inumn 按inode号查找
    -samefile name 相同inode号的文件
    -links n 链接数为n的文件
    -regex“PATTERN”：以PATTERN匹配整个文件路径，而非文件名称
• 根据属主、属组查找：
    -user USERNAME：查找属主为指定用户(UID)的文件
    -group GRPNAME: 查找属组为指定组(GID)的文件
    -uidUserID：查找属主为指定的UID号的文件
    -gidGroupID：查找属组为指定的GID号的文件
    -nouser：查找没有属主的文件
    -nogroup：查找没有属组的文件
• 根据文件类型查找
    -type TYPE：
     f：普通文件
     d: 目录文件
     l: 符号链接文件
     s：套接字文件
     b: 块设备文件
     c: 字符设备文件
     p: 管道文件
• 空文件或目录
    -empty
    find /data -type d -empty
• 组合条件
    与：-a
    或：-o
    非：-not,!
• 德·摩根定律
    (非A) 或 (非B) = 非(A 且 B)
    (非A) 且 (非B) = 非(A 或 B)
• 示例：
  !A -a !B = !(A -o B)
  !A -o !B = !(A -a B)

find示例：

find -name snow.png       
find -iname snow.png      
find / -name "*.txt"      
find /var –name "*log*"   
find -user joe -group joe  
find -user joe -not -group joe   
find -user joe -o -user jane     
find -not \( -user joe -o -user jane \)  
find / -user joe -o -uid 500    

找出/tmp目录下，属主不是root，且文件名不以f开头的文件
find /tmp\( -not -user root -a -not -name 'f*' \) -ls
或find /tmp-not \( -user root -o -name 'f*' \) –ls

• 排除目录

• 示例：
  查找/etc/下，除/etc/sane.d目录的其它所有.conf后缀的文件(-prune是指删除)
  find /etc -path '/etc/sane.d' -a –prune -o -name "*.conf"
  查找/etc/下，除/etc/sane.d和/etc/fonts两个目录的所有.conf后缀的文件
  find /etc \( -path "/etc/sane.d" -o -path "/etc/fonts" \) -a -prune -o -name "*.conf"

• 根据文件大小来查找：
    -size [+|-]#UNIT
      常用单位：k, M, G，c（byte）
    #UNIT: (#-1, #]
      如：6k 表示(5k,6k]
    -#UNIT：[0,#-1]
      如：-6k 表示[0,5k]
    +#UNIT：(#,∞)
      如：+6k 表示(6k,∞)

• 根据时间戳
    以“天”为单位
  -atime[+|-]#，是指access time，即文件访问时间
      #: [#,#+1)
      +#: [#+1,∞]
      -#: [0,#)
     -mtime，是指modification time，即文件修改时间
     -ctime，是指status change time，即文件状态修改时间
  注意：要区分mtime和ctime之间的差别
   以“分钟”为单位
     -amin
     -mmin
     -cmin
  注意：在查找条件中，文件大小和文件时间戳的取值范围有差别，要加以区分。

• 根据权限查找
  -perm [/|-]MODE
    MODE：精确权限匹配
    /MODE:任何一类(u,g,o)对象的权限中只要能一位匹配即可，是指或的关系，+ 从centos7开始淘汰
    -MODE：每一类对象都必须同事拥有指定权限，是指与的关系
   0表示不关注
   find -perm 755 会匹配权限模式恰好是755的文件
   只要当任意人有写权限时，find -perm +222就会匹配
   只有当每个人都有写权限时，find -perm -222才会匹配
   只有当其它人（other）有写权限时，find -perm -002才会匹配

处理动作

• -print：默认的处理动作，显示至屏幕
• -ls：类似于对查找到的文件执行"ls -l"命令
• -delete：删除查找到的文件
• -fls file：查找到的所有文件的常用信息保存至指定文件中
• -ok COMMAND {} ; 对查找到的每个文件执行由COMMAND指定的命令，对于每个文件执行命令之前，都会交互式要求用户确认
• -exec COMMAND {} ; 对查找到的每个文件执行由COMMAND指定的命令
    {}: 用于代替查找到的文件名称自身
    find传递查找到的文件至后面指定的命令时，查找到所有符合条件的文件一次性传递给后面的命令

参数替换xargs

• 由于很多命令不支持管道|来传递参数，而日常工作中有这个必要，所以就有了xargs命令
• xargs用于产生某个命令的参数，xargs可以读入stdin的数据，并且以空格符或回车符将stdin的数据分隔成为arguments
  注意：文件名或者是其他意义的名词内含有空格符的情况
• 有些命令不能接受过多参数，命令执行可能会失败，xargs可以解决

示例：

ls f* |xargs rm  
find /sbin -perm +700 |ls -l  这个命令是错误的
find /sbin -perm +700 | xargsls –l  查找特殊权限的文件
find和xargs格式：find | xargs COMMAND

find示例：

备份配置文件，添加.orig这个扩展名  
find -name "*.conf" -exec cp {} {}.orig\;  
提示删除存在时间超过3天以上的joe的临时文件  
find /tmp -ctime +3 -user joe -ok rm {} \;  
在主目录中寻找可被其它用户写入的文件  
find ~ -perm -002 -exec chmod o-w {} \;  
查找/data下的权限为644，后缀为sh的普通文件，增加执行权限  
find /data –type f -perm 644 -name "*.sh" –exec chmod 755 {} \;  
查看/home的目录  
find /home –type d -ls  

练习：

1、查找/var目录下属主为root，且属组为mail的所有文件  
find /var -user root -group mail   
2、查找/var目录下不属于root、lp、gdm的所有文件  
find /data -not -user root  -not -user lp -not -user gdm   
3、查找/var目录下最近一周内其内容修改过，同时属主不为root，也不是postfix的文件   
find /var ! \( -user -o -postfix \) -ctime 7  
4、查找当前系统上没有属主或属组，且最近一个周内曾被访问过的文件  
find  /  \( -nouser -o -nogroup \) -atime 7  
5、查找/etc目录下大于1M且类型为普通文件的所有文件  
find  /etc -type f -size +1M  
6、查找/etc目录下所有用户都没有写权限的文件  
find /etc/ -not -perm 222  
7、查找/etc目录下至少有一类用户没有执行权限的文件  
find /etc/ ! -perm 111   
8、查找/etc/init.d目录下，所有用户都有执行权限，且其它用户有写权限的文件  
find /etc/init.d/  -perm 111 -perm 002  

Gnome 搜索工具

• 位置-->搜索文件......
• 图形化搜索工具，可搜索
    命令
    内容
    用户/组群
    修改时间

2、压缩、解压缩及归档工具

• file-roller
• compress/uncompress: .Z
• gzip/gunzip: .gz
• bzip2/bunzip2: .bz2
• xz/unxz: .xz
• zip/unzip
• tar
• cpio

注意：打包和压缩不是同一个概念
打包相当于将许多文件放在一个目录中，并没有对文件进行压缩，压缩比很低，几乎没有
压缩是将文件中相同字节进行压缩。文件大小会发生很大变化，如：etc.tar.gz 该文件是打包(tar后缀)并压缩的文件(gz后缀)

file-roller是一种图形化压缩工具，在命令行界面写入该命令即可使用，该工具并不常用，再次不多做介绍

compress/uncompress

• 语法：compress [-dfvcVr] [-b maxbits] [file ...]
   -d: 解压缩，相当于uncompress
   -c: 结果输出至标准输出,不删除原文件
   -v: 显示详情
• uncompress 解压缩
• zcat file.Z >file 解压缩文件重定向到指定文件

bzip2/bunzip2/bzcat

• bzip2 [OPTION]... FILE ...
   -k: keep, 保留原文件
   -d：解压缩
   -#：1-9，压缩比，默认为9
• bzcat：不显式解压缩的前提下查看文本文件内容

xz/unxz/xzcat

• xz[OPTION]... FILE ...
   -k: keep, 保留原文件
   -d：解压缩
   -#：1-9，压缩比，默认为6
• xzcat: 不显式解压缩的前提下查看文本文件内容

注意：可以将一个命令的执行结果进行压缩并重定向到其他文件，gzip，bzip2，xz都支持这种写法
cat /etc/fstab | gzip >fstab.gz如果压缩命令后面不跟文件名，可以把标准输入压缩并传给标准输出（即可以重定向到其他文件）

zip/unzip

• 打包压缩
   zip –r /testdir/sysconfig /etc/sysconfig/ 对目录进行压缩
  [root@centos7 data]#zip -r sysconfig.gz /etc/sysconfig
• 解包解压缩
   unzip sysconfig.zip
   cat /var/log/messages | zip messages -
   unzip -p message > message

tar工具

• tar（Tape ARchive，磁带归档的缩写）
• 语法：tar [OPTION]...
  (1) 创建归档
   tar -cpvf/PATH/TO/SOMEFILE.tar FILE...
  -p：打包时保留目录权限
  (2) 追加文件至归档：
  注意：不支持对压缩文件追加
   tar -r -f /PATH/TO/SOMEFILE.tar FILE...

示例：

[root@centos7 data]#tar -rf sysconfig.tar  /etc/issue
etc/sysconfig/kernel
etc/sysconfig/network
etc/sysconfig/anaconda
etc/sysconfig/svnserve
etc/issue

(3) 查看归档文件中的文件列表
 tar -t -f /PATH/TO/SOMEFILE.tar
(4) 展开归档
 tar -x -f /PATH/TO/SOMEFILE.tar
 tar -x -f /PATH/TO/SOMEFILE.tar -C /PATH/

示例：

[root@centos7 data]#tar -xvf etc.tar -C /media/
[root@centos7 data]#ll /media/
drwxr-xr-x. 3 root root 36 Aug 12 19:41 etc

(5) 结合压缩工具实现：归档并压缩
 -j: bzip2, -z: gzip, -J: xz

示例：

[root@centos7 data]#tar -zcvf  sysconfig.tar.gz sysconfig.tar
[root@centos7 data]#tar -Jcvf sysconfig.tar.bz  sysconfig.tar
[root@centos7 data]#tar -jcvf sysconfig.tar.xz  sysconfig.tar
[root@centos7 data]#ll
total 524
-rw-r--r--. 1 root root     39 Aug 12 19:20 issue
-rw-r--r--. 1 root root  95389 Aug 12 19:28 sysconfig.gz
-rw-r--r--. 1 root root 276480 Aug 12 19:21 sysconfig.tar
-rw-r--r--. 1 root root  45176 Aug 12 19:37 sysconfig.tar.bz
-rw-r--r--. 1 root root  57193 Aug 12 19:27 sysconfig.tar.gz
-rw-r--r--. 1 root root  46069 Aug 12 19:37 sysconfig.tar.xz

• -exclude 排除文件
   tar zcvf /root/a3.tgz --exclude=/app/host1 --exclude=/app/host2 /app
• -T选项指定输入文件,-X选项指定包含要排除的文件列表
  用法：可以将指定输入以及要排除的文件复制到文件中，然后分别制定即可
   tar zcvf mybackup.tgz -T /root/includefilelist -X /root/excludefilelist
• splist:：分割一个文件为多个文件
   分割大的tar 文件为多份小文件
   split–b Size –d tar-file-name prefix-name
   split-b 1M –d mybackup.tgz mybackup-parts
   split-b 1M mybackup.tgz mybackup-parts
   合并：
   cat mybackup-parts* > mybackup.tar.gz
  注意：-b 文件切割后，后缀自动跟字母（a-z）后缀
  -b -d 文件切割后，后缀自动跟数字后缀

示例：

[root@centos7 data]#dd if=/dev/zero of=/data/f1 bs=1M count=100
#创建文件f1，大小为100M
[root@centos7 data]#split -b 10M f1 test
#把f1文件以10M大小切割，并以test作为文件名
[root@centos7 data]#ll
-rw-r--r--. 1 root root 104857600 Aug 12 19:10 f1
-rw-r--r--. 1 root root  10485760 Aug 12 19:10 testaa
-rw-r--r--. 1 root root  10485760 Aug 12 19:10 testab
-rw-r--r--. 1 root root  10485760 Aug 12 19:10 testac
-rw-r--r--. 1 root root  10485760 Aug 12 19:10 testad
-rw-r--r--. 1 root root  10485760 Aug 12 19:10 testae
-rw-r--r--. 1 root root  10485760 Aug 12 19:10 testaf
-rw-r--r--. 1 root root  10485760 Aug 12 19:10 testag
-rw-r--r--. 1 root root  10485760 Aug 12 19:10 testah
-rw-r--r--. 1 root root  10485760 Aug 12 19:10 testai
-rw-r--r--. 1 root root  10485760 Aug 12 19:10 testaj

[root@centos7 data]#split -b 10M -d f1 test
#把f1文件以10M大小切割，并以test作为文件名
-rw-r--r--. 1 root root  10485760 Aug 12 19:10 test00
-rw-r--r--. 1 root root  10485760 Aug 12 19:10 test01
-rw-r--r--. 1 root root  10485760 Aug 12 19:10 test02
-rw-r--r--. 1 root root  10485760 Aug 12 19:10 test03
-rw-r--r--. 1 root root  10485760 Aug 12 19:10 test04
-rw-r--r--. 1 root root  10485760 Aug 12 19:10 test05
-rw-r--r--. 1 root root  10485760 Aug 12 19:10 test06
-rw-r--r--. 1 root root  10485760 Aug 12 19:10 test07
-rw-r--r--. 1 root root  10485760 Aug 12 19:10 test08
-rw-r--r--. 1 root root  10485760 Aug 12 19:10 test09

cpio

• 功能：复制文件从或到归档
• cpio命令是通过重定向的方式将文件进行打包备份，还原恢复的工具，它可以解压以“.cpio”或者“.tar”结尾的文件
• cpio[选项] > 文件名或者设备名
• cpio[选项] < 文件名或者设备名
• 常用选项：
   -o：将文件拷贝打包成文件或者将文件输出到设备上
   -O：filename输出到指定的归档文件名
   -A：向已存在的归档文件中追加文件
   -i：解包，将打包文件解压或将设备上的备份还原到系统
   -I：filename对指定的归档文件名解压
   -t：预览，查看文件内容或者输出到设备上的文件内容
   -F：filename使用指定的文件名替代标准输入或输出
   -d：解包生成目录，在cpio还原时，自动的建立目录
   -v：显示打包过程中的文件名称

示例：

将etc目录备份：  
find ./etc-print |cpio-ov>bak.cpio  
将/data内容追加bak.cpio  
find /data | cpio-oA-fFbak.cpio  
内容预览  
cpio–tv< etc.cpio  
解包文件  
cpio–idv< etc.cpio