服务器运维及架构|LINUX运维|互联网分享

linux dd命令使用详解

老子黑牵翻 — Thu, 17 May 2012 07:04:07 +0000

dd 的主要选项：
指定数字的地方若以下列字符结尾乘以相应的数字:
b=512, c=1, k=1024, w=2, xm=number m

if=file
输入文件名，缺省为标准输入。

of=file
输出文件名，缺省为标准输出。

ibs=bytes
一次读入 bytes 个字节(即一个块大小为 bytes 个字节)。

obs=bytes
一次写 bytes 个字节(即一个块大小为 bytes 个字节)。

bs=bytes
同时设置读写块的大小为 bytes ，可代替 ibs 和 obs 。

cbs=bytes
一次转换 bytes 个字节，即转换缓冲区大小。

skip=blocks
从输入文件开头跳过 blocks 个块后再开始复制。

seek=blocks
从输出文件开头跳过 blocks 个块后再开始复制。(通常只有当输出文件是磁盘或磁带时才有效)。

count=blocks
仅拷贝 blocks 个块，块大小等于 ibs 指定的字节数。

conv=conversion[,conversion...]
用指定的参数转换文件。

转换参数:
ascii 转换 EBCDIC 为 ASCII。
ebcdic 转换 ASCII 为 EBCDIC。
ibm 转换 ASCII 为 alternate EBCDIC.
block 把每一行转换为长度为 cbs 的记录，不足部分用空格填充。
unblock 使每一行的长度都为 cbs ，不足部分用空格填充。
lcase 把大写字符转换为小写字符。
ucase 把小写字符转换为大写字符。
swab 交换输入的每对字节。
noerror 出错时不停止。
notrunc 不截短输出文件。
sync 把每个输入块填充到ibs个字节，不足部分用空(NUL)字符补齐。

2.实例分析

2.1.数据备份与恢复

2.1.1整盘数据备份与恢复
备份：

dd if=/dev/hdx of=/dev/hdy
将本地的/dev/hdx整盘备份到/dev/hdy

dd if=/dev/hdx of=/path/to/image
将/dev/hdx全盘数据备份到指定路径的image文件

dd if=/dev/hdx | gzip >/path/to/image.gz
备份/dev/hdx全盘数据，并利用gzip工具进行压缩，保存到指定路径

恢复：
dd if=/path/to/image of=/dev/hdx
将备份文件恢复到指定盘

gzip -dc /path/to/image.gz | dd of=/dev/hdx
将压缩的备份文件恢复到指定盘

2.1.2.利用netcat远程备份

dd if=/dev/hda bs=16065b | netcat < targethost-IP > 1234
在源主机上执行此命令备份/dev/hda

netcat -l -p 1234 | dd of=/dev/hdc bs=16065b
在目的主机上执行此命令来接收数据并写入/dev/hdc

netcat -l -p 1234 | bzip2 > partition.img
netcat -l -p 1234 | gzip > partition.img
以上两条指令是目的主机指令的变化分别采用bzip2 gzip对数据进行压缩，并将备份文件保存在当前目录。

2.1.3.备份MBR
备份：
dd if=/dev/hdx of=/path/to/image count=1 bs=512
备份磁盘开始的512Byte大小的MBR信息到指定文件

恢复：
dd if=/path/to/image of=/dev/hdx
将备份的MBR信息写到磁盘开始部分

2.1.4.备份软盘
dd if=/dev/fd0 of=disk.img count=1 bs=1440k
将软驱数据备份到当前目录的disk.img文件

2.1.5.拷贝内存资料到硬盘
dd if=/dev/mem of=/root/mem.bin bs=1024
将内存里的数据拷贝到root目录下的mem.bin文件

2.1.6.从光盘拷贝iso镜像
dd if=/dev/cdrom of=/root/cd.iso
拷贝光盘数据到root文件夹下，并保存为cd.iso文件

2.2.增加Swap分区文件大小
dd if=/dev/zero of=/swapfile bs=1024 count=262144
创建一个足够大的文件（此处为256M）

mkswap /swapfile
把这个文件变成swap文件

swapon /swapfile
启用这个swap文件

/swapfile swap swap defaults 0 0
在每次开机的时候自动加载swap文件, 需要在 /etc/fstab 文件中增加一行

2.3.销毁磁盘数据
dd if=/dev/urandom of=/dev/hda1
利用随机的数据填充硬盘，在某些必要的场合可以用来销毁数据。执行此操作以后，/dev/hda1将无法挂载，创建和拷贝操作无法执行。

2.4磁盘管理
2.4.1.得到最恰当的block size
dd if=/dev/zero bs=1024 count=1000000 of=/root/1Gb.file
dd if=/dev/zero bs=2048 count=500000 of=/root/1Gb.file
dd if=/dev/zero bs=4096 count=250000 of=/root/1Gb.file
dd if=/dev/zero bs=8192 count=125000 of=/root/1Gb.file
通过比较dd指令输出中所显示的命令执行时间，即可确定系统最佳的block size大小

2.4.2测试硬盘读写速度
dd if=/root/1Gb.file bs=64k | dd of=/dev/null
dd if=/dev/zero of=/root/1Gb.file bs=1024 count=1000000
通过上两个命令输出的执行时间，可以计算出测试硬盘的读／写速度

2.4.3.修复硬盘

dd if=/dev/sda of=/dev/sda
当硬盘较长时间（比如1，2年）放置不使用后，磁盘上会产生magnetic flux point。当磁头读到这些区域时会遇到困难，并可能导致I/O错误。当这种情况影响到硬盘的第一个扇区时，可能导致硬盘报废。上边的命令有可能使这些数据起死回生。且这个过程是安全，高效的。

调整Ubuntu 12.04启动画面分辨率

老子黑牵翻 — Tue, 15 May 2012 05:14:27 +0000

ubuntu已经使用一段时间了，但是在开机的时候，出现登陆页面前，总是说显示器的分辨率太小，而输出无信号，其实我显示器也有21寸，后来查阅了资料，原来ubuntu 12.04安装后，这边默认的分辨率是没有设置的，现在就说下我是如何修改启动项设置，让开机画面显示正常的
第一步：打开终端，修改/etc/default/grub文件

$ sudo gedit /etc/default/grub
取消#GRUB_GFXMODE=640×480这一行前面的注释符号，并将后面的数字修改为一个合适的值，不需要太高，比如1024×768。这个值同时会影响grub启动菜单和控制台里文字的分辨率。

第二步：修改/etc/grub.d/00_header文件
$ sudo gedit /etc/grub.d/00_header
按下ctrl+F，查找关键字”set gfxmode=${GRUB_GFXMODE}”(去掉双引号)，
然后在这行下面添加新行，内容是：”set gfxpayload=keep” (去掉双引号)

第三步：更新grub
$ sudo update-grub

第四当然是重启了！

Linux文件查找命令find和xargs详解

老子黑牵翻 — Sun, 13 May 2012 05:31:52 +0000

一、find 命令格式

1、find命令的一般形式为；
find pathname -options [-print -exec -ok ...]

2、find命令的参数；
pathname: find命令所查找的目录路径。例如用.来表示当前目录，用
/来表示系统根目录。

-print： find命令将匹配的文件输出到标准输出。

-exec： find命令对匹配的文件执行该参数所给出的shell命令。相应
命令的形式为'command' {} \;，注意{}和\；之间的空格。

-ok：和-exec的作用相同，只不过以一种更为安全的模式来执行该参
数所给出的shell命令，在执行每一个命令之前，都会给出提示，让用
户来确定是否执行。

3、find命令选项
-name
按照文件名查找文件。

-perm
按照文件权限来查找文件。

-prune
使用这一选项可以使find命令不在当前指定的目录中查找，如果同时
使用-depth选项，那么-prune将被find命令忽略。

-user
按照文件属主来查找文件。

-group
按照文件所属的组来查找文件。

-mtime -n +n
按照文件的更改时间来查找文件， - n表示文件更改时间距现在n天以
内，+ n表示文件更改时间距现在n天以前。find命令还有-atime和-ctime
选项，但它们都和-m time选项。

-nogroup
查找无有效所属组的文件，即该文件所属的组在/etc/groups中不存在。

-nouser
查找无有效属主的文件，即该文件的属主在/etc/passwd中不存在。
-newer file1 ! file2

查找更改时间比文件file1新但比文件file2旧的文件。
-type

查找某一类型的文件，诸如：

b - 块设备文件。
d - 目录。
c - 字符设备文件。
p - 管道文件。
l - 符号链接文件。
f - 普通文件。

-size n：[c] 查找文件长度为n块的文件，带有c时表示文件长度以字
节计。

-depth：在查找文件时，首先查找当前目录中的文件，然后再在其子目
录中查找。

-fstype：查找位于某一类型文件系统中的文件，这些文件系统类型通
常可以在配置文件/etc/fstab中找到，该配置文件中包含了本系统中有
关文件系统的信息。

-mount：在查找文件时不跨越文件系统mount点。

-follow：如果find命令遇到符号链接文件，就跟踪至链接所指向的文件。

-cpio：对匹配的文件使用cpio命令，将这些文件备份到磁带设备中。

另外,下面三个的区别:

-amin n
查找系统中最后N分钟访问的文件

-atime n
查找系统中最后n*24小时访问的文件

-cmin n
查找系统中最后N分钟被改变文件状态的文件

-ctime n
查找系统中最后n*24小时被改变文件状态的文件

-mmin n
查找系统中最后N分钟被改变文件数据的文件

-mtime n
查找系统中最后n*24小时被改变文件数据的文件

4、使用exec或ok来执行shell命令

使用find时，只要把想要的操作写在一个文件里，就可以用exec来配合
find查找，很方便的

在有些操作系统中只允许-exec选项执行诸如l s或ls -l这样的命令。大
多数用户使用这一选项是为了查找旧文件并删除它们。建议在真正执行
rm命令删除文件之前，最好先用ls命令看一下，确认它们是所要删除的文件。

exec选项后面跟随着所要执行的命令或脚本，然后是一对儿{ }，一个空
格和一个\，最后是一个分号。为了使用exec选项，必须要同时使用print
选项。如果验证一下find命令，会发现该命令只输出从当前路径起的相对
路径及文件名。

例如：为了用ls -l命令列出所匹配到的文件，可以把ls -l命令放在find
命令的-exec选项中

# find . -type f -exec ls -l {} \;
-rw-r--r-- 1 root root   34928 2003-02-25 ./conf/httpd.conf
-rw-r--r-- 1 root root   12959 2003-02-25 ./conf/magic
-rw-r--r-- 1 root root     180 2003-02-25 ./conf.d/README

上面的例子中，find命令匹配到了当前目录下的所有普通文件，并在-exec
选项中使用ls -l命令将它们列出。
在/logs目录中查找更改时间在5日以前的文件并删除它们：

$ find logs -type f -mtime +5 -exec rm {} \;

记住：在shell中用任何方式删除文件之前，应当先查看相应的文件，一
定要小心！当使用诸如mv或rm命令时，可以使用-exec选项的安全模式。
它将在对每个匹配到的文件进行操作之前提示你。

在下面的例子中， find命令在当前目录中查找所有文件名以.LOG结尾、
更改时间在5日以上的文件，并删除它们，只不过在删除之前先给出提示。

$ find . -name "*.log" -mtime +5 -ok rm {} \;
< rm ... ./conf/httpd.conf > ? n

按y键删除文件，按n键不删除。

任何形式的命令都可以在-exec选项中使用。

在下面的例子中我们使用grep命令。find命令首先匹配所有文件名为
“passwd*”的文件，例如passwd、passwd.old、passwd.bak，然后执
行grep命令看看在这些文件中是否存在一个sam用户。

# find /etc -name "passwd*" -exec grep "sam" {} \;
sam:x:501:501::/usr/sam:/bin/bash

二、find命令的例子；

1、查找当前用户主目录下的所有文件：

下面两种方法都可以使用

$ find $HOME -print
$ find ~ -print

2、让当前目录中文件属主具有读、写权限，并且文件所属组的用户
和其他用户具有读权限的文件；

$ find . -type f -perm 644 -exec ls -l { } \;

3、为了查找系统中所有文件长度为0的普通文件，并列出它们的完
整路径；

$ find / -type f -size 0 -exec ls -l { } \;

4、查找/var/logs目录中更改时间在7日以前的普通文件，并在删
除之前询问它们；

$ find /var/logs -type f -mtime +7 -ok rm { } \;

5、为了查找系统中所有属于root组的文件；

$find . -group root -exec ls -l { } \;
-rw-r--r-- 1 root root 595 10月 31 01:09 ./fie1

6、find命令将删除当目录中访问时间在7日以来、含有数字后缀的
admin.log文件。

该命令只检查三位数字，所以相应文件的后缀不要超过999。先建几
个admin.log*的文件，才能使用下面这个命令

$ find . -name "admin.log[0-9][0-9][0-9]" -atime -7 -ok
rm { } \;
< rm ... ./admin.log001 > ? n
< rm ... ./admin.log002 > ? n
< rm ... ./admin.log042 > ? n
< rm ... ./admin.log942 > ? n

7、为了查找当前文件系统中的所有目录并排序；

$ find . -type d | sort

8、为了查找系统中所有的rmt磁带设备；

$ find /dev/rmt -print

三、xargs

xargs – build and execute command lines from standard input

在使用find命令的-exec选项处理匹配到的文件时， find命令将所有
匹配到的文件一起传递给exec执行。但有些系统对能够传递给exec的
命令长度有限制，这样在find命令运行几分钟之后，就会出现溢出错
误。错误信息通常是“参数列太长”或“参数列溢出”。这就是xargs
命令的用处所在，特别是与find命令一起使用。

find命令把匹配到的文件传递给xargs命令，而xargs命令每次只获取
一部分文件而不是全部，不像-exec选项那样。这样它可以先处理最先
获取的一部分文件，然后是下一批，并如此继续下去。

在有些系统中，使用-exec选项会为处理每一个匹配到的文件而发起一
个相应的进程，并非将匹配到的文件全部作为参数一次执行；这样在
有些情况下就会出现进程过多，系统性能下降的问题，因而效率不高；

而使用xargs命令则只有一个进程。另外，在使用xargs命令时，究竟
是一次获取所有的参数，还是分批取得参数，以及每一次获取参数的
数目都会根据该命令的选项及系统内核中相应的可调参数来确定。

来看看xargs命令是如何同find命令一起使用的，并给出一些例子。

下面的例子查找系统中的每一个普通文件，然后使用xargs命令来测试
它们分别属于哪类文件

#find . -type f -print | xargs file
./.kde/Autostart/Autorun.desktop: UTF-8 Unicode English text
./.kde/Autostart/.directory: ISO-8859 text\
......

在整个系统中查找内存信息转储文件(core dump) ，然后把结果保存
到/tmp/core.log 文件中：

$ find / -name "core" -print | xargs echo "" >/tmp/core.log

上面这个执行太慢，我改成在当前目录下查找

#find . -name "file*" -print | xargs echo "" > /temp/core.log
# cat /temp/core.log
./file6

在当前目录下查找所有用户具有读、写和执行权限的文件，并收回相
应的写权限：

# ls -l
drwxrwxrwx 2 sam   adm    4096 10月 30 20:14 file6
-rwxrwxrwx 2 sam   adm       0 10月 31 01:01 http3.conf
-rwxrwxrwx 2 sam   adm       0 10月 31 01:01 httpd.conf

# find . -perm -7 -print | xargs chmod o-w
# ls -l
drwxrwxr-x 2 sam   adm    4096 10月 30 20:14 file6
-rwxrwxr-x 2 sam   adm       0 10月 31 01:01 http3.conf
-rwxrwxr-x 2 sam   adm       0 10月 31 01:01 httpd.conf

用grep命令在所有的普通文件中搜索hostname这个词：

# find . -type f -print | xargs grep "hostname"
./httpd1.conf:# different IP addresses or hostnames and
have them handled by the

./httpd1.conf:# VirtualHost: If you want to maintain multiple
domains/hostnames on your

用grep命令在当前目录下的所有普通文件中搜索hostnames这个词：

# find . -name \* -type f -print | xargs grep "hostnames"
./httpd1.conf:# different IP addresses or hostnames and
have them handled by the
./httpd1.conf:# VirtualHost: If you want to maintain multiple
domains/hostnames on your

注意，在上面的例子中， \用来取消find命令中的*在shell中的特殊
含义。

find命令配合使用exec和xargs可以使用户对所匹配到的文件执行几乎
所有的命令。

四、find 命令的参数

下面是find一些常用参数的例子，有用到的时候查查就行了，像上面
前几个贴子，都用到了其中的的一些参数，也可以用man或查看论坛里
其它贴子有find的命令手册

1、使用name选项

文件名选项是find命令最常用的选项，要么单独使用该选项，要么和
其他选项一起使用。

可以使用某种文件名模式来匹配文件，记住要用引号将文件名模式引
起来。

不管当前路径是什么，如果想要在自己的根目录$HOME中查找文件名
符合*.txt的文件，使用~作为 ‘pathname’参数，波浪号~代表了你
的$HOME目录。

$ find ~ -name "*.txt" -print

想要在当前目录及子目录中查找所有的‘ *.txt’文件，可以用：

$ find . -name "*.txt" -print

想要的当前目录及子目录中查找文件名以一个大写字母开头的文件
，可以用：

$ find . -name "[A-Z]*" -print

想要在/etc目录中查找文件名以host开头的文件，可以用：

$ find /etc -name "host*" -print

想要查找$HOME目录中的文件，可以用：

$ find ~ -name "*" -print 或find . -print

要想让系统高负荷运行，就从根目录开始查找所有的文件。

$ find / -name "*" -print

如果想在当前目录查找文件名以两个小写字母开头，跟着是两个数
字，最后是.txt的文件，下面的命令就能够返回名为ax37.txt的文
件：

$find . -name "[a-z][a-z][0--9][0--9].txt" -print

2、用perm选项

按照文件权限模式用-perm选项,按文件权限模式来查找文件的话。最
好使用八进制的权限表示法。

如在当前目录下查找文件权限位为755的文件，即文件属主可以读、
写、执行，其他用户可以读、执行的文件，可以用：

$ find . -perm 755 -print

还有一种表达方法：在八进制数字前面要加一个横杠-，表示都匹配，
如-007就相当于777，-006相当于666

# ls -l
-rwxrwxr-x 2 sam   adm       0 10月 31 01:01 http3.conf
-rw-rw-rw- 1 sam   adm   34890 10月 31 00:57 httpd1.conf
-rwxrwxr-x 2 sam   adm       0 10月 31 01:01 httpd.conf
drw-rw-rw- 2 gem   group 4096 10月 26 19:48 sam
-rw-rw-rw- 1 root root   2792 10月 31 20:19 temp

# find . -perm 006
# find . -perm -006
./sam
./httpd1.conf
./temp

-perm mode:文件许可正好符合mode

-perm +mode:文件许可部分符合mode

-perm -mode: 文件许可完全符合mode

3、忽略某个目录

如果在查找文件时希望忽略某个目录，因为你知道那个目录中没有
你所要查找的文件，那么可以使用-prune选项来指出需要忽略的目
录。在使用-prune选项时要当心，因为如果你同时使用了-depth选
项，那么-prune选项就会被find命令忽略。

如果希望在/apps目录下查找文件，但不希望在/apps/bin目录下查
找，可以用：

$ find /apps -path "/apps/bin" -prune -o -print

4、使用find查找文件的时候怎么避开某个文件目录

比如要在/usr/sam目录下查找不在dir1子目录之内的所有文件

find /usr/sam -path "/usr/sam/dir1" -prune -o -print

find [-path ..] [expression] 在路径列表的后面的是表达式

-path “/usr/sam” -prune -o -print 是 -path “/usr/sam”
-a -prune -o

-print 的简写表达式按顺序求值, -a 和 -o 都是短路求值，与
shell 的 && 和 || 类似如果 -path “/usr/sam” 为真，则求值
-prune , -prune 返回真，与逻辑表达式为真；否则不求值 -prune，
与逻辑表达式为假。如果 -path “/usr/sam” -a -prune 为假，
则求值 -print ，-print返回真，或逻辑表达式为真；否则不求值
-print，或逻辑表达式为真。

这个表达式组合特例可以用伪码写为

if -path "/usr/sam" then
-prune
else
-print

避开多个文件夹

find /usr/sam $ -path /usr/sam/dir1 -o -path /usr/sam/file1 $ -prune -o -print

圆括号表示表达式的结合。

\ 表示引用，即指示 shell 不对后面的字符作特殊解释，而留给 find 命令去解释其意义。

查找某一确定文件，-name等选项加在-o 之后

#find /usr/sam $-path /usr/sam/dir1 -o -path /usr/sam/file1 $ -prune -o -name "temp" -print

5、使用user和nouser选项

按文件属主查找文件，如在$HOME目录中查找文件属主为sam的文件，可以用：

$ find ~ -user sam -print

在/etc目录下查找文件属主为uucp的文件：

$ find /etc -user uucp -print

为了查找属主帐户已经被删除的文件，可以使用-nouser选项。这样
就能够找到那些属主在/etc/passwd文件中没有有效帐户的文件。在
使用-nouser选项时，不必给出用户名； find命令能够为你完成相
应的工作。

例如，希望在/home目录下查找所有的这类文件，可以用：

$ find /home -nouser -print

6、使用group和nogroup选项

就像user和nouser选项一样，针对文件所属于的用户组， find命令
也具有同样的选项，为了在/apps目录下查找属于gem用户组的文件，
可以用：

$ find /apps -group gem -print

要查找没有有效所属用户组的所有文件，可以使用nogroup选项。
下面的find命令从文件系统的根目录处查找这样的文件

$ find / -nogroup-print

7、按照更改时间或访问时间等查找文件

如果希望按照更改时间来查找文件，可以使用mtime,atime或ctime
选项。如果系统突然没有可用空间了，很有可能某一个文件的长度
在此期间增长迅速，这时就可以用mtime选项来查找这样的文件。

用减号-来限定更改时间在距今n日以内的文件，而用加号+来限定
更改时间在距今n日以前的文件。

希望在系统根目录下查找更改时间在5日以内的文件，可以用：

$ find / -mtime -5 -print

为了在/var/adm目录下查找更改时间在3日以前的文件，可以用：

$ find /var/adm -mtime +3 -print

8、查找比某个文件新或旧的文件

如果希望查找更改时间比某个文件新但比另一个文件旧的所有文
件，可以使用-newer选项。它的一般形式为：

newest_file_name ! oldest_file_name

其中，！是逻辑非符号。

查找更改时间比文件sam新但比文件temp旧的文件：

例：有两个文件

-rw-r--r-- 1 sam   adm       0 10月 31 01:07 fiel
-rw-rw-rw- 1 sam   adm   34890 10月 31 00:57 httpd1.conf
-rwxrwxr-x 2 sam   adm       0 10月 31 01:01 httpd.conf
drw-rw-rw- 2 gem   group 4096 10月 26 19:48 sam
-rw-rw-rw- 1 root root   2792 10月 31 20:19 temp

# find -newer httpd1.conf ! -newer temp -ls
1077669 0 -rwxrwxr-x 2 sam adm 0 10月 31 01:01 ./httpd.conf
1077671 4 -rw-rw-rw- 1 root root 2792 10月 31 20:19 ./temp
1077673 0 -rw-r--r-- 1 sam adm 0 10月 31 01:07 ./fiel

查找更改时间在比temp文件新的文件：

$ find . -newer temp -print

9、使用type选项

$ find /etc -type d -print

在当前目录下查找除目录以外的所有类型的文件，可以用：

$ find . ! -type d -print

在/etc目录下查找所有的符号链接文件，可以用

$ find /etc -type l -print

10、使用size选项

可以按照文件长度来查找文件，这里所指的文件长度既可以用块
（block）来计量，也可以用字节来计量。以字节计量文件长度的
表达形式为N c；以块计量文件长度只用数字表示即可。

在按照文件长度查找文件时，一般使用这种以字节表示的文件长
度，在查看文件系统的大小，因为这时使用块来计量更容易转换。
在当前目录下查找文件长度大于1 M字节的文件：

$ find . -size +1000000c -print

在/home/apache目录下查找文件长度恰好为100字节的文件：

$ find /home/apache -size 100c -print

在当前目录下查找长度超过10块的文件（一块等于512字节）：

$ find . -size +10 -print

11、使用depth选项

在使用find命令时，可能希望先匹配所有的文件，再在子目录中
查找。使用depth选项就可以使find命令这样做。这样做的一个原
因就是，当在使用find命令向磁带上备份文件系统时，希望首先
备份所有的文件，其次再备份子目录中的文件。

在下面的例子中， find命令从文件系统的根目录开始，查找一
个名为CON.FILE的文件。

它将首先匹配所有的文件然后再进入子目录中查找。

$ find / -name "CON.FILE" -depth -print

12、使用mount选项

在当前的文件系统中查找文件（不进入其他文件系统），可以
使用find命令的mount选项。

从当前目录开始查找位于本文件系统中文件名以XC结尾的文件：

$ find . -name "*.XC" -mount -print

Memcached深度分析(转载)

老子黑牵翻 — Sun, 13 May 2012 05:26:14 +0000

Memcached是danga.com（运营LiveJournal的技术团队）开发的一套分布式内存对象缓存系统，用于在动态系统中减少数据库负载，提升性能。关于这个东西，相信很多人都用过，本文意在通过对memcached的实现及代码分析，获得对这个出色的开源软件更深入的了解，并可以根据我们的需要对其进行更进一步的优化。末了将通过对BSM_Memcache扩展的分析，加深对memcached的使用方式理解。

本文的部分内容可能需要比较好的数学基础作为辅助。

◎Memcached是什么

在阐述这个问题之前，我们首先要清楚它“不是什么”。很多人把它当作和SharedMemory那种形式的存储载体来使用，虽然memcached 使用了同样的“Key=>Value”方式组织数据，但是它和共享内存、APC等本地缓存有非常大的区别。Memcached是分布式的，也就是说它不是本地的。它基于网络连接（当然它也可以使用localhost）方式完成服务，本身它是一个独立于应用的程序或守护进程（Daemon方式）。

Memcached使用libevent库实现网络连接服务，理论上可以处理无限多的连接，但是它和Apache不同，它更多的时候是面向稳定的持续连接的，所以它实际的并发能力是有限制的。在保守情况下memcached的最大同时连接数为200，这和Linux线程能力有关系，这个数值是可以调整的。关于libevent可以参考相关文档。 Memcached内存使用方式也和APC不同。APC是基于共享内存和MMAP的，memcachd有自己的内存分配算法和管理方式，它和共享内存没有关系，也没有共享内存的限制，通常情况下，每个memcached进程可以管理2GB的内存空间，如果需要更多的空间，可以增加进程数。

◎Memcached适合什么场合

在很多时候，memcached都被滥用了，这当然少不了对它的抱怨。我经常在论坛上看见有人发贴，类似于“如何提高效率”，回复是“用memcached”，至于怎么用，用在哪里，用来干什么一句没有。memcached不是万能的，它也不是适用在所有场合。

Memcached是“分布式”的内存对象缓存系统，那么就是说，那些不需要“分布”的，不需要共享的，或者干脆规模小到只有一台服务器的应用，memcached不会带来任何好处，相反还会拖慢系统效率，因为网络连接同样需要资源，即使是UNIX本地连接也一样。在我之前的测试数据中显示，memcached本地读写速度要比直接PHP内存数组慢几十倍，而APC、共享内存方式都和直接数组差不多。可见，如果只是本地级缓存，使用memcached是非常不划算的。

Memcached在很多时候都是作为数据库前端cache使用的。因为它比数据库少了很多SQL解析、磁盘操作等开销，而且它是使用内存来管理数据的，所以它可以提供比直接读取数据库更好的性能，在大型系统中，访问同样的数据是很频繁的，memcached可以大大降低数据库压力，使系统执行效率提升。另外，memcached也经常作为服务器之间数据共享的存储媒介，例如在SSO系统中保存系统单点登陆状态的数据就可以保存在memcached 中，被多个应用共享。

需要注意的是，memcached使用内存管理数据，所以它是易失的，当服务器重启，或者memcached进程中止，数据便会丢失，所以 memcached不能用来持久保存数据。很多人的错误理解，memcached的性能非常好，好到了内存和硬盘的对比程度，其实memcached使用内存并不会得到成百上千的读写速度提高，它的实际瓶颈在于网络连接，它和使用磁盘的数据库系统相比，好处在于它本身非常“轻”，因为没有过多的开销和直接的读写方式，它可以轻松应付非常大的数据交换量，所以经常会出现两条千兆网络带宽都满负荷了，memcached进程本身并不占用多少CPU资源的情况。

◎Memcached的工作方式

以下的部分中，读者最好能准备一份memcached的源代码。

Memcached是传统的网络服务程序，如果启动的时候使用了-d参数，它会以守护进程的方式执行。创建守护进程由daemon.c完成，这个程序只有一个daemon函数，这个函数很简单（如无特殊说明，代码以1.2.1为准）：

CODE:

#include <fcntl.h>
#include <stdlib.h>
#include <unistd.h>

int
daemon(nochdir, noclose)
int nochdir, noclose;
{
int fd;

switch (fork()) {
case -1:
      return (-1);
case 0:
      break;
default:
      _exit(0);
}

if (setsid() == -1)
return (-1);

if (!nochdir)
(void)chdir(”/”);

if (!noclose && (fd = open(”/dev/null”, O_RDWR, 0)) != -1) {
      (void)dup2(fd, STDIN_FILENO);
      (void)dup2(fd, STDOUT_FILENO);
      (void)dup2(fd, STDERR_FILENO);
      if (fd > STDERR_FILENO)
         (void)close(fd);
}
return (0);
}

这个函数 fork 了整个进程之后，父进程就退出，接着重新定位 STDIN 、 STDOUT 、 STDERR 到空设备， daemon 就建立成功了。

Memcached 本身的启动过程，在 memcached.c 的 main 函数中顺序如下：

1 、调用 settings_init() 设定初始化参数
2 、从启动命令中读取参数来设置 setting 值
3 、设定 LIMIT 参数
4 、开始网络 socket 监听（如果非 socketpath 存在）（ 1.2 之后支持 UDP 方式）
5 、检查用户身份（ Memcached 不允许 root 身份启动）
6 、如果有 socketpath 存在，开启 UNIX 本地连接（Sock 管道）
7 、如果以 -d 方式启动，创建守护进程（如上调用 daemon 函数）
8 、初始化 item 、 event 、状态信息、 hash 、连接、 slab
9 、如设置中 managed 生效，创建 bucket 数组
10 、检查是否需要锁定内存页
11 、初始化信号、连接、删除队列
12 、如果 daemon 方式，处理进程 ID
13 、event 开始，启动过程结束， main 函数进入循环。

在 daemon 方式中，因为 stderr 已经被定向到黑洞，所以不会反馈执行中的可见错误信息。

memcached.c 的主循环函数是 drive_machine ，传入参数是指向当前的连接的结构指针，根据 state 成员的状态来决定动作。

Memcached 使用一套自定义的协议完成数据交换，它的 protocol 文档可以参考： http://code.sixapart.com/svn/memcached/trunk/server/doc/protocol.txt

在API中，换行符号统一为\r\n

◎Memcached的内存管理方式

Memcached有一个很有特色的内存管理方式，为了提高效率，它使用预申请和分组的方式管理内存空间，而并不是每次需要写入数据的时候去malloc，删除数据的时候free一个指针。Memcached使用slab->chunk的组织方式管理内存。

1.1和1.2的slabs.c中的slab空间划分算法有一些不同，后面会分别介绍。

Slab可以理解为一个内存块，一个slab是memcached一次申请内存的最小单位，在memcached中，一个slab的大小默认为 1048576字节（1MB），所以memcached都是整MB的使用内存。每一个slab被划分为若干个chunk，每个chunk里保存一个 item，每个item同时包含了item结构体、key和value（注意在memcached中的value是只有字符串的）。slab按照自己的 id分别组成链表，这些链表又按id挂在一个slabclass数组上，整个结构看起来有点像二维数组。slabclass的长度在1.1中是21，在 1.2中是200。

slab有一个初始chunk大小，1.1中是1字节，1.2中是80字节，1.2中有一个factor值，默认为1.25

在1.1中，chunk大小表示为初始大小*2^n，n为classid，即：id为0的slab，每chunk大小1字节，id为1的slab，每chunk大小2字节，id为2的slab，每chunk大小4字节……id为20的slab，每chunk大小为1MB，就是说id为20的slab 里只有一个chunk：

CODE:

void slabs_init(size_t limit) {
int i;
int size=1;

mem_limit = limit;
for(i=0; i<=POWER_LARGEST; i++, size*=2) {
      slabclass[i].size = size;
      slabclass[i].perslab = POWER_BLOCK / size;
      slabclass[i].slots = 0;
      slabclass[i].sl_curr = slabclass[i].sl_total = slabclass[i].slabs = 0;
      slabclass[i].end_page_ptr = 0;
      slabclass[i].end_page_free = 0;
      slabclass[i].slab_list = 0;
      slabclass[i].list_size = 0;
      slabclass[i].killing = 0;
}

/* for the test suite:  faking of how much we’ve already malloc’d */
{
      char *t_initial_malloc = getenv(”T_MEMD_INITIAL_MALLOC”);
      if (t_initial_malloc) {
         mem_malloced = atol(getenv(”T_MEMD_INITIAL_MALLOC”));
      }
}

/* pre-allocate slabs by default, unless the environment variable
   for testing is set to something non-zero */
{
      char *pre_alloc = getenv(”T_MEMD_SLABS_ALLOC”);
      if (!pre_alloc || atoi(pre_alloc)) {
         slabs_preallocate(limit / POWER_BLOCK);
      }
}
}

在1.2中，chunk大小表示为初始大小*f^n，f为factor，在memcached.c中定义，n为classid，同时，201个头不是全部都要初始化的，因为factor可变，初始化只循环到计算出的大小达到slab大小的一半为止，而且它是从id1开始的，即：id为1的slab，每chunk大小80字节，id为2的slab，每chunk大小80*f，id为3的slab，每chunk大小80*f^2，初始化大小有一个修正值 CHUNK_ALIGN_BYTES，用来保证n-byte排列（保证结果是CHUNK_ALIGN_BYTES的整倍数）。这样，在标准情况下，memcached1.2会初始化到id40，这个slab中每个 chunk大小为504692，每个slab中有两个chunk。最后，slab_init函数会在最后补足一个id41，它是整块的，也就是这个 slab中只有一个1MB大的chunk：

CODE:

void slabs_init(size_t limit, double factor) {
int i = POWER_SMALLEST – 1;
unsigned int size = sizeof(item) + settings.chunk_size;

/* Factor of 2.0 means use the default memcached behavior */
if (factor == 2.0 && size < 128)
size = 128;

mem_limit = limit;
memset(slabclass, 0, sizeof(slabclass));

while (++i < POWER_LARGEST && size <= POWER_BLOCK / 2) {
      /* Make sure items are always n-byte aligned */
      if (size % CHUNK_ALIGN_BYTES)
         size += CHUNK_ALIGN_BYTES – (size % CHUNK_ALIGN_BYTES);

      slabclass[i].size = size;
      slabclass[i].perslab = POWER_BLOCK / slabclass[i].size;
      size *= factor;
      if (settings.verbose > 1) {
         fprintf(stderr, “slab class %3d: chunk size %6d perslab %5d\n”,
                  i, slabclass[i].size, slabclass[i].perslab);
      }
}

power_largest = i;
slabclass[power_largest].size = POWER_BLOCK;
slabclass[power_largest].perslab = 1;

}

#ifndef DONT_PREALLOC_SLABS
{
      char *pre_alloc = getenv(”T_MEMD_SLABS_ALLOC”);
      if (!pre_alloc || atoi(pre_alloc)) {
         slabs_preallocate(limit / POWER_BLOCK);
      }
}
#endif
}

由上可以看出，memcached的内存分配是有冗余的，当一个slab不能被它所拥有的chunk大小整除时，slab尾部剩余的空间就被丢弃了，如id40中，两个chunk占用了1009384字节，这个slab一共有1MB，那么就有39192字节被浪费了。

Memcached使用这种方式来分配内存，是为了可以快速的通过item长度定位出slab的classid，有一点类似hash，因为item 的长度是可以计算的，比如一个item的长度是300字节，在1.2中就可以得到它应该保存在id7的slab中，因为按照上面的计算方法，id6的 chunk大小是252字节，id7的chunk大小是316字节，id8的chunk大小是396字节，表示所有252到316字节的item都应该保存在id7中。同理，在1.1中，也可以计算得到它出于256和512之间，应该放在chunk_size为512的id9中(32位系统）。

Memcached初始化的时候，会初始化slab（前面可以看到，在main函数中调用了slabs_init()）。它会在 slabs_init()中检查一个常量DONT_PREALLOC_SLABS，如果这个没有被定义，说明使用预分配内存方式初始化slab，这样在所有已经定义过的slabclass中，每一个id创建一个slab。这样就表示，1.2在默认的环境中启动进程后要分配41MB的slab空间，在这个过程里，memcached的第二个内存冗余发生了，因为有可能一个id根本没有被使用过，但是它也默认申请了一个slab，每个slab会用掉1MB内存

当一个slab用光后，又有新的item要插入这个id，那么它就会重新申请新的slab，申请新的slab时，对应id的slab链表就要增长，这个链表是成倍增长的，在函数grow_slab_list函数中，这个链的长度从1变成2，从2变成4，从4变成8……：

CODE:

static int grow_slab_list (unsigned int id) {
slabclass_t *p = &slabclass[id];
if (p->slabs == p->list_size) {
      size_t new_size =  p->list_size ? p->list_size * 2 : 16;
      void *new_list = realloc(p->slab_list, new_size*sizeof(void*));
      if (new_list == 0) return 0;
      p->list_size = new_size;
      p->slab_list = new_list;
}
return 1;
}

在定位item时，都是使用slabs_clsid函数，传入参数为item大小，返回值为classid，由这个过程可以看出，memcached的第三个内存冗余发生在保存item的过程中，item总是小于或等于chunk大小的，当item小于chunk大小时，就又发生了空间浪费。

◎Memcached的NewHash算法

Memcached的item保存基于一个大的hash表，它的实际地址就是slab中的chunk偏移，但是它的定位是依靠对key做hash的结果，在primary_hashtable中找到的。在assoc.c和items.c中定义了所有的hash和item操作。

Memcached使用了一个叫做NewHash的算法，它的效果很好，效率也很高。1.1和1.2的NewHash有一些不同，主要的实现方式还是一样的，1.2的hash函数是经过整理优化的，适应性更好一些。

NewHash的原型参考：http://burtleburtle.net/bob/hash/evahash.html。数学家总是有点奇怪，呵呵～

为了变换方便，定义了u4和u1两种数据类型，u4就是无符号的长整形，u1就是无符号char(0-255)。

具体代码可以参考1.1和1.2源码包。

注意这里的hashtable长度，1.1和1.2也是有区别的，1.1中定义了HASHPOWER常量为20，hashtable表长为 hashsize(HASHPOWER)，就是4MB（hashsize是一个宏，表示1右移n位），1.2中是变量16，即hashtable表长 65536：

CODE:

typedef unsigned long int ub4; /* unsigned 4-byte quantities */
typedef unsigned char ub1; /* unsigned 1-byte quantities */

#define hashsize(n) ((ub4)1<<(n))
#define hashmask(n) (hashsize(n)-1)

在assoc_init()中，会对primary_hashtable做初始化，对应的hash操作包括：assoc_find()、 assoc_expand()、assoc_move_next_bucket()、assoc_insert()、assoc_delete()，对应于item的读写操作。其中assoc_find()是根据key和key长寻找对应的item地址的函数（注意在C中，很多时候都是同时直接传入字符串和字符串长度，而不是在函数内部做strlen），返回的是item结构指针，它的数据地址在slab中的某个chunk上。

items.c是数据项的操作程序，每一个完整的item包括几个部分，在item_make_header()中定义为：

key：键
nkey：键长
flags：用户定义的flag（其实这个flag在memcached中没有启用）
nbytes：值长（包括换行符号\r\n）
suffix：后缀Buffer
nsuffix：后缀长

一个完整的item长度是键长＋值长＋后缀长＋item结构大小（32字节），item操作就是根据这个长度来计算slab的classid的。

hashtable中的每一个桶上挂着一个双链表，item_init()的时候已经初始化了heads、tails、sizes三个数组为0，这三个数组的大小都为常量LARGEST_ID（默认为255，这个值需要配合factor来修改），在每次item_assoc()的时候，它会首先尝试从slab中获取一块空闲的chunk，如果没有可用的chunk，会在链表中扫描50次，以得到一个被LRU踢掉的item，将它unlink，然后将需要插入的item插入链表中。

注意item的refcount成员。item被unlink之后只是从链表上摘掉，不是立刻就被free的，只是将它放到删除队列中（item_unlink_q()函数）。

item对应一些读写操作，包括remove、update、replace，当然最重要的就是alloc操作。

item还有一个特性就是它有过期时间，这是memcached的一个很有用的特性，很多应用都是依赖于memcached的item过期，比如 session存储、操作锁等。item_flush_expired()函数就是扫描表中的item，对过期的item执行unlink操作，当然这只是一个回收动作，实际上在get的时候还要进行时间判断：

CODE:

/* expires items that are more recent than the oldest_live setting. */
void item_flush_expired() {
int i;
item *iter, *next;
if (! settings.oldest_live)
      return;
for (i = 0; i < LARGEST_ID; i++) {
      /* The LRU is sorted in decreasing time order, and an item’s timestamp
      * is never newer than its last access time, so we only need to walk
      * back until we hit an item older than the oldest_live time.
      * The oldest_live checking will auto-expire the remaining items.
      */
      for (iter = heads[i]; iter != NULL; iter = next) {
         if (iter->time >= settings.oldest_live) {
            next = iter->next;
            if ((iter->it_flags & ITEM_SLABBED) == 0) {
                  item_unlink(iter);
            }
         } else {
            /* We’ve hit the first old item. Continue to the next queue. */
            break;
         }
      }
}
}

CODE:

/* wrapper around assoc_find which does the lazy expiration/deletion logic */
item *get_item_notedeleted(char *key, size_t nkey, int *delete_locked) {
item *it = assoc_find(key, nkey);
if (delete_locked) *delete_locked = 0;
if (it && (it->it_flags & ITEM_DELETED)) {
      /* it’s flagged as delete-locked.  let’s see if that condition
         is past due, and the 5-second delete_timer just hasn’t
         gotten to it yet… */
      if (! item_delete_lock_over(it)) {
         if (delete_locked) *delete_locked = 1;
         it = 0;
      }
}
if (it && settings.oldest_live && settings.oldest_live <= current_time &&
      it->time <= settings.oldest_live) {
      item_unlink(it);
      it = 0;
}
if (it && it->exptime && it->exptime <= current_time) {
      item_unlink(it);
      it = 0;
}
return it;
}

Memcached的内存管理方式是非常精巧和高效的，它很大程度上减少了直接alloc系统内存的次数，降低函数开销和内存碎片产生几率，虽然这种方式会造成一些冗余浪费，但是这种浪费在大型系统应用中是微不足道的。

◎Memcached的理论参数计算方式

影响 memcached 工作的几个参数有：

常量REALTIME_MAXDELTA 60*60*24*30
最大30天的过期时间

conn_init()中的freetotal（=200）
最大同时连接数

常量KEY_MAX_LENGTH 250
最大键长

settings.factor（=1.25）
factor将影响chunk的步进大小

settings.maxconns（=1024）
最大软连接

settings.chunk_size（=48）
一个保守估计的key+value长度，用来生成id1中的chunk长度（1.2）。id1的chunk长度等于这个数值加上item结构体的长度（32），即默认的80字节。

常量POWER_SMALLEST 1
最小classid（1.2）

常量POWER_LARGEST 200
最大classid（1.2）

常量POWER_BLOCK 1048576
默认slab大小

常量CHUNK_ALIGN_BYTES (sizeof(void *))
保证chunk大小是这个数值的整数倍，防止越界（void *的长度在不同系统上不一样，在标准32位系统上是4）

常量ITEM_UPDATE_INTERVAL 60
队列刷新间隔

常量LARGEST_ID 255
最大item链表数（这个值不能比最大的classid小）

变量hashpower（在1.1中是常量HASHPOWER）
决定hashtable的大小

根据上面介绍的内容及参数设定，可以计算出的一些结果：

1、在memcached中可以保存的item个数是没有软件上限的，之前我的100万的说法是错误的。
2、假设NewHash算法碰撞均匀，查找item的循环次数是item总数除以hashtable大小（由hashpower决定），是线性的。
3、Memcached限制了可以接受的最大item是1MB，大于1MB的数据不予理会。
4、Memcached的空间利用率和数据特性有很大的关系，又与DONT_PREALLOC_SLABS常量有关。在最差情况下，有198个slab会被浪费（所有item都集中在一个slab中，199个id全部分配满）。

◎Memcached的定长优化

根据上面几节的描述，多少对memcached有了一个比较深入的认识。在深入认识的基础上才好对它进行优化。

Memcached本身是为变长数据设计的，根据数据特性，可以说它是“面向大众”的设计，但是很多时候，我们的数据并不是这样的“普遍”，典型的情况中，一种是非均匀分布，即数据长度集中在几个区域内（如保存用户 Session）；另一种更极端的状态是等长数据（如定长键值，定长数据，多见于访问、在线统计或执行锁）。

这里主要研究一下定长数据的优化方案（1.2），集中分布的变长数据仅供参考，实现起来也很容易。

解决定长数据，首先需要解决的是slab的分配问题，第一个需要确认的是我们不需要那么多不同chunk长度的slab，为了最大限度地利用资源，最好chunk和item等长，所以首先要计算item长度。

在之前已经有了计算item长度的算法，需要注意的是，除了字符串长度外，还要加上item结构的长度32字节。

假设我们已经计算出需要保存200字节的等长数据。

接下来是要修改slab的classid和chunk长度的关系。在原始版本中，chunk长度和classid是有对应关系的，现在如果把所有的 chunk都定为200个字节，那么这个关系就不存在了，我们需要重新确定这二者的关系。一种方法是，整个存储结构只使用一个固定的id，即只使用199 个槽中的1个，在这种条件下，就一定要定义DONT_PREALLOC_SLABS来避免另外的预分配浪费。另一种方法是建立一个hash关系，来从 item确定classid，不能使用长度来做键，可以使用key的NewHash结果等不定数据，或者直接根据key来做hash（定长数据的key也一定等长）。这里简单起见，选择第一种方法，这种方法的不足之处在于只使用一个id，在数据量非常大的情况下，slab链会很长（因为所有数据都挤在一条链上了），遍历起来的代价比较高。

前面介绍了三种空间冗余，设置chunk长度等于item长度，解决了第一种空间浪费问题，不预申请空间解决了第二种空间浪费问题，那么对于第一种问题（slab内剩余）如何解决呢，这就需要修改POWER_BLOCK常量，使得每一个slab大小正好等于chunk长度的整数倍，这样一个slab 就可以正好划分成n个chunk。这个数值应该比较接近1MB，过大的话同样会造成冗余，过小的话会造成次数过多的alloc，根据chunk长度为 200，选择1000000作为POWER_BLOCK的值，这样一个slab就是100万字节，不是1048576。三个冗余问题都解决了，空间利用率会大大提升。

修改 slabs_clsid 函数，让它直接返回一个定值（比如 1 ）：

CODE:

unsigned int slabs_clsid(size_t size) {
return 1;
}

修改slabs_init函数，去掉循环创建所有classid属性的部分，直接添加slabclass[1]：

CODE:

slabclass[1].size = 200; //每chunk200字节
slabclass[1].perslab = 5000; //1000000/200

◎Memcached客户端

Memcached是一个服务程序，使用的时候可以根据它的协议，连接到memcached服务器上，发送命令给服务进程，就可以操作上面的数据。为了方便使用，memcached有很多个客户端程序可以使用，对应于各种语言，有各种语言的客户端。基于C语言的有libmemcache、 APR_Memcache；基于Perl的有Cache::Memcached；另外还有Python、Ruby、Java、C#等语言的支持。PHP的客户端是最多的，不光有mcache和PECL memcache两个扩展，还有大把的由PHP编写的封装类，下面介绍一下在PHP中使用memcached的方法：

mcache扩展是基于libmemcache再封装的。libmemcache一直没有发布stable版本，目前版本是1.4.0-rc2，可以在这里找到。libmemcache有一个很不好的特性，就是会向stderr写很多错误信息，一般的，作为lib使用的时候，stderr一般都会被定向到其它地方，比如Apache的错误日志，而且libmemcache会自杀，可能会导致异常，不过它的性能还是很好的。

mcache扩展最后更新到1.2.0-beta10，作者大概是离职了，不光停止更新，连网站也打不开了（~_~），只能到其它地方去获取这个不负责的扩展了。解压后安装方法如常：phpize & configure & make & make install，一定要先安装libmemcache。使用这个扩展很简单：

CODE:

<?php
$mc = memcache();    // 创建一个memcache连接对象，注意这里不是用new！
$mc->add_server(‘localhost’, 11211);    // 添加一个服务进程
$mc->add_server(‘localhost’, 11212);    // 添加第二个服务进程
$mc->set(‘key1′, ‘Hello’);    // 写入key1 => Hello
$mc->set(‘key2′, ‘World’, 10);    // 写入key2 => World，10秒过期
$mc->set(‘arr1′, array(‘Hello’, ‘World’));    // 写入一个数组
$key1 = $mc->get(‘key1′);    // 获取’key1′的值，赋给$key1
$key2 = $mc->get(‘key2′);    // 获取’key2′的值，赋给$key2，如果超过10秒，就取不到了
$arr1 = $mc->get(‘arr1′);    // 获取’arr1′数组
$mc->delete(‘arr1′);    // 删除’arr1′
$mc->flush_all();    // 删掉所有数据
$stats = $mc->stats();    // 获取服务器信息
var_dump($stats);    // 服务器信息是一个数组
?>

这个扩展的好处是可以很方便地实现分布式存储和负载均衡，因为它可以添加多个服务地址，数据在保存的时候是会根据hash结果定位到某台服务器上的，这也是libmemcache的特性。libmemcache支持集中hash方式，包括CRC32、ELF和Perl hash。

PECL memcache是PECL发布的扩展，目前最新版本是2.1.0，可以在pecl网站得到。memcache扩展的使用方法可以在新一些的PHP手册中找到，它和mcache很像，真的很像：

CODE:

<?php

$memcache = new Memcache;
$memcache->connect(‘localhost’, 11211) or die (“Could not connect”);

$version = $memcache->getVersion();
echo “Server’s version: ”.$version.“n”;

$tmp_object = new stdClass;
$tmp_object->str_attr = ‘test’;
$tmp_object->int_attr = 123;

$memcache->set(‘key’, $tmp_object, false, 10) or die (“Failed to save data at the server”);
echo “Store data in the cache (data will expire in 10 seconds)n”;

$get_result = $memcache->get(‘key’);
echo “Data from the cache:n”;

var_dump($get_result);

这个扩展是使用php的stream直接连接memcached服务器并通过socket发送命令的。它不像libmemcache那样完善，也不支持add_server这种分布操作，但是因为它不依赖其它的外界程序，兼容性要好一些，也比较稳定。至于效率，差别不是很大。

另外，有很多的PHP class可以使用，比如MemcacheClient.inc.php，phpclasses.org上可以找到很多，一般都是对perl client API的再封装，使用方式很像。

◎BSM_Memcache

从C client来说，APR_Memcache是一个很成熟很稳定的client程序，支持线程锁和原子级操作，保证运行的稳定性。不过它是基于APR的（APR将在最后一节介绍），没有libmemcache的应用范围广，目前也没有很多基于它开发的程序，现有的多是一些Apache Module，因为它不能脱离APR环境运行。但是APR倒是可以脱离Apache单独安装的，在APR网站上可以下载APR和APR-util，不需要有Apache，可以直接安装，而且它是跨平台的。

BSM_Memcache是我在BS.Magic项目中开发的一个基于APR_Memcache的PHP扩展，说起来有点拗口，至少它把APR扯进了PHP扩展中。这个程序很简单，也没做太多的功能，只是一种形式的尝试，它支持服务器分组。

和mcache扩展支持多服务器分布存储不同，BSM_Memcache支持多组服务器，每一组内的服务器还是按照hash方式来分布保存数据，但是两个组中保存的数据是一样的，也就是实现了热备，它不会因为一台服务器发生单点故障导致数据无法获取，除非所有的服务器组都损坏（例如机房停电）。当然实现这个功能的代价就是性能上的牺牲，在每次添加删除数据的时候都要扫描所有的组，在get数据的时候会随机选择一组服务器开始轮询，一直到找到数据为止，正常情况下一次就可以获取得到。

BSM_Memcache只支持这几个函数：

CODE:

zend_function_entry bsm_memcache_functions[] =
{
PHP_FE(mc_get,       NULL)
PHP_FE(mc_set,       NULL)
PHP_FE(mc_del,       NULL)
PHP_FE(mc_add_group, NULL)
PHP_FE(mc_add_server, NULL)
PHP_FE(mc_shutdown,    NULL)
{NULL, NULL, NULL}
};

mc_add_group函数返回一个整形（其实应该是一个object，我偷懒了~_~）作为组ID，mc_add_server的时候要提供两个参数，一个是组ID，一个是服务器地址（ADDRORT）。

CODE:

/**
* Add a server group
*/
PHP_FUNCTION(mc_add_group)
{
apr_int32_t group_id;
apr_status_t rv;

if (0 != ZEND_NUM_ARGS())
{
WRONG_PARAM_COUNT;
RETURN_NULL();
}

group_id = free_group_id();
if (-1 == group_id)
{
RETURN_FALSE;
}

apr_memcache_t *mc;
rv = apr_memcache_create(p, MAX_G_SERVER, 0, &mc);

add_group(group_id, mc);

RETURN_DOUBLE(group_id);
}

CODE:

/**
* Add a server into group
*/
PHP_FUNCTION(mc_add_server)
{
apr_status_t rv;
apr_int32_t group_id;
double g;
char *srv_str;
int srv_str_l;

if (2 != ZEND_NUM_ARGS())
{
WRONG_PARAM_COUNT;
}

if (zend_parse_parameters(ZEND_NUM_ARGS() TSRMLS_CC, “ds”, &g, &srv_str, &srv_str_l) == FAILURE)
{
RETURN_FALSE;
}

group_id = (apr_int32_t) g;

if (-1 == is_validate_group(group_id))
{
RETURN_FALSE;
}

char *host, *scope;
apr_port_t port;

rv = apr_parse_addr_port(&host, &scope, &port, srv_str, p);
if (APR_SUCCESS == rv)
{
      // Create this server object
      apr_memcache_server_t *st;
      rv = apr_memcache_server_create(p, host, port, 0, 64, 1024, 600, &st);
      if (APR_SUCCESS == rv)
      {
         if (NULL == mc_groups[group_id])
         {
            RETURN_FALSE;
         }

// Add server
rv = apr_memcache_add_server(mc_groups[group_id], st);

         if (APR_SUCCESS == rv)
         {
            RETURN_TRUE;
         }
      }
}

RETURN_FALSE;
}

在set和del数据的时候，要循环所有的组：

CODE:

/**
* Store item into all groups
*/
PHP_FUNCTION(mc_set)
{
char *key, *value;
int key_l, value_l;
double ttl = 0;
double set_ct = 0;

if (2 != ZEND_NUM_ARGS())
{
WRONG_PARAM_COUNT;
}

if (zend_parse_parameters(ZEND_NUM_ARGS() TSRMLS_CC, “ss|d”, &key, &key_l, &value, &value_l, ttl) == FAILURE)
{
RETURN_FALSE;
}

// Write data into every object
apr_int32_t i = 0;
if (ttl < 0)
{
ttl = 0;
}

apr_status_t rv;

for (i = 0; i < MAX_GROUP; i++)
{
      if (0 == is_validate_group(i))
      {
         // Write it!
         rv = apr_memcache_add(mc_groups[i], key, value, value_l, (apr_uint32_t) ttl, 0);
         if (APR_SUCCESS == rv)
         {
            set_ct++;
         }
      }
}

RETURN_DOUBLE(set_ct);
}

在mc_get中，首先要随机选择一个组，然后从这个组开始轮询：

CODE:

/**
* Fetch a item from a random group
*/
PHP_FUNCTION(mc_get)
{
char *key, *value = NULL;
int key_l;
apr_size_t value_l;

if (1 != ZEND_NUM_ARGS())
{
WRONG_PARAM_COUNT;
}

if (zend_parse_parameters(ZEND_NUM_ARGS() TSRMLS_CC, “s”, &key, &key_l) == FAILURE)
{
RETURN_MULL();
}

// I will try …
// Random read
apr_int32_t curr_group_id = random_group();
apr_int32_t i = 0;
apr_int32_t try = 0;
apr_uint32_t flag;
apr_memcache_t *oper;
apr_status_t rv;

for (i = 0; i < MAX_GROUP; i++)
{
      try = i + curr_group_id;
      try = try % MAX_GROUP;
      if (0 == is_validate_group(try))
      {
         // Get a value
         oper = mc_groups[try];
         rv = apr_memcache_getp(mc_groups[try], p, (const char *) key, &value, &value_l, 0);
         if (APR_SUCCESS == rv)
         {
            RETURN_STRING(value, 1);
         }
      }
}

RETURN_FALSE;
}

CODE:

/**
* Random group id
* For mc_get()
*/
apr_int32_t random_group()
{
struct timeval tv;
struct timezone tz;
int usec;

gettimeofday(&tv, &tz);

usec = tv.tv_usec;

int curr = usec % count_group();

return (apr_int32_t) curr;
}

BSM_Memcache的使用方式和其它的client类似：

CODE:

<?php
$g1 = mc_add_group();    // 添加第一个组
$g2 = mc_add_group();    // 添加第二个组
mc_add_server($g1, ‘localhost:11211′);    // 在第一个组中添加第一台服务器
mc_add_server($g1, ‘localhost:11212′);    // 在第一个组中添加第二台服务器
mc_add_server($g2, ‘10.0.0.16:11211′);    // 在第二个组中添加第一台服务器
mc_add_server($g2, ‘10.0.0.17:11211′);    // 在第二个组中添加第二台服务器

mc_set(‘key’, ‘Hello’);    // 写入数据
$key = mc_get(‘key’);    // 读出数据
mc_del(‘key’);    // 删除数据
mc_shutdown();    // 关闭所有组
?>

APR_Memcache的相关资料可以在这里找到，BSM_Memcache可以在本站下载。

◎APR环境介绍

APR的全称：Apache Portable Runtime。它是Apache软件基金会创建并维持的一套跨平台的C语言库。它从Apache httpd1.x中抽取出来并独立于httpd之外，Apache httpd2.x就是建立在APR上。APR提供了很多方便的API接口可供使用，包括如内存池、字符串操作、网络、数组、hash表等实用的功能。开发 Apache2 Module要接触很多APR函数，当然APR可以独立安装独立使用，可以用来写自己的应用程序，不一定是Apache httpd的相关开发。

◎后记

这是我在农历丙戌年（我的本命年）的最后一篇文章，由于Memcached的内涵很多，仓促整理一定有很多遗漏和错误。感谢新浪网提供的研究机会，感谢部门同事的帮助。

转自：http://blog.developers.api.sina.com.cn/?p=124

Debian中文参考手册

老子黑牵翻 — Thu, 10 May 2012 12:23:07 +0000

最近在学习debian，在debian官网上找了一份非常详细的中文参考手册，在这里把地址分享给大家，我也会在学习中通过这个网站去找我需要的命令解决遇到的问题：
http://www.debian.org/doc/manuals/debian-reference/

mysql导出表的一个字段数据并去除重复数据

老子黑牵翻 — Wed, 09 May 2012 07:09:48 +0000

今天，公司让我把一个项目里面的数据库的某个表的一个字段导出来，而且不要重复的数据，后来找了一些方法，做了改进，现在把我实现这个操作的SQL语句分享给大家

select a into outfile '/tmp/abc.txt' LINES TERMINATED BY '\n' from tablename;
在这里：a是我们要查询的字段
/tmp/abc.txt是我们保存查询结果的目录和文件
tablename是我们要使用的表名

iptables 对每个IP进行限速

老子黑牵翻 — Mon, 07 May 2012 07:55:31 +0000

限制每个IP进入服务器的数据包：
iptables -A INPUT -s 服务器IP地址 -m limit –limit 200/s -j ACCEPT
iptables -A INPUT -s 192.168.1.100 -m limit –limit 200/s -j ACCEPT

限制每个客户从服务器下载的数据包：
iptables -A OUTPUT -s 服务器IP地址 -m limit –limit 200/s -j ACCEPT
iptables -A OUTPUT -s 192.168.1.100 -m limit –limit 200/s -j ACCEPT

这里的192.168.1.100是服务器的IP地址，大家可以根据自己的需要修改成自己的服务器的IP地址

mysql忘记密码从新设置

老子黑牵翻 — Sat, 05 May 2012 16:38:28 +0000

1、关闭mysql
service mysql stop

2、启动mysql不加载授权表
      /usr/local/mysql/bin/mysqld_safe --defaults-file=/etc/my.cnf --skip-grant-tables &
      这时进入mysql不需要密码
      #mysql -uroot
      mysql>use mysql;
      mysql>update user set Password=password('123456') where User='root';
      把mysql密码修改为123456

3、重启mysql
      service mysql restart
      用新密码进入mysql
      ＃mysql -uroot -p123456

巧用netstat——查看当前访问最多的IP

老子黑牵翻 — Sat, 05 May 2012 16:25:00 +0000

通过netstat查看当前访问服务器最多的IP,非常实用，现在分享给大家：
netstat -ntu | tail -n +3 | awk '{ print $5}' | cut -d : -f 1 | sort | uniq -c| sort -n -r | head -n 3
    awk '{ print $5}'：取netstat -ntu 出来值的第5列
   cut -d : -f 1 ：取netstat -ntu 出来值的第5列的IP地址
sort：对IP部分进行排序。
   uniq -c：打印每一重复行出现的次数。（并去掉重复行）
    sort -n -r：按照重复行出现的次序倒序排列。
    head -n 3：取排在前3位的IP 。

# netstat -ntu | tail -n +3|awk '{ print $5}' | cut -d : -f 1 | sort | uniq -c| sort -n -r | head -n 3
     21 127.0.0.1
     14 183.204.240.36
       5  120.33.53.133

打印出来的结果，红色显示次数，绿色显示的是IP地址

NGINX反向代理并将图片保存于缓存服务器

老子黑牵翻 — Sat, 05 May 2012 11:01:01 +0000

        今天，一个朋友叫我帮忙在LINUX下搭建同步工具，开始我是想用rsync的，但是具体了解了情况以后，我决定用NGINX的反向代理。我朋友有个网站www.keatv.com是放在国外的，他想让这个站的图片用国内的服务器（img.411c.com），如果单纯用NGINX的反向代理功能，用户每次访问这个站的时候，缓存服务器（这里就是img.411c.com所在的服务器）就会每次都去国外的站点上取出图片，这样反而会让图片打开的速度很慢，所以后来完善NGINX的反向代理，把访问过的图片都保存到缓存服务器上，这样第一次会比较慢，但以后用户访问图片的时候，都是从国内服务器上调用的，而不会再去国外服务器上了。在缓存服务器上具体NGINX的配置如下：
server {
        include /usr/local/nginx/conf/port.conf;
        server_name img.411c.com;

root /www/img.411c.com;

        location ~ .*\.(gif|jpg|jpeg|png|bmp|swf)$
        {
        expires       7d;
        root /data/www/img.411c.com;
        proxy_store on;
        proxy_store_access user:rw group:rw all:r;
        proxy_temp_path /www/img.411c.com;
        proxy_redirect          off;
        proxy_set_header        X-Real-IP $remote_addr;
        proxy_set_header        X-Forwarded-For $proxy_add_x_forwarded_for;
        client_max_body_size    10m;
        client_body_buffer_size 1280k;
        proxy_connect_timeout   900;
        proxy_send_timeout      900;
        proxy_read_timeout      900;
        proxy_buffer_size       40k;
        proxy_buffers           40 320k;
        proxy_busy_buffers_size 640k;
        proxy_temp_file_write_size 640k;
        if (!-e $request_filename)
                {
                proxy_pass http://img.keatv.com; #后端服务器ip地址或域名
                }
        }

        error_page   500 502 503 504 /50x.html;
        location = /50x.html {
            root   html;
        }

    log_format img.411c.comlog '$remote_addr - $remote_user [$time_local] "$request" '
              '$status $body_bytes_sent "$http_referer" '
              '"$http_user_agent" $http_x_forwarded_for';
    access_log logs/img.411c.com.log img.411c.comlog;
    }

设置完了，保存img.411c.com.conf文件，并重启NGINX，这样，img.411c.com就会在用户第一次访问www.keatv.com网站图片的时候自动去www.keatv.com的服务器上去抓去图片并保存到缓存服务器上了