wget是一个从网络上自动下载文件的自由工具,支持通过HTTP、HTTPS、FTP三个最常见的 下载,并可以使用HTTP代理。 wget命令的参数非常多,想要记住基本不可能,要用的时候直接RTFM吧
wget --mirror -w 2 --html-extension --convert-links -P /xxx/xxx/xxx http://...
利用上面的命令就可以在本地创建一个网站的镜像了。--mirror : 给网站建立本地镜像,wget会递归跟踪网站上 的链接,下载所有需要的文件。默认情况下,只会下载上次镜像操作后有更新的文件,以免做无用功。
--html-extension:很多网站使用非html的文件扩展名。这个选项将这些文件扩展名改为HTML
--convert-links:把页面上所有的链接转为本地链接,以免因为页面上有指向绝对URI的链接而导致页面无法使用。
-P /xxx/xxx/xxx:指定本地保存目录。
http://...:你要镜像的网址
下面是一些常用技巧
$ wget -r -np -nd http://example.com/packages/
这条命令可以下载 http://example.com 网站上 packages 目录中的所有文件。其中,-np
的作用是不遍历父目录,-nd
表示不在本机重新创建目录结构。
$ wget -r -np -nd --accept=iso http://example.com/centos-5/i386/
与上一条命令相似,但多加了一个 --accept=iso
选项,这指示 wget 仅下载 i386 目录中所有扩展名为 iso 的文件。你也可以指定多个扩展名,只需用逗号分隔即可。
$ wget -i filename.txt
此命令常用于批量下载的情形,把所有需要下载文件的地址放到 filename.txt 中,然后 wget 就会自动为你下载所有文件了。
$ wget -c http://example.com/really-big-file.iso
这里所指定的 -c
选项的作用为断点续传。
$ wget -m -k (-H) http://www.example.com/
该命令可用来镜像一个网站,wget 将对链接进行转换。如果网站中的图像是放在另外的站点,那么可以使用 -H
选项。