Curl(命令行下载工具) v7.75.0官方版

CURL官方版是一个利用URL语法在命令行下工作的文件传输工具，支持下载FTP，HTT，HTTP，GOPHE，TELNET，DICT，FILE，LDAP等协议文件，上传HTTP POST，HTTP PUT，FTP uploading，HTTP form based upload，proxies，cookies。

CURL官方版简介

CURL是一个利用URL语法在命令行下工作的文件传输工具。它支持文件的上传和下载，所以是综合传输工具，但按传统，习惯称CURL为下载工具。Curl可下载FTP,HTT,HTTP,GOPHE,TELNET,DICT,FILE,LDAP等协议文件，还可以上传HTTP POST,HTTP PUT,FTP uploading,HTTP form based upload,proxies,cookies。

CURL官方版特色

（1）支持断点下传功能；这一点，也是网络蚂蚁和FlashGet当年最大的卖点，现在，Wget也可以使用此功能，那些网络不是太好的用户可以放心了；

（2）同时支持FTP和HTTP下载方式；尽管现在大部分软件可以使用HTTP方式下载，但是，有些时候，仍然需要使用FTP方式下载软件；

（3）支持代理服务器；对安全强度很高的系统而言，一般不会将自己的系统直接暴露在互联网上，所以，支持代理是下载软件必须有的功能；

（4）设置方便简单；可能，习惯图形界面的用户已经不是太习惯命令行了，但是，命令行在设置上其实有更多的优点，最少，鼠标可以少点很多次，也不要担心是否错点鼠标；

（5）程序小，完全免费；程序小可以考虑不计，因为现在的硬盘实在太大了；完全免费就不得不考虑了，即使网络上有很多所谓的免费软件，但是，这些软件的广告却不是我们喜欢的；

CURL官方版支持

cURL支持的通信协议有FTP、FTPS、HTTP、HTTPS、TFTP、SFTP、Gopher、SCP、Telnet、DICT、FILE、LDAP、LDAPS、IMAP、POP3、SMTP和RTSP。

curl还支持SSL认证、HTTP POST、HTTP PUT、FTP上传, HTTP form based upload、proxies、HTTP/2、cookies、用户名+密码认证(Basic, Plain, Digest, CRAM-MD5, NTLM, Negotiate and Kerberos)、file transfer resume、proxy tunneling。

CURL官方版安装教程

Windows下安装使用curl命令

根据自己的操作系统位数和是否需要SSL下载相应的版本。下载完成之后解压到需要使用curl命令的目录。这里为了方便我先直接解压到当前目录。

为了测试curl命令，我已经发布了一个带应用的本地服务器，并且可以在浏览器中访问：

打开命令窗口并定位到curl命令所在的目录，你可以使用cd命令也可以像下图这样快速进入：

测试curl命令

当然，可以给Windows增加curl命令的环境变量，增加CURL_HOME环境变量，给PATH环境变量加上%CURL_HOME%;

这样就可以在命令窗口的任意目录下使用curl命令了。

CURL官方版高级用法

常用参数如下：

-c，–cookie-jar：将cookie写入到文件

-b，–cookie：从文件中读取cookie

-C，–continue-at：断点续传

-d，–data：http post方式传送数据

-D，–dump-header：把header信息写入到文件

-F，–from：模拟http表达提交数据

-s，–slient：减少输出信息

-o，–output：将信息输出到文件

-O，–remote-name：按照服务器上的文件名，存在本地

–l，–head：仅返回头部信息

-u，–user[user:pass]：设置http认证用户和密码

-T，–upload-file：上传文件

-e，–referer：指定引用地址

-x，–proxy：指定代理服务器地址和端口

-w，–write-out：输出指定格式内容

–retry：重试次数

–connect-timeout：指定尝试连接的最大时间/s

使用示例：

例1：抓取页面到指定文件，如果有乱码可以使用iconv转码

# curl -o baidu.html www.baidu.com

# curl –s –o baidu.html www.baidu.com |iconv -f utf-8 #减少输出信息

例2：模拟浏览器头（user-agent）

# curl -A “Mozilla/4.0 (compatible;MSIE 6.0; Windows NT 5.0)” www.baidu.com

例3：处理重定向页面

# curl –L http://192.168.1.100/301.php #默认curl是不处理重定向

例4：模拟用户登陆，保存cookie信息到cookies.txt文件，再使用cookie登陆

# curl -c ./cookies.txt -F NAME=user -F PWD=***URL 本文所有的概念都可以从《Linux就该这么学》中找到详细的解释。#NAME和PWD是表单属性不同，每个网站基本都不同

# curl -b ./cookies.txt –o URL

例5：获取HTTP响应头headers

# curl -I http://www.baidu.com

# curl -D ./header.txt http://www.baidu.com #将headers保存到文件中

例6：访问HTTP认证页面

# curl –u user:pass URL

例7：通过ftp上传和下载文件

# curl -T filename ftp://user:pass@ip/docs #上传

# curl -O ftp://user:pass@ip/filename #下载

CURL官方版使用方法

1、获得一张页面

使用命令：curl http://curl.haxx.se

这是最简单的使用方法。用这个命令获得了http://curl.haxx.se指向的页面，同样，如果这里的URL指向的是一个文件或者一幅图都可以直接下载到本地。如果下载的是HTML文档，那么缺省的将不显示文件头部，即HTML文档的header。要全部显示，请加参数 -i，要只显示头部，用参数 -I。任何时候，可以使用 -v 命令看curl是怎样工作的，它向服务器发送的所有命令都会显示出来。为了断点续传，可以使用-r参数来指定传输范围。

2、表单（Form）的获取

在WEB页面设计中，form是很重要的元素。Form通常用来收集并向网站提交信息。提交信息的方法有两种，GET方法和POST方法。先讨论GET方法，例如在页面中有这样一段：

《form method=“GET” action=“junk.cgi”》

《input type=text name=“birthyear”》

《input type=submit name=press value=“OK”》

《/form》

那么浏览器上会出现一个文本框和一个标为“OK”的按钮。按下这个按钮，表单就用GET方法向服务器提交文本框的数据。例如原始页面是在www.hotmail.com/when/birth.html看到的，然后您在文本框中输入1905，然后按OK按钮，那么浏览器的URL现在应该是：“www.hotmail.com/when/junk.cgi？birthyear=1905&press=OK”

对于这种网页，curl可以直接处理，例如想获取上面的网页，只要输入：

curl “www.hotmail.com/when/junk.cgi？birthyear=1905&press=OK”

就可以了。

表单用来提交信息的第二种方法叫做POST方法，POST方法和GET方法的区别在于GET方法使用的时候，浏览器中会产生目标URL，而POST不会。类似GET，这里有一个网页：

《form method=“POST” action=“junk.cgi”》

《input type=text name=“birthyear”》

《input type=submit name=press value=“OK”》

《/form》

浏览器上也会出现一个文本框和一个标为“OK”的按钮。按下这个按钮，表单用POST方法向服务器提交数据。这时的URL是看不到的，因此需要使用特殊的方法来抓取这个页面：

curl -d “birthyear=1905&press=OK” www.hotmail.com/when/junk.cgi

这个命令就可以做到。

1995年年末，RFC 1867定义了一种新的POST方法，用来上传文件。主要用于把本地文件上传到服务器。此时页面是这样写的：

《form method=“POST” enctype=‘multipart/form-data’ action=“upload.cgi”》

《input type=file name=upload》

《input type=submit name=press value=“OK”》

《/form》

对于这种页面，curl的用法不同：

curl -F upload=@localfilename -F press=OK ［URL］

这个命令的实质是将本地的文件用POST上传到服务器。有关POST还有不少用法，用户可以自己摸索。

3、使用PUT方法。

HTTP协议文件上传的标准方法是使用PUT，此时curl命令使用-T参数：

curl -T uploadfile www.uploadhttp.com/receive.cgi

4、有关认证。

curl可以处理各种情况的认证页面，例如下载用户名/密码认证方式的页面（在IE中通常是出现一个输入用户名和密码的输入框）：

curl -u name:password www.secrets.com

如果网络是通过http服务器出去的，而服务器需要用户名和密码，那么输入：

curl -U proxyuser:proxypassword http://curl.haxx.se

任何需要输入用户名和密码的时候，只在参数中指定用户名而空着密码，curl可以交互式的让用户输入密码。

5、引用。

有些网络资源访问的时候必须经过另外一个网络地址跳转过去，这用术语来说是：referer，引用。对于这种地址的资源，curl也可以下载：

curl -e http://curl.haxx.se daniel.haxx.se

6、指定用户客户端。

有些网络资源首先需要判断用户使用的是什么浏览器，符合标准了才能够下载或者浏览。此时curl可以把自己“伪装”成任何其他浏览器：

curl -A “Mozilla/4.0 （compatible; MSIE 5.01; Windows NT 5.0）” ［URL］

这个指令表示curl伪装成了IE5.0，用户平台是Windows 2000。（对方服务器是根据这个字串来判断客户端的类型的，所以即使使用AIX也无所谓）。使用：

curl -A “Mozilla/4.73 ［en］ （X11; U; Linux 2.2.15 i686）” ［URL］

此时curl变成了Netscape，运行在PIII平台的Linux上了。

7、COOKIES

Cookie是服务器经常使用的一种记忆客户信息的方法。如果cookie被记录在了文件中，那么使用命令：

curl -b stored_cookies_in_file www.cookiesite.com

curl可以根据旧的cookie写出新cookie并发送到网站：

curl -b cookies.txt -c newcookies.txt www.cookiesite.com

8、加密的HTTP——HTTPS。

如果是通过OpenSSL加密的https协议传输的网页，curl可以直接访问：

curl https://that.secure.server.com

9、http认证。

如果是采用证书认证的http地址，证书在本地，那么curl这样使用：

curl -E mycert.pem https://that.secure.server.com