最近刚刚接触linux服务器，但是苦于不能直接在服务器上下载数据集，迟迟没能在服务器上跑自己的程序。我查了一些用wget，还有kaggle自己的API的方法，但是或许是我太菜了，老是做不成。直到我看到 这篇博客，我才发现这是一件非常容易的事情。


https://www.kaggle.com/c/avito-context-ad-clicks/data

kaggle上面链接的数据，直接用wget命令是下载不了的。

wget https://www.kaggle.com/c/avito-context-ad-clicks/data命令会被拒绝。

http://askubuntu.com/questions/161778/how-do-i-use-wget-curl-to-download-from-a-site-i-am-logged-into该博客上讲述了各种解决方案，其实最关键的还是要cookie.txt.

 

解决方案用curl命令下载该文件。

chrome 可以生成curl命令：

步骤：

比如要下载：Userinfo.tsv文件


第一步：到该下载按钮下，右键点击检查。切换到Network选项。


第二步：点击该下载按钮，chrome就会自动帮我们监控。


出现了两个UserInfo.tsv.7z

第三步：右键点击Copyan cURL.(bash)


然后将该命令复制到ubuntu上执行，就可以下载文件了

curl 'https://kaggle2.blob.core.windows.net/competitions-data/kaggle/4438/UserInfo.tsv.7z?sv=2012-02-12&se=2015-12-10T16%3A26%3A05Z&sr=b&sp=r&sig=olOI7lwDgKKXFFYmpYXalphxKjFfDa5uQ5w7rIcMQGo%3D'-H 'Accept-Encoding: gzip, deflate, sdch' -H 'Accept-Language: zh-CN,zh;q=0.8'-H 'Upgrade-Insecure-Requests: 1' -H 'User-Agent: Mozilla/5.0 (Windows NT 6.1;WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.73Safari/537.36' -H 'Accept:text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8' -H'Referer: https://www.kaggle.com/c/avito-context-ad-clicks/data' -H'Connection: keep-alive' --compressed

默认是输出到标准输出的

curl'https://kaggle2.blob.core.windows.net/competitions-data/kaggle/4438/UserInfo.tsv.7z?sv=2012-02-12&se=2015-12-10T16%3A26%3A05Z&sr=b&sp=r&sig=olOI7lwDgKKXFFYmpYXalphxKjFfDa5uQ5w7rIcMQGo%3D'-H 'Accept-Encoding: gzip, deflate, sdch' -H 'Accept-Language: zh-CN,zh;q=0.8'-H 'Upgrade-Insecure-Requests: 1' -H 'User-Agent: Mozilla/5.0 (Windows NT 6.1;WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.73Safari/537.36' -H 'Accept:text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8' -H'Referer: https://www.kaggle.com/c/avito-context-ad-clicks/data' -H'Connection: keep-alive' --compressed -o 1.7z 重定向到1.7z

# linux
Logo
Linux

更多推荐

网卡速率和双工模式的配置

http://linux.chinaitlab.com/system/792187.html1、mii-tool 配置网络设备协商方式的工具；    1.1 mii-tool 介绍；    mii-tool - view, manipulate media-independent interface status （mii-tool 是查看，管理介质的网络接口的状态）

avatar Linux

Linux虚拟文件系统之文件系统卸载（sys_umount())

Linux中卸载文件系统由umount系统调用实现，入口函数为sys_umount()。较于文件系统的安装较为简单，下面是具体的实现。1. /*sys_umont系统调用*/2. SYSCALL_DEFINE2(umount, char __user *, name, int, flags)3. {4.struct path path;

avatar Linux

Linux系统下超级终端Minicom的使用方法（例如：连接交换机，路由器等）转http://baike.baidu.com/view/2911642.htm?fr=ala0_1

<br />　　Linux系统下超级终端Minicom的使用方法 <br />　　Linux下的Minicom的功能与下的超级终端功能相似，适于在通过超级终端对设备的管理以及对嵌入操作系统的升级，现写出Minicom的使用手册： <br />　　1． 启动minicom <br />　　以root权限登录系统 <br />　　使用命令 <br />　　minicom –s 则minicom启动，屏

avatar Linux