刚买了阿里云服务器,如果要部署爬虫,需要装哪些?( 服务器小白一枚 )

今天刚买了阿里云的服务器,是 Linux 系统

现在的需求是想把自己电脑上的爬虫功能部署到服务器上,然后定时爬取数据

所以想请教下,我需要装哪些?
我只知道要装 python,其它的就不太清楚

希望有大神能够指教一下
说的越详细越好。
我可以自己去找资料,然后看下怎么弄、

相关文章

14 thoughts on “刚买了阿里云服务器,如果要部署爬虫,需要装哪些?( 服务器小白一枚 )

  1. 一个爬虫脚本 xxx.py
    然后爬下来的数据放到哪里? — 可能需要 mysql 或者其他数据库
    然后定时任务调用脚本就行

    以后是否需要监控一类的,根据业务发展在看吧

  2. @cherbim 补充一点,一般需要 python3 和 pip3 就行(系统自带的 python2.7,你需要自己安装 python3 和程序依赖的库),其他的没啥了,你电脑上怎么用,服务器上就怎么用,毕竟 python 可以跨平台使用,对了,下载路径要改一下,改成 linux 格式的
    定时的话你需要了解一下 crontab

  3. @cccp2020 监控,暂时不加了,毕竟我是小白一枚,越简单越好。
    爬下来的数据,放到 mysql 库里面

  4. IP 长时间访问时有可能会被封的,跟敏不敏感数据没关系。有些可能会直接把云服务器的 IP 给封了,这情况你怎么处理,还有我估计你的云服务器也没多贵,你的容量估计不乐观,你考虑存储的问题吗?

发表评论

电子邮件地址不会被公开。 必填项已用*标注