问问有什么源码能做爬虫云端数据处理吗

我现在需要写一个软件进行爬虫 商品的价格和名字和介绍
为了数据的准确性 我要对商品的UID在云端检查是否入库
然后在进行采集商品信息入库云端 并入库UID
然后对数据进行数据分析不知道有什么源码能有这种功能并能提供api方便对接
llmwxt 2020-11-21 18:24

帮顶,这个要采集大佬们接单了!

做只小母鸡 2020-11-21 18:24

主要还是能方便我云端去重 我也不知道该称呼这些功能类型的源码叫啥..只能问问各位大佬了

做只小母鸡 2020-11-21 18:24

软件我会写但是网页云端去重的我不会 但是想要做云端来对商品UID去重入库 不知道有没有这种类型源码

斌斌 2020-11-21 18:24

这不是easy

中国银行 2020-11-21 18:24

帮顶 ,业务范围之外,哈哈哈哈哈

tir 2020-11-21 18:24

这个有点难度,加钱!

做只小母鸡 2020-11-21 18:24

tir 发表于 2020-11-20 17:42
这个有点难度,加钱!

我要采集的数据也就撑死也就十来万条不至于吧

Ticifer 2020-11-21 18:24

都会写软件了,利用软件的语言写个去重就好了
需求还应该细致,加钱

橡树叶 2020-11-21 18:24

有开发能力的话自己去重呗。找别人写,别人问你要需求问着问着你自己也懂了该怎么处理,这不就很尴尬了

xcpan710 2020-11-21 18:24

连数据库呗

tkn 2020-11-21 18:24

去重,手写一个分布式布隆过滤器,提供一个API调用,不就是云端去重了吗

相关文章

发表评论

电子邮件地址不会被公开。 必填项已用*标注