搜旺小说

第17章 爬虫(第1页)

天才一秒记住【搜旺小说】地址:https://www.souwangzhi.com

“接下来,就是试试获取小说的内容了。”

接下来,他开始编写程序以获取小说的详细信息和内容。

由于小说内容比较庞大,他决定把获取内容的频率放低。

毕竟是在奶茶店,店里面还有不少的人在使用着店里面提供的wifi。

如果他瞬时间向服务器的请求量过大,其他人的网络,基本上就会陷入瘫痪的状态。

他现在只是手痒痒了,想试试手,真正要爬取到足够多的小说数据,至少需要好几天的时间。

“接下来,就是见证奇迹的时刻。”

他开始启动他的爬虫程序,程序开始在小说网站上爬取小说的内容。

无数本小说的内容文字一闪而过,便进入了数据库之中。

“哟,还有点意思。”

他发现,在爬取的过程中,点娘小说网站的反爬虫机制还算是不错,他的爬虫程序很快就被封禁了。

针对ip的。

不过,他快速升级了他的爬虫程序,加入了无数的ip池,以及强大的识别验证码能力,使其更难被网站检测到。

“咦,看来我这掌握的五级信息技术,比我想象之中的要强!”

经过一番小小的折腾,点娘都市小说分类下的数百万本小说,全部进入了他的数据库里面。

“最强的点娘的反爬虫机制也不过如此。

看来获取数据集的过程,会比我想象的简单不少。

“”

那现在就是时间的问题了,等我爬取到足够多的小说数据集,就可以开始训练我的写小说ai模型了!”

他心中充满了自信。

现在,就让小说模型先跑着吧。

今天是周末,奶茶店的人比往常多上不少,等到了快要歇业的时间里,铺子里还有不少的人。

林小玲没办法,只好延长了奶茶店的营业时间。

本章未完,请点击下一章继续阅读!若浏览器显示没有新章节了,请尝试点击右上角↗️或右下角↘️的菜单,退出阅读模式即可,谢谢!

如遇章节错误,请点击报错(无需登陆)

新书推荐

恐怖女主播慕少,你老婆又重生了大小姐她总是不求上进我家老婆是娇气包大魏霸主属性无限暴涨,我横压多元我能升级地球麻衣道祖在异界开医院没有那么难吧末世她靠百亿物资拯救全球老祖她靠快穿修仙成神绝世唐门我在决斗都市玩卡牌玄天武帝铁血残明之南洋崛起从锁龙井开始无限模拟无敌战斗力系统武侠仙侠世界里的道人绝色魔妃倾天下朱雀记异界瞬发法神斗罗之龙凤斗罗民国谍影从吞噬开始氪金成神这个人仙太过正经