一个基于webmagic框架二次开发的java爬虫框架实战,已实现能爬取腾讯,搜狐,今日头条(单独集成功能)等资讯内容,配合elasticsearch框架用法,实现了自动爬虫,已投入线上生产使用。
语言:Java · GitHub 星标:339 · Fork:148
话题:elasticsearch · scraper · spider · webmagic
在 GitHub 上查看原仓库