抓取某科研机构一定的水稻数据。对数据进行存储、解析。爬取难点:该科研机构网页中嵌入了图片格式的数据,替代html文本。需要采用图形识别算法对图片格式的数据进行解析识别,再重新上传到数据库,避免数据污染。对于非结构化数据,采用Mongodb存储。技术栈:playwright+mysql+mongodb+orc文字识别
评论