HTML
1、识别编码-减少乱码
2、ISO 10464-四字节，所以类型的字符
3、UTF-8-实现unicode，包含使用1个字节或3个字节来显示字符，中文使用三个字节
4、汉字编码
- GB2312-国标简体汉字6763-2字节
- BIG5-国标繁体汉字13053
- GBK-简繁字集21003
- GB18030-大一统字符集
5、识别编码
- content-type 如果是GB2312应该当做GBK处理
- 识别Meta标签
- 分析返回流的二进制格式
- 如果网页是gb2312，应该设置输入流的编码为GBK
- JuniversalCharDet 根据读入的字节流自动猜测页面或文件使用的字符集
6、网页去噪
- 去掉导航栏、底部的公司介绍、form/select/iframe/input/style等-敏感词监测爬虫不应该去掉
- 链接文字比率：链接数除以文字数
7、网页结构相似度计算
确定两个网页是否由同一个网页模板生成
- 从HTML编码字符串检测重复的模式
- 最长公共子序列
- 树编辑距离
