网站优化之页面抓取过程分析

来源：网站建设行业资讯网
添加时间：2021-12-16

url，即统一资源定位符，通过对url的分析，我们可以更好地理解页面抓取过程。下面深圳网站建设科技小编就来和大家分享下网站在优化过程中是如何抓取页面信息的。

一、url是什么意思?

URL，英文全称为“uniformresourcelocator”，中文译为“统一资源定位符”。

在网站优化中要求每一个页面有且仅有一个唯一的统一资源定位符(URL)，但往往很多网站同一页面对应了很多个URL，如果都被搜索引擎收录且未做URL转向，就会产生权重不集中的情况，通常称为URL不规范。

二、url的组成

统一资源定位符(URL)，由三部分组成：协议方案、主机名和资源名。

例如：

https://www.x**.org/11806

其中https为协议方案，www.***.org为主机名，11806为资源，不过这个资源不太明显，一般资源后缀为.html，当然还可以是.pdf、.php、.word等格式。

三、页面抓取过程简述

无论是我们平时用的互联网浏览器，还是网络爬虫，虽然是两种不同的客户端，但获取页面的方式却是相同的。页面抓取过程如下：

①连接DNS域名系统服务器

客户端都会先连接到DNS域名服务器上，DNS服务器将主机名(www.***.org)转换为IP地址，并反馈给客户端。

PS：本来我们通过111.152.151.45的地址来访问某网站，为了方便记忆和使用，才利用DNS域名系统转换为了www.***.org。这也就是DNS域名系统的作用。

②连接IP地址服务器

该IP服务器下可能会有很多程序(网站)，可以通过端口号来做区分，同时每个程序(网站)都会监听端口是否有新的连接请求，HTTP网站默认为80，HTTPS网站默认为443。

不过通常情况下，端口号80和443是默认不出现的。

举例来讲：

https://www.***.org:443/=https://www.***.org/

http://www.***.org:80/=http://www.***.org/

③建立连接并发送页面请求

客户端与服务器建立连接后，会发送页面请求，通常为get，也可以是post。

get11806HTTPS/1.0

获取HTTPS协议下的页面11806返回给客户端。之后如需继续获取更多页面，则发送其他请求，否则将关闭该连接。

PS：通常情况下，/seo/11806.html可能会更清晰。也就是发送https://www.***.org/下的seo文件夹下的11806.html的页面请求。

以上就是今天科技小编和大家分享的内容，谢谢大家的阅读！