配置调整方法、装置及电子设备转让专利
申请号 : CN202011490331.X
文献号 : CN112751912B
文献日 : 2021-12-03
发明人 : 吴璟
申请人 : 北京金山云网络技术有限公司
摘要 :
权利要求 :
1.一种配置调整方法,其特征在于,应用于节点服务器,所述方法包括:从访问请求中获取待访问数据的回源配置;其中,所述回源配置用于指示获取所述待访问数据的地址;
如果所述待访问数据为预设的热点数据,且所述回源配置指示优先从外部设备获取所述待访问数据,调整所述待访问数据的回源配置,以使所述回源配置指示优先从本地设备获取所述待访问数据。
2.根据权利要求1所述的配置调整方法,其特征在于,所述节点服务器上运行有反向代理服务,所述反向代理服务用于根据预设的配置策略计算获取所述待访问数据的地址;
所述调整所述待访问数据的回源配置,以使所述回源配置指示优先从本地设备获取所述待访问数据的步骤,包括:
调整所述配置策略,以使所述反向代理服务根据调整后的配置策略计算得到获取所述待访问数据的地址为本地。
3.根据权利要求1所述的配置调整方法,其特征在于,在所述从访问请求中获取待访问数据的回源配置的步骤之前,所述方法还包括:监测所述节点服务器的预设系统性能参数的参数值;其中,所述系统性能参数用于指示所述节点服务器的系统消耗情况;
如果监测到所述系统性能参数的参数值超过预设参数阈值,触发执行所述从访问请求中获取待访问数据的回源配置,如果所述待访问数据为预设的热点数据,且所述回源配置指示优先从外部设备获取所述待访问数据,调整所述待访问数据的回源配置,以使所述回源配置指示优先从本地设备获取所述待访问数据的步骤。
4.根据权利要求3所述的配置调整方法,其特征在于,所述系统性能参数包括CPU占用率和首包响应时间中的至少一个。
5.根据权利要求1所述的配置调整方法,其特征在于,通过下述方式判断所述待访问数据是否为预设的热点数据:
监测所述待访问数据的访问频率,如果所述访问频率达到预设的频率阈值,确定所述待访问数据为预设的热点数据。
6.一种配置调整装置,其特征在于,应用于节点服务器,所述装置包括:回源配置获取模块,用于从访问请求中获取待访问数据的回源配置;其中,所述回源配置用于指示获取所述待访问数据的地址;
回源配置调整模块,用于如果所述待访问数据为预设的热点数据,且所述回源配置指示优先从外部设备获取所述待访问数据,调整所述待访问数据的回源配置,以使所述回源配置指示优先从本地设备获取所述待访问数据。
7.根据权利要求6所述的配置调整装置,其特征在于,所述节点服务器上运行有反向代理服务,所述反向代理服务用于根据预设的配置策略计算获取所述待访问数据的地址;
所述回源配置调整模块还用于:
调整所述配置策略,以使所述反向代理服务根据调整后的配置策略计算得到获取所述待访问数据的地址为本地。
8.根据权利要求6所述的配置调整装置,其特征在于,所述装置还包括:系统性能参数监测模块,用于监测所述节点服务器的预设系统性能参数的参数值;其中,所述系统性能参数用于指示所述节点服务器的系统消耗情况;
配置调整触发模块,用于如果监测到所述系统性能参数的参数值超过预设参数阈值,触发执行所述从访问请求中获取待访问数据的回源配置,如果所述待访问数据为预设的热点数据,且所述回源配置指示优先从外部设备获取所述待访问数据,调整所述待访问数据的回源配置,以使所述回源配置指示优先从本地设备获取所述待访问数据的步骤。
9.一种电子设备,其特征在于,所述电子设备包括处理器和存储器,所述存储器存储有能够被所述处理器执行的计算机可执行指令,所述处理器执行所述计算机可执行指令以实现权利要求1至5任一项所述的配置调整方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令在被处理器调用和执行时,计算机可执行指令促使处理器实现权利要求1至5任一项所述的配置调整方法。
说明书 :
配置调整方法、装置及电子设备
技术领域
背景技术
求时,对非热点资源是通过一致性哈希算法,选择节点里的某一台高速缓存设备(cache)回
源和缓存,而对热点资源会随机哈希到多台高速缓存设备上回源,以避免因热点资源的巨
大访问量而造成对单台高速缓存设备的较大压力。
CPU、网卡、内存的压力也没有减少。因而,当同时存在多个热点资源时,常造成节点服务器
压力大,从而影响服务质量。
发明内容
据的地址;如果该待访问数据为预设的热点数据,且该回源配置指示优先从外部设备获取
该待访问数据,调整该待访问数据的回源配置,以使该回源配置指示优先从本地设备获取
该待访问数据。
源配置,以使该回源配置指示优先从本地设备获取该待访问数据的步骤,包括:调整该配置
策略,以使该反向代理服务根据调整后的配置策略计算得到获取该待访问数据的地址为本
地。
参数用于指示该节点服务器的系统消耗情况;如果监测到该系统性能参数的参数值超过预
设参数阈值,触发执行上述从访问请求中获取待访问数据的回源配置,如果该待访问数据
为预设的热点数据,且该回源配置指示优先从外部设备获取该待访问数据,调整该待访问
数据的回源配置,以使该回源配置指示优先从本地设备获取该待访问数据的步骤。
据为预设的热点数据。
置用于指示获取该待访问数据的地址;回源配置调整模块,用于如果该待访问数据为预设
的热点数据,且该回源配置指示优先从外部设备获取该待访问数据,调整该待访问数据的
回源配置,以使该回源配置指示优先从本地设备获取该待访问数据。
于:调整该配置策略,以使该反向代理服务根据调整后的配置策略计算得到获取该待访问
数据的地址为本地。
的系统消耗情况;配置调整触发模块,用于如果监测到该系统性能参数的参数值超过预设
参数阈值,触发执行该从访问请求中获取待访问数据的回源配置,如果该待访问数据为预
设的热点数据,且该回源配置指示优先从外部设备获取该待访问数据,调整该待访问数据
的回源配置,以使该回源配置指示优先从本地设备获取该待访问数据的步骤。
执行指令以实现上述配置调整方法。
执行指令促使处理器实现上述配置调整方法。
访问数据为预设的热点数据,且该回源配置指示优先从外部设备获取该待访问数据,调整
该待访问数据的回源配置,以使该回源配置指示优先从本地设备获取该待访问数据。该方
式中,节点服务器在接收到热点数据的访问请求时,通过调整热点数据的回源配置,优先从
本地设备获取该热点数据,从而将热点数据缓存到本地设备,在该节点服务器后续再接收
到该热点数据的访问请求时,可以直接从本地读取已经缓存的热点数据,而不需要跨机器
从其他外部设备上获取该热点数据,从而缓解因热点数据访问造成的节点服务资源(如网
络带宽、CPU和内存等)的消耗压力,提升节点服务器的服务质量。
附图说明
附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前
提下,还可以根据这些附图获得其他的附图。
具体实施方式
全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提
下所获得的所有其他实施例,都属于本发明保护的范围。
近的节点,节点中CDN服务器会像网站的原始服务器一样,响应用户的请求,由于它离用户
更近,因而响应时间必然更快。其中,智能调度DNS是CDN服务中的关键系统,当用户访问加
入CDN服务的网站时,域名解析请求将最终由智能调度DNS负责处理,它通过一组预先定义
好的策略,将当时最接近用户的节点地址提供给用户,使用户可以得到快速的服务。同时,
它还需要与分布在各地的CDN节点保持通信,跟踪各节点的健康状态,容量等,确保将用户
的请求分配到就近可用的节点上。
上层节点和源站之间的交互为可选流程,其中,如果在边缘节点中命中缓存,则此次访问不
涉及边缘节点与其他节点之间的交互(即不会经过图1中虚线部分的流程)。
Server,LVS)通信连接,在实际操作中,用户的访问请求通过LVS发送到各个代理服务器
Nginx,并由Nginx提供负载均衡服务,将访问请求分发到Cache缓存中,以响应访问请求。
主要是汇聚中层节点回源请求,不直接服务于网民,个数相对最少。
种配置调整方法、装置及电子设备,该技术可以应用于节点服务器对访问请求进行回源配
置的应用场景中。为便于对本实施例进行理解,首先对本发明实施例所公开的一种配置调
整方法进行详细介绍。
回源,只有当用户向CDN服务器请求资源而资源不存在或者已过期,才会向源站请求资源。
文件,其反应出一种回源策略,例如:40%—>IPA,60%—>IPB,在该示例的回源策略中,配置
了回源地址的不同权重,其中,从地址IPA获取该待访问数据的权重占40%,从地址IPB获取
该待访问数据的权重占60%。其中,地址IPA、地址IPB可以是本地IP地址,也可以是外网IP地
址。
设备获取该待访问数据。
为100次/秒,则当监测到待访问数据的访问频率达到100次/秒时,确定该待访问数据为热
点数据。
整该待访问数据的回源配置,以使该回源配置指示优先从本地设备获取该待访问数据。
过调整该反向代理服务的配置策略,以使该反向代理服务根据调整后的配置策略计算得到
获取该待访问数据的地址为本地。
务上反向代理服务的配置策略,使得该反向代理服务根据调整后的配置策略计算得到获取
该待访问数据的地址为本地,也即:100%—>IPA;或者使得从本地设备获取该待访问数据
的权重更大,例如在配置策略调整后,计算得到访问地址的权重调整为:80%—>IPA,
20%—>IPB,从而优先从本地设备获取该待访问数据。
针对热点数据的访问请求时,始终从本地设备获取该热点数据。
到本地设备,在该节点服务器后续再接收到该热点数据的访问请求时,可以直接从本地读
取已经缓存的热点数据,而不需要跨机器从其他外部设备上获取该热点数据,从而缓解因
热点数据访问造成的节点服务资源(如网络带宽、CPU和内存等)的消耗压力,提升节点服务
器的服务质量。
热点数据,且该回源配置指示优先从外部设备获取该待访问数据,调整该待访问数据的回
源配置,以使该回源配置指示优先从本地设备获取该待访问数据。该方式可以有效缓解节
点服务器因热点资源造成的网络带宽消耗大、CPU占用过高的问题。
存储空间为代价,换取对系统服务性能的提升。但是,在实际某些场景下,如果存储空间相
对并不宽裕,则需要平衡存储空间和系统服务性能之间的“转换”。为此,本实施例介绍了另
一种配置调整方法,以提高配置的灵活性。
否超过预设参数阈值。此时,触发执行步骤S406和S408,也即,触发对热点数据的回源配置
调整。具体地,首先从接收到的访问请求中获取待访问数据的回源配置,根据该回源配置确
定是否优先从外部设备获取该待访问数据,如果是,且该待访问数据为预设的热点数据,则
调整该待访问数据的回源配置,以使该回源配置指示优先从本地设备获取该待访问数据。
设备获取该待访问数据。
服务器,也即图中LVS(Linux Virtual Server,Linux虚拟服务器),以及三台缓存服务器,
其中,每台缓存服务器上运行有反向代理服务(nginx)和缓存服务(cache),用户的访问请
求由LVS分流到各个反向代理服务,由反向代理服务根据缓存策略判断具体存储到哪台缓
存服务器上。
代表的由实际网络通信造成的系统资源(如CPU、内存、响应时间)消耗,远大于实线代表的
本机直接访问造成的消耗。
cache2/cache3,res3‑>cache1/cache2,这样,每个热点资源都存储到两台缓存设备上,从
而对单台缓存设备的访问压力减小一半。按照现有的访问方式,如果nginx1需要访问res1/
res2/res3这三个资源,仍旧需要nginx1‑>cache3,nginx1‑>cache2,nginx1‑>cache1三条
网络路径,可见,虽然单台缓存设备的访问压力减小了,但是该CDN节点的服务处理总量并
没有减少,因此,在流量高峰期间,nginx1所在机器的资源消耗仍然十分巨大。
nginx的回源优先级,优先本地缓存或配置本地缓存高优先级,例如,当nginx1接收到针对
res1、res2和res3的访问请求时,调整回源配置为优先从本地设备获取数据,从而将res1、
res2和res3缓存到本地,同理,nginx2和nginx3也通过调整上述热点资源的回源配置,将
res1、res2和res3缓存到本地,从而将存储位置转换为res1/res2/res3‑>cache1/cache2/
cache3。这样,后续针对上述三个热点资源进行访问时,都将从本地读取该热点资源数据。
置包括彼此连接的回源配置获取模块61和回源配置调整模块62,其中,各个模块的功能如
下:
指示优先从本地设备获取该待访问数据。
还用于:调整该配置策略,以使该反向代理服务根据调整后的配置策略计算得到获取该待
访问数据的地址为本地。
器的系统消耗情况;配置调整触发模块,用于如果监测到该系统性能参数的参数值超过预
设参数阈值,触发执行该从访问请求中获取待访问数据的回源配置,如果该待访问数据为
预设的热点数据,且该回源配置指示优先从外部设备获取该待访问数据,调整该待访问数
据的回源配置,以使该回源配置指示优先从本地设备获取该待访问数据的步骤。
数据。
调整方法实施例中相应内容。
机器可执行指令,该处理器71执行该机器可执行指令以实现上述配置调整方法。
少一个通信接口74(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通
信连接,可以使用互联网,广域网,本地网,城域网等。总线可以是ISA总线、PCI总线或EISA
总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图7中仅用一个
双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
处理器71可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络
处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal
Processing,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称
ASIC)、现成可编程门阵列(Field‑Programmable Gate Array,简称FPGA)或者其他可编程
逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中
的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任
何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理
器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随
机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本
领域成熟的存储介质中。该存储介质位于存储器,处理器71读取存储器72中的信息,结合其
硬件完成前述实施例的配置调整方法的步骤。
实现上述配置调整方法,具体实现可参见前述方法实施例,在此不再赘述。
面方法实施例中所述的配置调整方法,具体实现可参见方法实施例,在此不再赘述。
的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件
产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得
一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所
述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read‑
Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以
存储程序代码的介质。
以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是
两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本
发明中的具体含义。
便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、
以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、
“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员
在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻
易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使
相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护
范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。