Print

一种高效的分布式爬虫系统负载均衡策略

论文摘要

传统分布式爬虫系统负载均衡方法仅考虑少量的负载影响因素,未对各爬虫节点负载情况进行全面有效的评估,使得任务量的分配不合理。针对该问题,提出一种面向分布式爬虫系统的高效负载均衡策略。分析影响爬虫节点运行时间的因素,采用BP神经网络构建基于多影响因素的非线性分布式爬虫节点运行时间模型。以该模型预测的各子节点运行时间的最小方差为负载均衡策略的目标函数,并利用带约束条件的改进粒子群优化算法求解目标函数,确定负载均衡的任务分配方案。实验结果表明,该负载均衡策略在满足爬虫节点高性能要求的前提下,能有效缩短分布式爬虫系统的运行时间。

论文目录

  • 0 概述
  • 1 分布式爬虫系统设计
  • 2 负载均衡策略
  •   2.1 负载影响参数
  •   2.2 运行时间预测模型
  •   2.3 目标函数
  •   2.4 参数计算
  • 3 实验结果与分析
  •   3.1 节点负载参数测试
  •   3.2 负载均衡策略测试
  • 4 结束语

    • 文章来源

    类型: 期刊论文

    作者: 张树涛,谭海波,陈良锋,吕波

    关键词: 分布式爬虫,负载均衡,预测模型,粒子群优化算法,约束条件

    来源: 计算机工程 2019年11期

    年度: 2019

    分类: 信息科技

    专业: 计算机软件及计算机应用

    单位: 中国科学院合肥物质科学研究院,中国科学技术大学研究生院

    基金: 安徽省科技重大专项“基于大数据的中小微企业精准智力服务平台”(711245801052)

    分类号: TP391.3

    DOI: 10.19678/j.issn.1000-3428.0053439

    页码: 62-67

    总页数: 6

    文件大小: 666K

    下载量: 450

    相关论文文献

    本文来源: https://www.lunwen66.cn/article/69da1dc103949229637e25e6.html