基于Logistic回归的资源访问模型的研究

基于Logistic回归的资源访问模型的研究

论文摘要

传统资源访问模型认为用户对于视频和商品资源的访问存在“二八效应”,但随着计算机互联网和信息科技的发展,访问人群出现分散化、视频和商品资源出现多样化,用户访问模式发生了改变,逐渐呈现出一种“长尾效应”。如何把握资源访问的规律,进而对视频和商品资源进行合理有效地资源配置和性能优化,是视频网络平台与网络购物平台面临的一个重大挑战。在此背景下,本文以视频与商品资源的访问模式研究对象,分析早期用户资源访问模型,首次提出采用数学统计模型Logistic对用户资源访问模式进行重新描述。通过分析Logistic回归模型,可以清晰地观察用户对视频和商品资源的访问规律,可以有效地分析视频和商品资源的“冷热程度”,进而对资源做出调整与配置,减少资源调度过程中的损耗,使网络资源得到合理有效地利用,同时也为资源的流行度研究也奠定了基础。本文的主要研究工作和研究成果如下:(1)分析传统的视频和商品资源访问模型(即Zipf模型)的相关研究信息,发现当前的资源访问模式很大程度上已经背离了Zipf分布,本文首次提出使用数学统计模型Logistic来进行重新描述。(2)对Youku视频和YouTube视频,采用多线程网络爬虫技术,结合深度优先策略和宽度优先策略两种方式进行数据采集;并使用梯度下降法和最小二乘法对采集整理的视频数据集进行Logistic数据拟合,发现当前的视频访问模式可以使用Logistic回归模型描述。(3)采用异步爬虫框架Scrapy框架,对京东商城平台进行多维度、多周期的数据采集,并使用梯度下降法和最小二乘法对采集整理的商品数据集进行Logistic数据拟合,发现用户对商品资源的访问规律同样符合Logistic回归模型分布。

论文目录

  • 摘要
  • ABSTRACT
  • 1 绪论
  •   1.1 研究背景及意义
  •   1.2 国内外研究现状
  •     1.2.1 视频资源访问模型研究现状
  •     1.2.2 商品资源访问模型研究现状
  •   1.3 论文研究内容
  •   1.4 论文组织结构
  • 2 相关理论与技术
  •   2.1 理论概述
  •     2.1.1 Zipf模型
  •     2.1.2 Logistic回归模型
  •   2.2 网络爬虫技术
  •     2.2.1 网络爬虫搜索策略
  •     2.2.2 网络爬虫实现
  • 3 基于Logistic回归模型的视频数据分析
  •   3.1 视频数据采集
  •     3.1.1 Youku视频数据采集
  •     3.1.2 YouTube视频数据采集
  •     3.1.3 视频数据采集问题及解决方案
  •   3.2 数据整理
  •   3.3 Logistic数据拟合
  •     3.3.1 梯度下降法数据拟合
  •     3.3.2 最小二乘法数据拟合
  •   3.4 Logistic数据拟合结果分析
  •   3.5 本章小结
  • 4 基于Logistic回归模型的商品数据分析
  •   4.1 商品数据采集
  •     4.1.1 商品数据采集思路及流程设计
  •     4.1.2 商品数据采集问题及解决方案
  •   4.2 Logistic数据拟合结果分析
  •   4.3 Logistic回归模型分析
  •   4.4 本章小结
  • 5 总结与展望
  • 参考文献
  • 致谢
  • 攻读学位期间的科研成果
  • 文章来源

    类型: 硕士论文

    作者: 马吉奥

    导师: 韩志杰

    关键词: 资源访问,模型,回归模型,数据拟合,梯度下降法,最小二乘法

    来源: 河南大学

    年度: 2019

    分类: 基础科学,经济与管理科学

    专业: 数学,企业经济

    单位: 河南大学

    分类号: F274;O212

    总页数: 66

    文件大小: 2655K

    下载量: 139

    相关论文文献

    • [1].图书馆新服务平台环境下电子资源访问故障研究及实践[J]. 图书情报工作 2020(06)
    • [2].图书馆数字资源访问量统计的设计与实现[J]. 农业图书情报学刊 2009(06)
    • [3].图书馆电子资源访问统计的研究[J]. 情报探索 2009(09)
    • [4].数字保存系统中数字资源访问质量标准框架[J]. 图书馆理论与实践 2008(01)
    • [5].基于SSL VPN远程资源访问应用研究[J]. 软件导刊 2012(10)
    • [6].网络处理器中解决资源访问冲突的新方法[J]. 计算机工程与设计 2008(12)
    • [7].图书馆电子资源访问流量统计和控制系统测评[J]. 四川图书馆学报 2016(03)
    • [8].图书馆数字资源访问监控系统的设计与实现[J]. 图书馆理论与实践 2016(07)
    • [9].电子资源访问管理与控制系统的设计及应用[J]. 图书情报工作 2010(01)
    • [10].资源访问敏感的P2P系统负载均衡[J]. 计算机工程与应用 2008(34)
    • [11].基于SharpPcap的图书馆数字资源访问统计系统设计与实现[J]. 图书馆工作与研究 2017(12)
    • [12].基于Shibboleth的在线实验平台多资源访问认证[J]. 计算机应用研究 2017(03)
    • [13].新一代图书馆服务平台下电子资源访问问题探析——基于Alma与Primo系统[J]. 图书馆学研究 2020(13)
    • [14].基于Web Service的高校统一资源访问平台的开发[J]. 信息化建设 2016(03)
    • [15].图书馆数字资源访问统计系统构建研究——基于OpenResty平台[J]. 图书馆工作与研究 2019(10)
    • [16].虚拟云技术在计算机实验室建设管理中的运用[J]. 通信电源技术 2017(02)
    • [17].基于JFreeChart的图书馆电子资源访问量的图表描述[J]. 福建电脑 2012(02)
    • [18].高校图书馆数字资源访问管理新举措[J]. 图书馆工作与研究 2012(08)
    • [19].基于MVC模式的资源访问代码的自动生成[J]. 沈阳工业大学学报 2010(04)
    • [20].专题导读[J]. 电信科学 2014(09)
    • [21].基于Sites Mirror构建高校图书馆数字资源访问平台[J]. 现代图书情报技术 2008(11)
    • [22].基于DW和OLAP技术的数字图书馆资源访问分析[J]. 现代情报 2009(11)
    • [23].多出口校园网中图书馆数字资源访问统一出口的方法[J]. 图书馆学研究 2019(15)
    • [24].支持SRP协议的实时调度技术[J]. 计算机系统应用 2016(02)
    • [25].一种基于MDS4的资源访问解决方案[J]. 计算机技术与发展 2010(07)
    • [26].澳大利亚高校图书馆校友服务调查分析[J]. 图书馆建设 2017(09)
    • [27].高校电子资源访问管理控制系统的设计和应用[J]. 计算机应用研究 2011(03)
    • [28].解读开放银行的身份和访问管理[J]. 金融电子化 2020(05)
    • [29].传统图书馆的局限性和未来发展方向[J]. 科技情报开发与经济 2010(12)
    • [30].让Windows 10资源访问更快些[J]. 电脑爱好者 2015(24)

    标签:;  ;  ;  ;  ;  ;  

    基于Logistic回归的资源访问模型的研究
    下载Doc文档

    猜你喜欢