非齐次马氏信源的信息熵定理及Rényi熵估计

非齐次马氏信源的信息熵定理及Rényi熵估计

论文摘要

熵的概念最初源自于热力学,随后进一步发展到统计物理与信息论等学科。在热力学、统计物理和信息论等学科领域里,熵的概念占据着一个中心位置。Shannon熵的理论体系已经比较完善,Rényi熵是Shannon熵的一个自然的推广,并且已在计算机科学、金融学、密码学和信息论等其它科学中获得了广泛的应用。本文主要研究关于Shannon熵和Rényi熵的非齐次马氏信源的信息熵定理及Rényi熵估计。基于Shannon熵和Rényi熵的基本概念,较详细地讨论了各种条件Rényi熵的定义,并且举例比较它们之间的关系。利用研究概率论极限理论的分析方法,研究了一类非齐次马氏信源--有限渐近循环马氏链的广义Shannon McMillan-Breiman定理、Rényi熵率,最后利用蒙特卡洛方法给出了Rényi熵的估计。全文分为五个章节:第一章简要阐述了熵的发展背景及应用;第二章归纳了多种Rényi条件熵的定义和基本性质并举例比较了它们之间的关系;第三章给出了有限渐近循环马氏链的广义平均的若干极限定理,然后建立关于有限渐近循环马氏链广义Shannon McMillan-Breiman定理;第四章研究非齐次马氏链的Rényi熵率,得出渐近循环马氏链的Rényi熵率的表达式;第五章简单讨论了Rényi熵的非参数估计。

论文目录

  • 摘要
  • Abstract
  • 第一章 绪论
  •   1.1 熵
  •   1.2 研究背景及问题的提出
  •   1.3 本文主要结构及内容
  •   1.4 本文的主要创新点
  • 第二章 Shannon熵与Rényi熵
  •   2.1 Shannon熵的基本概念与性质
  •   2.2 Rényi熵及Rényi条件熵
  • 第三章 渐进循环马氏链的强极限定理与广义信息熵定理
  •   3.1 基本概念
  •   3.2 主要结果
  • 第四章 非齐次马氏链的Rényi熵率
  •   4.1 基本概念
  •   4.2 主要结果
  • 第五章 Rényi熵的估计
  •   5.1 蒙特卡洛方法介绍
  •   5.2 正态分布Rényi熵的模拟计算
  •   5.3 伽马分布Rényi熵的模拟计算
  • 结束语
  • 参考文献
  • 附录
  • 致谢
  • 在学研究成果
  • 文章来源

    类型: 硕士论文

    作者: 张大彬

    导师: 汪忠志

    关键词: 条件熵,广义熵,熵率,非参数估计

    来源: 安徽工业大学

    年度: 2019

    分类: 基础科学

    专业: 数学,物理学

    单位: 安徽工业大学

    分类号: O211;O414.11

    DOI: 10.27790/d.cnki.gahgy.2019.000062

    总页数: 59

    文件大小: 3155K

    下载量: 25

    相关论文文献

    • [1].基于灰色马氏链模型的农村居民消费水平预测[J]. 平顶山学院学报 2020(05)
    • [2].三叉树上分支马氏链的等价性质[J]. 数学的实践与认识 2016(21)
    • [3].树指标马氏链的一个强极限定理[J]. 数学的实践与认识 2017(06)
    • [4].关于可列马氏链状态出现频率延迟平均的强大数定律[J]. 经济数学 2017(01)
    • [5].N叉树上分支马氏链的等价性质[J]. 青海大学学报 2017(03)
    • [6].二叉树上分支马氏链的性质[J]. 青海师范大学学报(自然科学版) 2017(02)
    • [7].多重随机环境中马氏链及其强大数定律[J]. 浙江大学学报(理学版) 2017(04)
    • [8].二叉树分枝马氏链的强大数定律和Shannon-McMillan定理[J]. 应用概率统计 2017(04)
    • [9].绕积马氏链函数的强大数定律[J]. 湖北大学学报(自然科学版) 2016(01)
    • [10].随机环境中马氏链状态的各种常返性与暂留性[J]. 高校应用数学学报A辑 2016(03)
    • [11].一类有限m重非齐次马氏链的收敛速度[J]. 统计与决策 2014(24)
    • [12].关于可列非齐次马氏链泛函滑动平均的一类强极限定理[J]. 安徽工业大学学报(自然科学版) 2015(01)
    • [13].纪念概率论学者钟开莱百年诞辰[J]. 数学教学 2017(03)
    • [14].关于树指标非齐次马氏链的广义熵遍历定理[J]. 数学年刊A辑(中文版) 2020(01)
    • [15].基于马氏链模型的共享单车投放策略研究[J]. 信息记录材料 2020(06)
    • [16].关于连续状态非齐次马氏链的绝对平均强遍历性[J]. 数学的实践与认识 2019(01)
    • [17].基于灰色马氏链模型的国内游客量预测[J]. 通化师范学院学报 2018(08)
    • [18].关于马氏链遍历性的一个注记[J]. 安徽工业大学学报(自然科学版) 2016(01)
    • [19].绕积马氏链函数加权和的强收敛性[J]. 湖北大学学报(自然科学版) 2016(05)
    • [20].任意齐次树指标马氏链场的一类Shannon-Mcmillan定理[J]. 数学的实践与认识 2014(22)
    • [21].渐近循环马氏链的收敛速度[J]. 数学的实践与认识 2014(16)
    • [22].用于粮食产量预测的改进的灰色—马氏链模型研究[J]. 食品与机械 2014(04)
    • [23].二叉树上分支马氏链的等价性质[J]. 应用概率统计 2014(05)
    • [24].绕积马氏链的中心极限定理[J]. 大学数学 2013(01)
    • [25].关于渐近循环马氏链泛函的强大数定律[J]. 大学数学 2013(01)
    • [26].非齐次马氏链的中心极限定理(英文)[J]. 应用概率统计 2013(04)
    • [27].树指标马氏链的若干性质[J]. 大学数学 2012(03)
    • [28].齐次马氏链遍历性的特征值分析[J]. 河北北方学院学报(自然科学版) 2012(03)
    • [29].绕积马氏链函数的极限定律[J]. 数学杂志 2012(06)
    • [30].关于渐近循环马氏链的散度率[J]. 江苏大学学报(自然科学版) 2012(06)

    标签:;  ;  ;  ;  

    非齐次马氏信源的信息熵定理及Rényi熵估计
    下载Doc文档

    猜你喜欢