• 满足当前时间之后的状态只与当前有关，与过去无关的性质称为马尔可夫性。

• 随机过程满足马尔可夫性则称为马尔可夫过程。

  当了解完马尔可夫性后，下面来说说马尔可夫链。马尔可夫链（Markov Chain, MC）是概率论和数理统计中具有马尔可夫性质且存在于离散的指数集和状态空间内的随机过程。
它具有三个核心要素：
     1.状态空间 States Space
     2.无记忆性 Memorylessness
     3.转移矩阵 Transition Matrix

​  若一个马尔可夫链的状态空间是有限的，则可在单步演变中将所有状态的转移概率按矩阵排列，得到转移矩阵。该矩阵正定且每行元素和为1。
其中每行元素表示随机变量当前的状态确定时， 下一个次可取的所有可能状态的概率（离散分布）。由此，第t步转移矩阵即为之前t-1步所有转移矩阵的连乘。
马尔可夫链的几个性质：

• 不可约性：
    如果一个马尔可夫链的状态空间仅有一个连通类，即状态空间的全体成员，则该马尔可夫链是不可约的，通俗的讲，马尔科夫链种任何状态可以到达任何状态，类似于图论中的联通图。，否则马尔可夫链具有可约性。马尔可夫链的不可约性意味着在其演变过程中，随机变量可以在任意状态间转移。
• 常返性：
    若马尔可夫链在到达一个状态后，在演变中能反复回到该状态，则该状态是常返状态，或该马尔可夫链具有（局部）常返性，反之则具有瞬变性。
    如果马尔可夫链中一个给定状态的返回时间是该状态所有可能返回时间的最小值T（下确界）。此时若T=∞，则改状态不存在瞬变性和常返性。若T<∞，则可以判断其具有瞬变性还是常返性。
    如果一个状态具有常返性，就可以计算它的平均返回时间E(T)=Σn·p(T=n)，其中p(T=n)是返回概率。如果平均返回时间E(T)为有限值，则称为正常返，否则称为零常返。若一个状态是零常返的，那意味着马尔可夫链两次访问该状态的时间间隔的期望是正无穷。
• 周期性：
    一个正常返的马尔可夫链可能具有周期性，即在其演变中，马尔可夫链能够按大于1*(d>1)*的周期常返其状态，其中d为返回该状态所需步数。
• 遍历性：
     - 若马尔可夫链的一个状态是正常返*(平均返回时间有限)的和非周期(d=1)*的，则该状态具有遍历性。
    - 若一个马尔可夫链是不可还原的，且有某个状态是遍历的，则该马尔可夫链的所有状态都是遍历的，被称为遍历链，它是非周期的平稳马尔可夫链，有长时间尺度下的稳态行为。

后续还可了解平稳马尔可夫链。

【注】文章内容总结自互联网。