Markov Model

このときの確率は、その状態だけではなく、一つ前の状態やもうひとつ前の状態に影響されたりもします。

で、これを言葉の単語の遷移でやったりすると、n-gramとかいう感じになったりします。

1つ前の状態に影響されたらマルコフモデルじゃないよ。2つ前の出力に影響されるなら分かるが。
ちなみに、品詞のタグ付け(POS Tagging)なんかでは現在の状態と入力に対する確率遷移を仮定した隠れマルコフモデルを作って、パラメータ推定をしたり。