Wstęp 5
1. Procesy Markowa. Pojęcia podstawowe 9
1.1 Stan systemu. Przejście ze stanu do stanu. Ergodyczność 9
2. Przypomnienie tzw. przekształcenia Z 14
3. Analiza procesów Markowa za pomocą przekształcenia Z 16
4. Stany niepowrotne. Klasy ergodyczne i okresowość procesów Markowa 21
4.1. Stany niepowrotne i klasy ergodyczne 21
4.2. Okresowość 25
5. Procesy Markowa z czasem ciągłym 26
6. Badanie łańcuchów Markowa z czasem ciągłym za pomocą przekształcenia Laplace'a 28
7. Decyzyjne procesy Markowa 33
7.1. Zależność rekurencyjna dla dochodów 33
8. Analiza procesów Markowa z dochodami za pomocą przekształcenia Z 36
9. Metoda rekurencyjna 38
9.1. Określenie strategii 38
10. Pełny oczekiwany dochód przy użyciu N 42
11. Metoda iteracyjna dla procesów rekurncyjnych 45
11.1. Określenie wag 47
11.2. Polepszenie rozwiązania 49
12. Wybrane zagadnienia procesów stochastycznych 53
12.1. Definicja procesu stochastycznego 53
12.2. Łańcuchy Markowa 55
13. Decyzyjne procesy Markowa z dyskontem 60
13.1. Pełny, skończony, oczekiwany dochód z dyskontem 60
13.2. Metoda wyznaczania macierzy ergodycznej i różnicowej 63
13.3. Przykłady 64
13.4. Uwagi końcowe i wnioski 67
14. Błądzenie przypadkowe 69
14.1. Podstawowe pojęcia i oznaczenia 69
14.2. Najprostszy wariant różniczki stochastycznej Itô dla skończonego Δt 74
15. Ruch Browna 76
15.1. Arytmetyczny i geometryczny ruch Browna 76
16. Ciągłe procesy Markowa dyfuzyjnego typu 79
16.1. Opis dyfuzyjnego procesu Markowa 79
16.2. Aproksymacja dyfuzyjna liczby wyrobów w magazynie 81
17. Zastosowanie procesów Markowa w opcjach finansowych 88
17.1. Wstęp 88
17.2. Metody wyceny opcji 88
17.2.1. Wycena opcji dla czasu ciągłego 88
17.2.2. Model wyceny opcji europejskiej 89
17.2.3. Metoda wyceny opcji dla czasu dyskretnego 92
17.3. Opcja gry 97
17.3.1. Analiza opcji gry dla przypadku dyskretnego 98
17.4. Podsumowanie 100
Literatura 104
