Sterowanie stochastyczne

Sterowanie stochastyczne – gałąź teorii sterowania, która zajmuje się zagadnieniami występowania niepewności w układach regulacji. Przeciwieństwem układów stochastycznych są układy deterministyczne (czyli takie, w których niepewność nie występuje).

Opis sygnałów i układów stochastycznych

W układach stochastycznych występują wielkości przypadkowe (losowe). Projektant układu zakłada, przyjmując punkt widzenia prawdopodobieństwa subiektywnego Bayesa, że szum losowy ze znanym rozkładem prawdopodobieństwa ma wpływ na zmiany stanu układu i na obserwacje regulatorów (zob. też zakłócenia).

Do (parametrycznych) modeli wejściowo-wyjściowym dla procesów stochastycznych należą model AR, model MA, model ARX i model ARMAX.

Klasyczne równania stanu dla przypadku układu stochastycznego, przybierają postać:

${\displaystyle \mathbf {\dot {x}} (t)=\mathbf {Ax} (t)+\mathbf {Bu} (t)+\mathbf {v} (t)}$

${\displaystyle \mathbf {y} (t)=\mathbf {Cx} (t)+\mathbf {Du} (t)+\mathbf {w} (t)}$

gdzie dodatkowo ujęte zostały wektory zakłóceń stochastycznych (wektory szumu): ${\displaystyle \mathbf {v} (t)}$ – wektor szumu przetwarzania, ${\displaystyle \mathbf {w} (t)}$ – wektor szumu pomiarowego.

Estymacja w układach stochastycznych

W kontekście sygnałów i układów stochastycznych stosuje się estymację (zob. też teoria estymacji, estymator, regresja) w tym: filtrację (zob. filtr Wienera i filtr Kalmana), predykcję i wygładzanie.

W ogólnym przypadku zagadnienie estymacji zmiennych stanu w stochastycznych układach, według kalmanowskiej teorii filtracji można sformułować w następujący sposób. Należy określić estymatę ${\displaystyle {\hat {\mathbf {x} }}(t|\tau )}$ wektora stanu (lub wyjść) ${\displaystyle \mathbf {x} (t)}$ w chwili ${\displaystyle t}$ na podstawie przetwarzania danych pomiarowych ${\displaystyle {\mathbf {y} }(\tau ),\tau \in (0,t_{1})}$ według wzoru:

${\displaystyle {\hat {\mathbf {x} }}(t|\tau )=\int \limits _{0}^{\tau }\mathbf {G} (t,\mathbf {y} )d\mathbf {y} }$ gdzie ${\displaystyle \mathbf {G} (.)}$ jest macierzowym operatorem liniowym.

W zależności od występujących relacji pomiędzy wartościami zmiennych stanu w chwilach czasowych ${\displaystyle t}$ oraz ${\displaystyle \tau }$ w problemie estymacji wyróżnia się zagadnienia:

• filtracji, jeżeli ${\displaystyle t=\tau ,{\hat {\mathbf {x} }}(t|\tau )}$ – filtracja oznacza estymowanie wartości stanu w bieżącej chwili i może być wykorzystana jako działający w czasie rzeczywistym filtr sygnałów przy przetwarzaniu sygnałów zniekształconych szumem lub jako estymator stanu dla uzyskania informacji o nie mierzonych wielkościach.
• predykcji, jeżeli ${\displaystyle t>\tau ,{\hat {\mathbf {x} }}(t|\tau )}$ – predykcja oznacza estymowanie wartości stanu w przyszłej chwili i może być wykorzystana do predykcji zarówno wielkości wejściowych, jak i stanu na przykład w sterowaniu predykcyjnym (zob. też przyczynowość).
• wygładzania, jeżeli ${\displaystyle t<\tau ,{\hat {\mathbf {x} }}(t|\tau )}$ – wygładzanie oznacza estymowanie wartości stanu w pewnej uprzedniej chwili z wykorzystaniem obserwacji zebranych do chwili bieżącej i może być wykorzystane w przetwarzaniu sygnałów po zebraniu obserwacji.

Zagadnienia estymacji stanu nie należy mylić z zagadnieniem estymacji parametrów (typowym dla identyfikacji systemów, występującym również w kontekście sterowania adaptacyjnego).

Optymalne sterowanie stochastyczne

W przypadku sterowania optymalnego sterowanie stochastyczne ma na celu zaprojektowanie regulatora optymalnego, który będzie wykonywał pożądane zadanie sterowania przy minimalnym średnim koszcie pomimo obecności szumu. Najlepiej przebadaną formułą sterowania stochastycznego jest zapewne sterowanie liniowo-kwadratowe-Gaussa (ang. LQG, Linear-quadratic-Gaussian). Model przyjęty w tym sterowaniu jest liniowy, funkcję celu określa wartość oczekiwana formy kwadratowej a (dodatkowe) zakłócenia mają charakter szumu o rozkładzie Gaussa.

Zasadnicze spostrzeżenie dla zcentralizowanych systemów czasu dyskretnego znane jest jako własność niewątpliwej równoważności (tzw. zasada równoważności, ang. certainty equivalence) i stanowi, że rozwiązanie dla sterowania optymalnego w takim przypadku jest takie samo, jakie uzyskano by przy nieobecności (dodatkowych) zakłóceń. Własność ta ma zastosowanie do wszystkich układów, które są liniowe i kwadratowe, a założenie o rozkładzie Gaussa pozwala na przyjęcie formuł sterowania optymalnego (opartych na zasadzie równoważności), które są liniowymi funkcjami obserwacji regulatorów. Własność ta nie odnosi się jednak do układów sterowania zdecentralizowanego, na co wskazał Witsenhausen w swoim kontrprzykładzie (tzw. kontrprzykład Witsenhausena). Jakiekolwiek odejście od przyjętych założeń (nieliniowe równie stanu, niekwadratowa funkcja celu albo niepewność (szum) w parametrach mnożących modelu) sprawia, że własność niewątpliwej równorzędności nie jest spełniona. W przypadku dyskretnym z niepewnymi wartościami parametrów macierzy przejścia i/lub macierzy odpowiedzi równań stanu, ale ciągle z liniowym równaniem stanu i z kwadratową funkcją celu, można jednak otrzymać macierzowe równanie Riccatiego, które można iterować do każdego okresu rozwiązania. Przypadek czasu dyskretnego z niekwadratową funkcją strat, ale tylko z dodatkowymi zakłóceniami także może być obsłużony, ale jest to bardziej skomplikowane.

Rys historyczny

Metody stochastyczne wprowadzono do teorii sterowania i telekomunikacji w okresie II wojny światowej. Badania układów stochastycznych podjęto w związku z pracami nad sterowaniem ogniem artyleryjskim. Norbert Wiener z MIT chciał mieć swój wkład w działania wojenne i zaproponował, że zajmie się problemem przewidywania przyszłej pozycji samolotu. Propozycja ta opierała się na uogólnionej analizie harmonicznej – pracy jaką wykonał w latach 20. (publikacja z 1931 roku). Nad implementacją swojego systemu predykcji pracował z Johnem Bigelowem. Pracując z metodami dziedziny częstotliwości, opracował statystycznie optymalny filtr dla ciągłych sygnałów stacjonarnych (tzw. Filtr Wienera), który polepszał stosunek sygnału do szumu w systemach komunikacji. Efektem tych prac było opracowanie elektronicznego systemu do predykcji. Ostatecznie Wiener był zawiedziony, gdyż system przyniósł jedynie marginalne polepszenie (mniej niż 10 procent) w stosunku do systemu opracowanego przez Laboratoria Bella. Po wykonaniu swych prac Wiener przygotował raport Ekstrapolacja, interpolacja i wygładzanie stacjonarnych ciągów czasowych w zastosowaniach inżynieryjnych (The Extrapolation, Interpolation and Smoothing of Stationary Time Series with Engineering Appllications, OSRD Report 370, 1 lutego 1942) znany też jako żółte niebezpieczeństwo (ang. yellow peril) z uwagi na jego żółte okładki i niebywale trudną matematykę. Praca Wienera została ostatecznie opublikowana w ogólnodostępnej literaturze w 1949 roku.

Niezależnie od tych prac w 1941 Andriej Nikołajewicz Kołmogorow zaprezentował teorię dla dyskretnych stacjonarnych procesów stochastycznych (odpowiednik pomysłu Wienera dla sygnałów dyskretnych). Dlatego powstała teoria filtracji optymalnej nazywana jest zwykle teorią Wienera-Kołmogorowa a wyżej wspomniany filtr nazywany jest filrtem Wienera-Kołmogorowa. Wiener i Kołmogorow byli więc prekursorami stochastycznego ujęcia filtracji – w swych najwcześniejszych pracach zdefiniowali pojęcie procesu (sygnału) losowego (stochastycznego) charakteryzującego się pewnymi własnościami statystycznymi. Proces losowy o tych właściwościach nazywa się stacjonarnym i dla takiego procesu Wiener i Kołmogorow wykazali istnienie związków między właściwościami statystycznymi sygnału użytecznego i szumu a ich charakterystykami częstotliwościowymi. Wykazali więc związek z klasyczną teorią filtracji.

W 1960 roku Rudolf Kalman i jego współpracownicy pracujący w Stanach Zjednoczonych, opublikowali trzy najistotniejsze artykuły. Pierwszy z nich (Kalman i Bertram 1960) przedstawił szerszej publice żywotną pracę Lapunowa w kontekście sterowania układami nieliniowymi z wykorzystaniem metod dziedziny czasu. W kolejny artykule Kalman przedyskutował sterowanie optymalne, przedstawiając równania dla projektowania układów z wykorzystaniem regulatora liniowo-kwadratowego (ang. LQR, czyli Linear-quadratic regulator). W trzecim z artykułów Kalman opisał filtrację optymalną i teorię estymacji przedstawiając równania dyskretnego filtru Kalmana. Odpowiednik filtru Kalmana dla układów ciągłych opracowany został w 1961 roku (Kalman and Bucy 1961).

Początkowo, związek pomiędzy teorią Wienera i Kołmogorowa oraz Kalmana wydawał się wątpliwy, ponieważ wcześniejszą teorię opracowano w dziedzinie częstotliwości, a późniejszą – w dziedzinie czasu. Istnieje jednakże między nimi dość podstawowy związek, wynikający chociażby z faktu, że procesy stacjonarne są szczególnym przypadkiem niestacjonarnych. W chwili obecnej można łatwo wykazać, że teoria Wienera i Kołmogorowa jest szczególnym przypadkiem teorii Kalmana.

Obie teorie rozwinęły się, by sprostać potrzebom chwili, wynikającym z rozwoju techniki. Warto nadmienić, że możliwości realizacji obu rodzajów filtrów były dostosowane do istniejących warunków technologicznych. Filtry Wienera realizowano przy użyciu wzmacniaczy oraz elementów niezmiennych w czasie, takich jak np. oporniki i kondensatory; podczas gdy filtry Kalmana buduje się z zastosowaniem cyfrowych układów scalonych.

W teorii sterowania Kalman sformalizował pojęcie optymalności przez minimalizację bardzo ogólnej kwadratowej uogólniającej funkcji energii. Na polu teorii estymacji wprowadził pojęcia stochastyczne, które zastosowane zostały do niestacjonarnych układów zmiennych w czasie, dostarczając w ten sposób rozwiązanie rekursywne, filtr Kalmana, dla metody najmniejszych kwadratów po raz pierwszy użytej przez Carla Friedricha Gaussa do estymacji orbit planet. Filtr Kalmana stanowi naturalne rozszerzenie filtru Wienera dla niestacjonarnych układów stochastycznych.

Zobacz też

• zmienna losowa, proces stochastyczny, wartość oczekiwana, proces ergodyczny, autokorelacja, autokowariancja, widmowa gęstość mocy

Bibliografia

• Sanjoy K. Mitter, Filtering and Stochastic Control: A Historical Perspective, czerwiec 1996, IEEE Control Systems Magazine

Linki zewnętrzne

• Answers.com