یک فرآیند تصادفی دنباله ای از متغیرهای تصادفی x است₀, X₁،به طور معمول یا توسط ℕ (یک فرآیند تصادفی در زمان گسسته) یا ℝ (یک فرآیند تصادفی در زمان مداوم ؛ گاهی اوقات ℝ + در صورت عدم توجه به کمتر از 0) فهرست بندی می شود. تفسیر: یک فرآیند تصادفی که با گذشت زمان تکامل می یابد. نمونه های متداول مارتینگالس (شرح زیر) و فرآیندهای مارکوف ، که در آن توزیع x است_i+1فقط به x بستگی دارد_iو نه در هر حالت قبلی.

2. سیگما-جبرس

یک سیگما-جبر (یا σ-algebra) خانواده ای از مجموعه ها است که شامل یک جهان حداکثر ω و مجموعه خالی است ، با توجه به ω و تحت اتحادیه های قابل شمارش ، تحت مکمل بسته می شود. عناصر این خانواده مجموعه های قابل اندازه گیری نامیده می شوند. هر فضای احتمال شامل σ-algebra است که توصیف می کند که چه حوادثی در فضا وجود دارد. برای فضاهای گسسته ، این اغلب همه زیر مجموعه های ω است. برای فضاهای مداوم ، برای جلوگیری از پارادوکس ها ، σ-algebra محدود نیاز است. انتخاب معمول برای مثال[0،1] مجموعه های قابل اندازه گیری Lebesgue هستند. برای اهداف ما خاصیت مفید σ-algebras این است که می توان از آنها برای نشان دادن اطلاعات محدود استفاده کرد.

به عنوان مثال ، فرض کنید من دو تاس شش طرفه را چرخانده ام اما فقط به شما می گویم جمع دو تاس چیست. آنچه من می بینم یک فضای احتمال با 36 عنصر (تمام نتایج این دو تاس) است. آنچه می بینید یک متغیر تصادفی با تنها 11 مقدار است (مبالغ احتمالی 2.. 12). شما می توانید تشخیص دهید که آیا برخی از وقایع رخ داده است ("آیا مبلغ یکنواخت است؟") اما دیگران نیستند ("آیا اولین مرگ 3 است؟"). مجموعه رویدادهایی که می توانید تصمیم بگیرید شامل ∅ و ω است ، و تحت مکمل و اتحادیه بسته است ، بنابراین یک جبر σ است. ساختار این σ-algebra این است که شامل یک مجموعه A در صورتی است و فقط اگر یک نقطه ω = (x ، y) داشته باشد ، شامل تمام نقاط دیگر ω '= (x' ، y ') است که x+y= x '+y'.

ما می گوییم که یک متغیر تصادفی X با توجه به σ-algebra ℱ (یا فقط قابل اندازه گیری ℱ برای کوتاه) قابل اندازه گیری است اگر این رویداد [x≤x] قابل اندازه گیری باشد (به عنوان مثال ، در σ-algebra) برای همه x. برای متغیرهای تصادفی گسسته ، این فقط بدان معنی است که هر رویدادی از فرم x∈S قابل اندازه گیری است. یکی از راه های بدست آوردن σ-algebra این است که یک متغیر تصادفی را در نظر بگیرید ، کوچکترین σ-algebra را با توجه به اینکه x قابل اندازه گیری است ، در نظر بگیرید. به این σ-algebra تولید شده توسط X گفته می شود و نوشته شده است. به طور کلی ، ما همچنین می توانیم σ-algebras تولید شده توسط هر مجموعه از وقایع یا متغیرهای تصادفی 1 را در نظر بگیریم,X₂,X₃>؛در هر حالت ، ما به دنبال کوچکترین σ-algebra با توجه به اینکه همه این وقایع یا متغیرهای تصادفی قابل اندازه گیری هستند ، نگاه می کنیم.

در مثال دو تاس ، σ-algebra که تعریف کردیم فقط 1 است+X₂>واداگر من ارزش اول را نیز به شما بگویم ، ما 1 می گیریم+X₂,X₁>، که اتفاق می افتد شامل هر رویدادی در فضای احتمال اساسی است. ما همچنین می توانیم σ-algebras 1 داشته باشیم>, 2>, 1,[X₁2]>، که با اطلاعات مختلف مطابقت دارد.

برای فضاهای احتمال گسسته ، ما می توانیم از σ-algebra به عنوان متشکل از همه اتحادیه های مجموعه ای از رویدادهای ابتدایی یا اتم ها فکر کنیم ، که رویدادهایی با این خاصیت هستند که هیچ زیر مجموعه ای مناسب به جز ∅ نیز در σ-algebra وجود ندارد. در این حالت ، یک متغیر تصادفی X قابل اندازه گیری است - اگر و فقط اگر در هر اتم ℱ ثابت باشد. اتمهای ℱ یک پارتیشن از ω تشکیل می دهند. هر نتیجه ω چرا دقیقاً در یک اتم قرار دارد. به عنوان یک مورد خاص ، σ-algebra برای گسسته X به عنوان رویدادهای ابتدایی خود همه مجموعه های غیر خالی از فرم x-1 (x) را دارد.

2. 1تصفیه

با یک فرآیند تصادفی ، طبیعی است که نه تنها در مورد مقدار فرآیند در زمان t صحبت کنیم (که فقط متغیر تصادفی X است_t)، بلکه آنچه را که در زمان t می دانیم. فرض معمول این است که ما هرگز چیزی را فراموش نمی کنیم. بنابراین حداقل می توانیم هر رویدادی را در σ-جبر 1 تعیین کنیم. X_t>. اگر اطلاعات بیشتری داشته باشیم (شاید برخی از فرآیندهای اساسی برای تولید X وجود داشته باشد_i، و ما می توانیم جزئیاتی از این فرآیند را مشاهده کنیم که لزوماً در مقدار X گنجانده نشده است_i، سپس دنباله ای از جبرهای تو در تو ℱ داریم₀⊆ℱ₁⊆ℱ₂⊆.. به هر دنباله ای از این قبیل فیلتراسیون گفته می شود. یک فرآیند تصادفی t>به یک فیلتراسیون تطبیق داده شده است>اگر X_tقابل اندازه گیری ℱ است_tبرای همه تی.

2. 2. انتظارات مشروط

ما قبلاً تعریف E[X|A] = ∑ x Pr[X=x|A] را دیده‌ایم، انتظار X مشروط به یک رویداد A است. همچنین می‌توانیم انتظار E[X|Y] از X را تعریف کنیم. مشروط بر یک متغیر تصادفی Y، یا حتی به طور کلی تر، انتظار E[X|ℱ] از X مشروط به یک σ-جبر ℱ است. در حالت اول، ما E[X|Y] = E[X|Y=y] را تعریف می کنیم که Y=y;برخلاف انتظار شرطی معمولی که همیشه یک ثابت است، E[X|Y] یک متغیر تصادفی است که ممکن است برای هر مقدار y مقدار متفاوتی به خود بگیرد (اما اگر مقدار Y را ثابت کنیم ثابت است). در یک فضای احتمال گسسته، E[X|ℱ] با در نظر گرفتن اتم های A از ℱ و تعریف E[X|ℱ] = E[X|A] هر زمان که در A فرود می آییم، تعریف می شود. اگر Y ℱ تولید کند معادل E[X|Y] است.

برای فضاهای پیوسته، تعریف E[X|ℱ] کمی دشوارتر است، و حتی اگر X نامحدود باشد، ممکن است وجود نداشته باشد. یک راه برای تعریف آن مشاهده این است که مجموعه همه متغیرهای تصادفی با ارزش واقعی تعریف شده در یک فضای احتمال معین یک فضای برداری را تشکیل می دهند (با توجه به هر متغیر تصادفی X و Y، aX+bY نیز یک متغیر تصادفی است) و اینکهزیر مجموعه ای از متغیرهای تصادفی که قابل اندازه گیری هستند ℱ زیرفضای این فضای برداری است. بنابراین می توانیم E[X|ℱ] را به عنوان نزدیکترین نقطه به X در زیرفضای متغیرهای تصادفی که ℱ قابل اندازه گیری هستند تعریف کنیم. در عمل، ما هرگز واقعاً این کار را انجام نمی دهیم.

انتظارات شرطی تمام ویژگی های معمول انتظارات را برآورده می کند، بنابراین E[aX+bY|ℱ] = aE[X|ℱ] +bE[Y|ℱ]، X≥Y ⇒ E[X|ℱ] ≥ E[Y|ℱ]]، و غیره. یک واقعیت بسیار مفید که فقط به دلیل شرطی سازی مطرح می شود این است که اگر ℱ₁⊆ℱ₂، سپس E[X|ℱ₁] = E[E[X|ℱ₂]|ℱ₁]؛به عبارت دیگر، هنگام محاسبه یک انتظار، مهم نیست که همه را یکباره یا مرحله‌ای میانگین می‌گیریم، تا زمانی که در نهایت در رویدادهای ابتدایی به میانگین می‌رسیم. مکمل این واقعیت این است که اگر X قابل اندازه گیری ℱ باشد، مانند یک ثابت عمل می کند: E[X|ℱ] = X و E[XY|ℱ] = X E[Y|ℱ].(ما این حقایق را در اینجا ثابت نمی کنیم، به عنوان مثال به GrimmetStirzaker مراجعه کنید.)

3. مارتینگالس

بنابراین اکنون بیایید تصور کنیم که یک فرآیند تصادفی t داریم>(آنچه در زمان t داریم) با t فیلتراسیون سازگار شده است>(آنچه در زمان t می دانیم). ما می توانیم این فرآیند را به عنوان توصیف وضعیت مالی ما پس از مدتی بازی در یک کازینو در نظر بگیریم. اگر کازینو کاملاً منصفانه باشد (برخلاف آنچه در زندگی واقعی اتفاق می‌افتد)، پس هر شرطی که قرار می‌دهیم باید بازدهی 0 داشته باشد. به عبارت دیگر، اگر بخواهیم بر اساس آنچه می‌دانیم در زمان t تخمین بزنیم که چقدر پول خواهیم داشت. در زمان t+1، بهترین حدس ما X خواهد بود_t.

به طور رسمی، یک فرآیند تصادفی مانند بالا یک مارتینگل است اگر E[X_t+1|ℱ_t] = X_t. اغلب ما ℱ را جایگزین می کنیم_tبا σ-جبر تولید شده توسط X₀. X_tو این را به صورت E[X بنویسید_t+1|X₀. X_t] = X_t. ویژگی مفید martingales این است که می توانیم ویژگی martingale را به صورت محلی تأیید کنیم، با اثبات اینکه E[X_t+1|ℱ_t] = X_tیا معادل آن E[X_t+1 - X_t|ℱ_t] = E[X_t+1|ℱ_t] - X_t= 0. اما این ویژگی محلی پیامدهای قوی دارد که در فواصل زمانی طولانی اعمال می شود، همانطور که در زیر خواهیم دید.

3. 1. نمونه هایی از مارتینگل ها

3. 2. خواص مارتینگل

خاصیت تعیین کننده یک مارتینگال این است که e [x_t+1|ℱ_t] = X_tوادچه می شود اگر بخواهیم E را محاسبه کنیم [x_t] بدون تهویه ، یا E [x_t+k|ℱ_t], where k >1؟

در مورد E [x_t] ، بدون تهویه؟در اینجا ما E [x را مشاهده می کنیم_t] = E [e [x_t|ℱ₀]] = E [x₀]. به عبارت دیگر ، مارتینگالس هرگز به جایی نمی رود ، حداقل در انتظار.

4- Martingales به عنوان مبالغی از متغیرهای تصادفی غیر مرتبط

، جایی که e [δ_i|Δ₁. Δ_i-1] = E[X_i-X_i-1|ℱ_i] = 0. به عبارت دیگر ، δ_iبا δ هم مرتبط نیست₁. Δ_i-1واداین به اندازه استقلال کاملاً مناسب نیست ، اما به اندازه کافی خوب است که مارتینگال ها اغلب مانند مبالغ متغیرهای تصادفی مستقل عمل می کنند.

4. 1واریانس XT

این بدان معنی است که اگر ما محدودیت داشته باشیم | δ_i| ≤ c_iبرای همه من ، ما می توانیم var [x را محاسبه کنیم_t] ≤ ∑_i≤t c_i2 ، و نابرابری Chebyshev را به نتیجه برسانید تا در دمای X محدود شود_tواداما در واقع ما می توانیم با استفاده از توابع تولید لحظه ای خیلی بهتر عمل کنیم. نتیجه نابرابری است که به نام نابرابری آزوما-هافدینگ شناخته می شود (برای کشف کنندگان مستقل آن نامگذاری شده است) ، که نسخه Martingale از مرزهای چرنوف است.

4. 2نابرابری آزوما

اثبات این ترفند معمول استفاده از نابرابری مارکوف در E [exp (α∑x است_t)] برای انتخاب مناسب α ، با برخی از ترفندها در محدود کردن E [exp (α∑x_t)]. نابرابری Azuma-Hoeffding را ببینید.

4. 2. 1. کاربرد: روش اختلافات محدود

ایده اصلی: Azuma-Hoeffding در مورد هر فرآیندی اعمال می شود که ما می توانیم به عنوان آشکار کردن ورودی های x مدل کنیم₁. x_nبه برخی از عملکردهای F (x₁. x_n) یکی در یک زمان ، تغییر هر یک از ورودی های ورودی F را در حداکثر C (شرایط Lipschitz) فراهم کرد. دلیل این امر این است که وقتی شرایط لیپشیتز نگه داشته می شود ، سپس e [f (x)₁. x_n) | x₁. x_t] یک مارتینگال است که الزامات نابرابری را برآورده می کند.

این به ما امکان می دهد ، به عنوان مثال ، با در نظر گرفتن فرآیندی که در آن x ، تعداد رنگ های مورد نیاز برای رنگ آمیزی یک نمودار تصادفی کاملاً متمرکز است._iتمام لبه های بین راس I و راس های کوچکتر (Martingale قرار گرفتن در معرض راس) را نشان می دهد.

5. زمان توقف

بگذارید t>یک فیلتر باشید. متغیر تصادفی T یک زمان توقف برای t است>اگر t≥0 و رویداد [t≤t] قابل اندازه گیری باشند_tبرای همه tبه زبان ساده ، اگر می دانید که آیا متوقف شده اید یا نه ، زمان توقف است.

زمان توقف در هنگام استفاده از مارتینگالز بسیار مفید است ، به دلیل قضیه توقف اختیاری

شرط اول می گوید T با احتمال 1 محدود است (یعنی ، در نهایت ما متوقف می شویم). شرط دوم این امر را محدود می کند که چقدر بزرگ است | x_T|می تواند دریافت کند ، که برخی از نتایج بد را حذف می کند که در آن ما احتمال کمی از ضرر بزرگ را می پذیریم تا احتمال بزرگی از یک سود کوچک را بدست آوریم. سوم می گوید که سهم مقادیر بزرگ T به E [x_T] goes to zero as we consider larger and larger t; the term [T >t] متغیر شاخص برای رویداد است که T از T بزرگتر است.

خوب خواهد بود اگر بتوانیم E [x را نشان دهیم_T] = E[X₀] بدون شرایط جانبی ، اما به طور کلی این درست نیست. به عنوان مثال ، استراتژی مارتینگاله دو یا برنده در نهایت 1 را با احتمال 1 برمی گرداند ، بنابراین اگر T زمانی است که ما بازی را متوقف می کنیم ، ما روابط عمومی داریم|] < ∞, but E[X_T] = 1 ≠ e [x₀] = 0. در اینجا ما e [x_t⋅[T>t]] = -2 t-1 (1/2) t-1 = -1 for t>0 ، بنابراین این سومین شرط نقض شده است.(همین اتفاق برای یک پیاده روی تصادفی ± 1 ساده که در +1 متوقف می شود اتفاق می افتد ، اما محاسبه e [x_t⋅[T>t]] در این مورد.)

برای اثبات قضیه توقف اختیاری ، به شروع با یک نسخه ساده تر کمک می کند: قضیه توقف اختیاری (نسخه کودک)

if (x_t,ℱ_t) Martingale و T یک زمان توقف برای t است>، سپس برای هر n∈ℕ ، e [x_{حداقل (T ، N)}] = E[X₀]. اثبات

y را تعریف کنید_t = 0+ لاتکس ($ \ sum_^ (x_t-X_t-1) [T\\le t-1]$)>>وادسپس (y_t,ℱ_t) یک مارتینگال است زیرا ما می توانیم [T≤T-1] را به عنوان دنباله ای از شرط ها درمان کنیم. اما پس از آن [x_{حداقل (T ، N)}] = E [y_n] = E [y₀] = E[X₀].

بنابراین اکنون نسخه کامل را با در نظر گرفتن E[X ثابت خواهیم کرد_{حداقل (T ، N)}] و نشان می دهد که، تحت شرایط قضیه، به E[X نزدیک می شود_T] همانطور که n به بی نهایت می رود. ابتدا توجه کنید که برای هر n، X_T = X_{حداقل (T ، N)} + [T>n](X_T-X_n، زیرا یا T≤n، و ما فقط X را دریافت می کنیم_T, or T>n، و ما X را دریافت می کنیم_n+(X_T-X_n) = X_T. اکنون انتظارات را در نظر بگیرید: E[X_T] = E[X_{حداقل (T ، N)}] + E[[T>n]X_T] - E[[T>n]X_n]. شرط (3) در قضیه محدودیت می دهد_n→∞ E[[T>n]X_n]→0. اگر بتوانیم نشان دهیم که ترم میانی نیز در حد ناپدید می شود، کارمان تمام شده است.

Here we use condition (2). Observe that E[[T>n] X_T] = ^ <\infty>\E[[T=t] X,,t,,]$" />. این را با E[X مقایسه کنید_T] = ^ <\infty>\E[[T=t] X,,t,,]$" />;این یک سری همگرا است، بنابراین در حد، مجموع عبارت های i=0.. n به E[X همگرا می شود._T]. اما این بدان معنی است که مجموع عبارت های باقی مانده برای i=n+1..∞ به صفر همگرا می شود. بنابراین جمله میانی به صفر می رسد همانطور که n به بی نهایت می رود.

استفاده از قضیه توقف اختیاری تمام عیار یک درد در گردن است، زیرا شرایط (2) و (3) اغلب به سختی قابل آزمایش مستقیم هستند. بنابراین در عمل به طور کلی یکی از چندین نوع ضعیف تر اما ساده تر را انتخاب می کنید: قضیه توقف اختیاری (زمان محدود)

if (x_t,ℱ_t) Martingale و T یک زمان توقف برای t است>با T≤n همیشه برای مقداری n ثابت، سپس E[X_T] = E[X₀]. اثبات: X_T = X_{حداقل (T ، N)}. قضیه توقف اختیاری (محدوده محدود)

if (x_t,ℱ_t) Martingale و T یک زمان توقف برای t است>با Pr[Tt|≤ M همیشه برای برخی M ثابت و همه t، سپس E[X_T] = E[X₀]. اثبات: از OST کامل استفاده کنید، با (1) داده شده، (2) ضمنی توسط |X_t|≤ M و (3) از |E[X_t[T>t]|≤ E[|X_t|[T>t]] ≤ M Pr[T>t] → 0 از Pr[T

if (x_t,ℱ_t) Martingale و T یک زمان توقف برای t است>جایی که Pr[Tt-X_t-1|≤ c همیشه برای همه t، سپس E[X_T] = E[X₀]. اثبات: در اینجا ما به اثبات اصلی OST برمی گردیم، اما یک استدلال ساده تر وجود دارد که E[(X_T-X_n)[T >n]] به 0 همگرا می شود. ایده این است که |E[(X_T-X_n)[T>n]]|= |E[∑_t≥n (X_t+1-X_t) [T>t]]|≤ E[∑_t≥n |(X_t+1-X_t)| [T>t]] ≤ E[∑_t≥n c[T>t]]. حال از این واقعیت استفاده کنید که E[T] = ∑_t [T>t] نشان می دهد که این دوباره دنباله یک دنباله همگرا است و بنابراین به صفر همگرا می شود.

5. 1. برنامه های کاربردی

6. زیر مارتینگل و سوپرمارتینگل

گاهی اوقات ما نمی توانیم E[X را تضمین کنیم_t+1|ℱ_t] = X_t، اما با این وجود می توانیم از X استفاده کنیم_tبه عنوان کران پایین یا بالا در E[X_t+1|ℱ_t]. یک فرآیند سازگار (X_t,ℱ_t) یک زیر مارتینگل است اگر X_t≤ E[X_t+1|ℱ_t] برای همه t و یک سوپرمارتینگل اگر X_t≥ E[X_t+1|ℱ_t]. توجه داشته باشید که کمیتی که "sub" (زیر) یا "super" (بالا) است همیشه همان جایی است که ما اکنون هستیم: بنابراین زیر مارتینگا‌ها به مرور زمان افزایش می‌یابند در حالی که سوپرمارتینگل‌ها تمایل به پایین رفتن دارند. اگر فرآیندی هم زیر مارتینگل و هم سوپرمارتینگل باشد، یک مارتینگل است.

مارتینگل‌های فرعی/سوپر مارتینگل زمانی مفید هستند که نمی‌توانیم یک مارتینگل دقیق تنظیم کنیم، اما برایمان مهم نیست زیرا به هر حال فقط به محدودیت‌های یک طرفه اهمیت می‌دهیم. اگر تساوی را با ≤ یا ≥ جایگزین کنیم، اکثر ویژگی هایی که برای مارتینگل ها دیده ایم، برای مارتینگل های فرعی/سوپرمارتینگل نیز صادق هستند: به عنوان مثال، در یک زیر مارتینگل، E[X₀] ≤ E[X_t] برای همه تی.

6. 1. تجزیه Doob-Meyer

ساده ترین راه برای به دست آوردن این نتایج به طور کلی نوشتن یک زیر مارتینگل (X_t,ℱ_t) به عنوان X_t = Y_t + Z_t، جایی که Y_tمارتینگل است و Z_tیک فرآیند قابل پیش بینی غیر کاهشی با توجه به ℱ است_t;این بدان معنی است که Z_t+1همیشه قابل اندازه گیری ℱ است_t. وجود این تجزیه (معروف به تجزیه دوب یا گاهی تجزیه دوب مایر در بین افرادی که از نامگذاری همه چیز به نام دوب خسته می شوند) به راحتی نشان داده می شود: تعریف Z₀= 0، Z_t+1 = Z_t+ E[X_t+1-X_t|ℱ_t] و Y_t = X_t - Z_t. سپس X_tبه طور ناچیز برابر با Y است_t + Z_tو دیدن اینکه Z_tهم غیر کاهشی و هم قابل پیش بینی است (بخش غیر کاهشی فقط ویژگی submartingale است). برای نشان دادن اینکه Y_tیک مارتینگل است، محاسبه E[Y_t+1|ℱ_t] = E[X_t+1-Z_t+1|ℱ_t] = E[X_t+1-سابق_t+1-X_t|ℱ_t]|ℱ_t] = E[X_t+1-X_t+1+X_t|ℱ_t] = X_t.

برای سوپرمارتینگل ها، همان تجزیه کار می کند، اما اکنون Z_tغیر افزایشی است

6. 2. نابرابری آزوما-هوفدینگ برای زیر و سوپرمارتینگل ها

واداما از آنجا₀ = Y₀و x_t ≥ Y_t، این همان حد را برای PR [x می کند_t - X₀≤ -x].

محدودی مشابه در PR [x_t - X₀≥ x] برای Supermartingales برگزار می شود. توجه داشته باشید که در هر حالت فقط یک طرف از محدوده معمول آزوما-هافدینگ نگه داشته می شود. ما نمی توانیم درباره اینکه چقدر سریع یک زیر دریایی با افزایش محدود (یا سقوط ابررساله) سریع می گوییم ، چیز زیادی بگوییم ، زیرا می تواند این Z باشد_tتقریباً همه x را به خود اختصاص می دهد_t.

6. 3. زیر و سوپر مارتینگال از عملکردهای مارتینگال

فرض کنید (x_t,ℱ_t) یک Martingale است و بگذارید F یک عملکرد محدب باشد. سپس نابرابری جنسن می گوید E [f (x_t+1)|ℱ_t+] ≥ F (e [x_t+1|ℱ_t]) = F (x_t). به عبارت دیگر ، هنگامی که f محدب است ، (f (x)_t),ℱ_t) یک submartingale است. در جایی که توابع محدب مارتینگال ها را به زیر مجموعه ها تبدیل می کند ، توابع مقعر مارتینگال ها را به سوپرمارتینگال تبدیل می کنند. اگر می خواهید ثابت کنید که برخی از دنباله ها به سرعت یک زیر/فوق العاده مارتینگال است ، این می تواند بسیار مفید باشد. مثال

بگذارید f (x) = | x |. سپس f محدب است ، بنابراین ما آن را داریم (x_t,ℱ_t) یک مارتینگال است ، (| x_t|,ℱ_t) یک submartingale است. به عنوان مثال ، این بدان معناست که اگر یک پیاده روی تصادفی ± 1 را در برخی از مکان های تصادفی x شروع کنیم₀، سپس بدون دانستن چیزی در مورد توزیع x₀با این وجود می توانیم نتیجه بگیریم که برای هر t ثابت ، e [| x_t|] ≥ e [| x₀|].

این واقعیت به همان اندازه مفید نیست که ممکن است برای به دست آوردن مرزها فکر کند: با توجه به یک مارتینگال ، تقریباً همیشه بهتر است که مستقیماً با مارتینگال کار کنید و سپس نابرابری جنسن یا F را بعد از آن اعمال کنید تا حد دلخواه را بدست آورید.

6. 4. Supermartingales و عود

هنگامی که ما یک عود احتمالی را حل می کنیم ، ما به کارهایی که در هر ایالت باقی می ماند ، بیشترین حد را می گیریم. اگر چنین محدودیتی داشته باشیم ، می توانیم یک سوپر مارپیچ بدست آوریم که ممکن است به ما اجازه دهد مرزهای غلظت را بر هزینه الگوریتم خود ثابت کنیم. اجازه دهید c_tهزینه ای باشد که تاکنون پرداخت کرده ایم ، و y_tبا هزینه مورد انتظار باقی مانده ، با ℱ_tσ-algebra معمول توصیف هر آنچه که تا زمان t رخ داده است. سپس ما y داریم_t≥ E [C_∞-C_t|ℱ_t].

ما می توانیم با پیدا کردن یک y غیر منفی این موضوع را معکوس کنیم_tبه گونه ای که e [y_t-Y_t+1|ℱ_t] ≥ [C_t+1-C_t|ℱ_t] ، به طوری که تغییر در y_tهزینه هر مرحله را پرداخت می کند. اگر این نگه داشته شود ، پس برای x_t = Y_t + C_tما E [x_t+1-X_t|ℱ_t] = E [y_t+1-Y_t+C_t+1-C_t|ℱ_t] ≤ 0 ، و (x_t,ℱ_t) یک ابرخودرو است. حال بگذارید زمان زمانی باشد که الگوریتم خاتمه یابد و فرض کنید یکی از شرایط قضیه توقف اختیاری برای t و (x وجود دارد._t,ℱ_t) (موارد معمولی این است که در کل زمان الگوریتم یک حد بالایی ثابت وجود دارد یا اینکه یک هزینه بالایی ثابت روی هزینه وجود دارد ؛ اگر هیچ یک از این موارد وجود نداشته باشد ، ممکن است ما مجبور شویم کمی کار انجام دهیم). سپس E [C_T] ≤ E[X_T] ≤ E[X₀] = E [y₀] توسط خاصیت Supermartingale. اما از آنجا که اکنون ما به جای عود فقط یک سوپرمارتینگال داریم ، ممکن است با استفاده از آزوما-هافدینگ مرزهای قوی تری داشته باشیم.

6. 5. مثال: QuickSort

به عنوان مثال، QuickSort را در نظر بگیرید. ما قبلاً محاسبه کردیم (به الگوریتم‌های تصادفی‌شده مراجعه کنید) که 2 n ln n مرزی بر تعداد مقایسه‌های مورد نیاز برای مرتب‌سازی آرایه‌ای از n عنصر است. بیایید سعی کنیم این را به یک سوپرمارتینگل تبدیل کنیم. به یاد داشته باشید که QuickSort یک آرایه مرتب نشده را می گیرد و به صورت بازگشتی آن را به آرایه های مرتب نشده کوچکتر تقسیم می کند و زمانی خاتمه می یابد که هر آرایه فقط یک عنصر داشته باشد. بیایید تصور کنیم که این پارتیشن ها را به صورت موازی انجام می دهیم. به عنوان مثال، در هر مرحله زمانی، هر بلوکی را که باقی مانده است را با بیش از یک عنصر پارتیشن بندی می کنیم. از آنجایی که هر یک از این مراحل اندازه بزرگترین بلوک مرتب نشده را کاهش می دهد، ما حداکثر بعد از n چنین مرحله را به پایان می رسانیم.

ما انتظار داریم هر بلوک با اندازه n_iبیش از 2n نگیرد_iln n_iمقایسه برای تکمیلبنابراین از مجموع ∑ 2 n استفاده خواهیم کرد_iln n_iبر روی تمام بلوک های باقی مانده در زمان t به عنوان برآورد ما Y_tاز زمان باقی ماندهاگر بتوانیم نشان دهیم که تغییر در Y_tبه طور متوسط تعداد مقایسه ها در مرحله t را پرداخت می کند، سپس ویژگی supermartingale برای C باقی می ماند_t+Y_tو ما E[C را دریافت خواهیم کرد_∞] ≤ Y₀= 2 n ln n.

بیایید پارتیشن یک بلوک به اندازه n را در نظر بگیریم_i. هزینه پارتیشن n است_i-1 مقایسهتغییر مورد انتظار در Y_tاین بلوک خاص E[2 n است_iln n - (2 k ln k + 2 (n_i-k-1) ln (n,, i-k-1))]، که k در محدوده 0.. n-1 یکنواخت است (فرض می کنیم که همه عناصر متمایز هستند به طوری که محور به خودی خود به یک بلوک ختم می شود). عبارات تفریق شده برابر هستند

-n به طور متوسط هزینه n-1 را پرداخت می کند. بنابراین ما دریافت می کنیم که t+ ∑ 2 n_iln n_i>یک supermartingale است و تعداد مورد انتظار مقایسه برای مرتب کردن n عنصر حداکثر 2 n ln n است.

ما قبلاً این را می دانستیم. آیا می توانیم چیز دیگری یاد بگیریم؟

6. 5. 1. یک کران با احتمال بالا متوسط با استفاده از Azuma-Hoeffding

بیایید سعی کنیم حد و مرزی در مورد مقدار X داشته باشیم_t = C_t+Y_tدر هر مرحله تغییر می کند. ما می توانیم C را محاسبه کنیم_t+1-C_t = ∑ (n_i-1) ≤ n و Y_t+1-Y_t≤ 0، بنابراین X_t+1-X_t≤ n. در جهت دیگر، وقتی یک بلوک به اندازه n را تقسیم می کنیم_iبه دو بلوک به اندازه k و n_i-k-1، کوچکترین مقداری که می توانیم برای 2 k ln k + 2 (n_i-k-1) ln (n_i-k-1) زمانی است که تقسیم دقیقاً زوج باشد (برای اثبات این موضوع، از تحدب تابع پتانسیل استفاده کنید). در این حالت از 2 n قطره می گیریم_iln n_iتا 4 ((n_i-1)/2) ln ((n_i-1)/2) = 2 (n_i- 1) ln ((n_i-1)/2) = 2 (n_i- 1) ln (n_i(1-1/2n_i)) = 2 (n_i- 1) (ln n_i+ ln (1-1/2n_i)) ≥ 2 (n_i- 1) (ln n_i- ln 2) = 2 n_iln n_i- ln n_i- 2 n_iln 2 + ln 2، افت حداکثر ln n را می دهد_i+ 2 n_iln 2 + ln 2 = ln (2n_i) + 2n_i. دیدن اینکه این عبارت زمانی که تمام n به حداکثر می رسد، سخت نیست_i= 1 (که نشانه این است که کران ما محکم نمی شود)، که مجموع کل i را نشان می دهد که حداکثر n (2 + ln 2) است.< 3n.

اکنون این را به Azuma-Hoeffding (نسخه یک طرفه) وصل کنید تا Pr[C را دریافت کنید_n- 2 n n n ≥ x] ≤ exp(-x 2 /8n⋅(3n) 2)، که برای x ≥ √ (72n 3) یا تقریباً x ≥ 9n 3/2 شروع به کوچک شدن می کند. این یک حد بسیار ضعیف است، اگرچه بسیار بهتر از آن چیزی است که فقط با نابرابری مارکوف دریافت می کنیم.