ബയേസിയൻ പാരാമീറ്റർ എസ്റ്റിമേഷൻ (BPE) MLE അല്ലെങ്കിൽ MAP എന്നിവയുമായി താരതമ്യപ്പെടുത്തുമ്പോൾ അടിസ്ഥാനപരമായി വ്യത്യസ്തമാണ്. അവസാനത്തെ രണ്ടും മോഡലിനായി ഒപ്റ്റിമൽ പാരാമീറ്ററുകളുടെ ഒരു സെറ്റ് $\hat{\mathbf{\theta }}$ പരിഹരിക്കുമ്പോൾ, BPE യിൽ $\mathbf{\theta }$ ഒരു റാൻഡം വേരിയബിളായി കണക്കാക്കുകയും അതിന് $p(\mathbf{\theta })$ എന്ന ഡിസ്ട്രിബ്യൂഷൻ ഉണ്ടായിരിക്കുകയും ചെയ്യുന്നു.

സജ്ജീകരണം

നമുക്ക് ഒരു ഡാറ്റാസെറ്റ് $\mathcal{D}$ നൽകിയിട്ടുണ്ട്, അതിൽ $n$ സ്വതന്ത്രവും സമാനമായി വിതരണം ചെയ്യപ്പെട്ടതുമായ ഫീച്ചറുകൾ ${\mathbf{x}}_j$ അടങ്ങിയിരിക്കുന്നു. ഒരു പുതിയ ഫീച്ചർ വെക്ടർ $\mathbf{x}$ നൽകിയാൽ, അതിനെ ഒരു ക്ലാസ് $\omega$ ലേക്ക് വർഗ്ഗീകരിക്കാൻ ഞങ്ങൾ ആഗ്രഹിക്കുന്നു. ഇത് ചെയ്യാനുള്ള ഒരു മാർഗ്ഗം ബയേസ് ഡിസിഷൻ റൂൾ ഉപയോഗിക്കുക എന്നതാണ്. അതായത്, ക്ലാസ് ${\omega }_j$ ക്ലാസ് ${\omega }_i$ യേക്കാൾ തിരഞ്ഞെടുക്കുന്നത്

എന്ന അവസ്ഥയിൽ ആണ്, ഇവിടെ ${\mathcal{D}}_j$ ക്ലാസ് ${\omega }_j$ യിലെ ഫീച്ചറുകൾ മാത്രം അടങ്ങിയിരിക്കുന്നു, അതുപോലെ തന്നെ ${\mathcal{D}}_i$ ക്ലാസ് ${\omega }_i$ യിലെ ഫീച്ചറുകൾ മാത്രം അടങ്ങിയിരിക്കുന്നു. അടിസ്ഥാന വിതരണത്തിന് കൂടുതൽ ഘടന അനുമാനിക്കാതെ ഇത് നേരിട്ട് പരിഹരിക്കാൻ കഴിയില്ല.

അതിനാൽ, $p(\mathbf{x}|{\mathcal{D}}_j)$ എന്ന വിതരണം $\mathbf{\theta }$ എന്ന ഒരു റാൻഡം വേരിയബിളിനാൽ മാത്രം പാരാമീറ്ററൈസ് ചെയ്യപ്പെട്ട ഒരു മോഡൽ വഴി പൂർണ്ണമായി വിവരിക്കപ്പെടുന്നുവെന്ന് അനുമാനിക്കാം. ഈ വിതരണം $\mathbf{x}$ ക്ലാസ് ${\omega }_j$ യിൽ ഉണ്ടെങ്കിൽ അത് കണ്ടെത്താനുള്ള സാധ്യത നമുക്ക് പറയുന്നു. ഇനി മുതൽ, ലഘുത്വത്തിനായി ${\mathcal{D}}_j$ എന്ന സബ്സ്ക്രിപ്റ്റ് ഞാൻ ഒഴിവാക്കുന്നു. അപ്പോൾ നമുക്ക് നിരീക്ഷിക്കാം

ഇത് കൂടുതൽ നിയന്ത്രിക്കാവുന്നതാണ്. നമ്മൾ അനുമാനിച്ച മോഡലിൽ $\mathbf{x}$ പ്ലഗ് ഇൻ ചെയ്ത് $p(\mathbf{x}|\mathbf{\theta })$ കണക്കാക്കാം. $p(\mathbf{\theta }|\mathcal{D})$ യും കണക്കാക്കാം, കാരണം

സംഗ്രഹിച്ചാൽ, ക്ലാസ് കണ്ടീഷണൽ ഡാറ്റ $\mathcal{D}$ നൽകിയിരിക്കുന്ന $\mathbf{\theta }$ യുടെ പ്രിയർ, ലൈക്ലിഹുഡ് എന്നിവയാൽ ഭാരം കൊടുത്ത്, $\mathbf{x}$ ന്റെ ലൈക്ലിഹുഡ് എല്ലാ സാധ്യതയുള്ള പാരാമീറ്ററുകൾ $\mathbf{\theta }$ ക്ക് മേൽ ശരാശരി ചെയ്യുന്ന ഒരു രീതി ഞങ്ങൾ രൂപകൽപ്പന ചെയ്തിട്ടുണ്ട്.

ഗോസിയൻ കേസ്

നമ്മുടെ മോഡൽ ഒരു ഗോസിയൻ ആയിരിക്കുമ്പോൾ, ഒരു മീൻ $\mathbf{\mu }$ ഉള്ളതും ഡിസ്ട്രിബ്യൂഷൻ $p(\mathbf{\mu })$ ഉള്ളതും ഒരു അറിയപ്പെടുന്ന കോവേറിയൻസ് $\mathbf{\Sigma }$ ഉള്ളതുമായ സാഹചര്യത്തിൽ, BPE കണക്കാക്കാൻ വളരെ എളുപ്പമാണ്. ഈ സാഹചര്യത്തിൽ, നമ്മുടെ പാരാമീറ്റർ സെറ്റിൽ $\mathbf{\mu }$ മാത്രമേ ഉള്ളൂ.

നമ്മൾ ഇനിപ്പറയുന്നവ അനുമാനിക്കുന്നു:

1. $p(\mathbf{x}|\mathbf{\mu })\sim \mathcal{N}(\mathbf{\mu },\mathbf{\Sigma })$. അതായത്, നമ്മുടെ മോഡൽ ഓരോ ക്ലാസിനും സാധുതയുള്ളതാണ്.

2. $p(\mathbf{\mu })\sim \mathcal{N}({\mathbf{\mu }}_0,{\mathbf{\Sigma }}_0)$. ഇവിടെ, ${\mathbf{\mu }}_0,{\mathbf{\Sigma }}_0$ എന്നിവ ഡാറ്റ കാണുന്നതിന് മുമ്പ് ഓരോ ക്ലാസ് കണ്ടീഷണൽ ഡിസ്ട്രിബ്യൂഷന്റെ ആകൃതിയെക്കുറിച്ചുള്ള നമ്മുടെ “മികച്ച ഊഹം” ആണ്.

നമ്മുടെ ലക്ഷ്യം $p(\mathbf{x}|\mathcal{D})$ കണക്കാക്കുക എന്നതാണെന്ന് മനസ്സിൽ വെച്ചുകൊണ്ട്, ആദ്യം $p(\mathbf{\mu }|\mathcal{D})$ കണ്ടെത്തേണ്ടതുണ്ട്. ബേയസ് സിദ്ധാന്തത്തിൽ നിന്ന്:

ഗോസിയൻ ഫോർമുലകൾ പ്ലഗ് ചെയ്യുമ്പോൾ:

ഇവിടെ

അതിനാൽ, $p(\mathbf{\mu }|\mathcal{D})\sim \mathcal{N}({\mathbf{\mu }}_n,{\mathbf{\Sigma }}_n)$.

ഈ വ്യായാമം പൂർത്തിയാക്കാൻ, നമുക്ക് $p(\mathbf{x}|\mathcal{D})$ കണ്ടെത്തേണ്ടതുണ്ട്. $\mathbf{x}|\mathbf{\mu }\sim \mathcal{N}(\mathbf{\mu },\mathbf{\Sigma })$ ആയതിനാൽ, നമുക്ക് $\mathbf{x}=\mathbf{\mu }+\mathbf{ϵ}$ എന്ന് പ്രകടിപ്പിക്കാം. $\mathbf{ϵ}\sim \mathcal{N}(0,\mathbf{\Sigma })$ ആണെന്ന് വ്യക്തമാണ്. അപ്പോൾ $\mathbf{x}\sim \mathcal{N}({\mathbf{\mu }}_n,{\mathbf{\Sigma }}_n+\mathbf{\Sigma })$.

അതിനാൽ, ഈ രീതി ഉപയോഗിച്ച് നമുക്ക് ഒരു ഇന്റഗ്രൽ മൂല്യനിർണ്ണയം ചെയ്യേണ്ടതില്ല!

സംഗ്രഹത്തിൽ

• $p(\mathbf{\mu })\sim \mathcal{N}({\mathbf{\mu }}_0,{\mathbf{\Sigma }}_0)$, ഇവിടെ ${\mathbf{\mu }}_0,{\mathbf{\Sigma }}_0$ എന്നിവ “അനുമാനിക്കപ്പെട്ട” മൂല്യങ്ങളാണ്
• $p(\mathbf{x}|\mathbf{\mu })\sim \mathcal{N}(\mathbf{\mu },\mathbf{\Sigma })$, ഇവിടെ $\mathbf{\mu },\mathbf{\Sigma }$ എന്നിവ $\mathcal{D}$ എന്ന ഡാറ്റയിൽ നിന്ന് കണക്കാക്കിയ ക്ലാസ് കണ്ടീഷണൽ സ്ഥിതിവിവരക്കണക്കുകളാണ്
• $p(\mathbf{\mu }|\mathcal{D})\sim \mathcal{N}({\mathbf{\mu }}_n,{\mathbf{\Sigma }}_n)$
• $p(\mathbf{x}|\mathcal{D})\sim \mathcal{N}({\mathbf{\mu }}_n,{\mathbf{\Sigma }}_n+\mathbf{\Sigma })$. ഈ ഫംഗ്ഷൻ ബയേസ് ഡിസിഷൻ റൂൾ ഉപയോഗിക്കുന്നതിനാണ്