條件獨(dú)立性假設(shè)是什么，什么叫條件獨(dú)立概率

來(lái)源：整理時(shí)間：2023-01-30 15:48:30 編輯：金融知識(shí) 手機(jī)版

本文目錄一覽

1，什么叫條件獨(dú)立概率
2，條件概率獨(dú)立性判斷的問(wèn)題
3，概率證明題證明條件獨(dú)立
4，項(xiàng)目反應(yīng)理論的IRT的理論體系三條基本假設(shè)
5，用于數(shù)據(jù)挖掘的分類算法有哪些各有何優(yōu)劣

1，什么叫條件獨(dú)立概率

兩個(gè)事件關(guān)于某一個(gè)事件乘積的概率，等于條件概率的積。P(AB/C)=P(A/C)P(B/C)則A、B條件獨(dú)立。

如果在獨(dú)立鏈中各個(gè)語(yǔ)言的成分出現(xiàn)的概率不相等，（有的出現(xiàn)的概率高，有的出現(xiàn)的概率低）那么這種概率叫做不等概率獨(dú)立鏈。

什么叫條件獨(dú)立概率

2，條件概率獨(dú)立性判斷的問(wèn)題

如A與B獨(dú)立那p(b/a)=p(b), p(-b/-a)=p(-b)p(b)+p(-b)=1所以原假設(shè)成立

你好：條件概率滿足概率的一切性質(zhì)：所以p（aub|c）=p(a|c)+p(b|c)-p(ab|c)如果滿意，請(qǐng)采納，謝謝。

條件概率獨(dú)立性判斷的問(wèn)題

3，概率證明題證明條件獨(dú)立

如果E,I 是條件獨(dú)立的，p(A,E,I) = p(e)p(i/e)p(a/e,i)因?yàn)?p(A,E,I) = p(E)p(I)p(A|E,I)p(i/e)=p(I) 所以E,I 并不是條件獨(dú)立的。是對(duì)事件獨(dú)立概念的理解用反證法

P(E,I|A)=P(A,E,I)/P(A)=P(E)P(I)*P(A|E,I)/P(A)因?yàn)锳和EI不獨(dú)立P(A|E,I)顯然不等于P(A)所以P(E,I|A)也不等于P(E)P(I)即結(jié)論

概率證明題證明條件獨(dú)立

4，項(xiàng)目反應(yīng)理論的IRT的理論體系三條基本假設(shè)

– 假設(shè)一：能力單維性假設(shè)——指組成某個(gè)測(cè)驗(yàn)的所有項(xiàng)目都是測(cè)量同一潛在特質(zhì)；– 假設(shè)二：局部獨(dú)立性假設(shè)——指對(duì)某個(gè)被試而言，項(xiàng)目間無(wú)相關(guān)存在；– 假設(shè)三：項(xiàng)目特征曲線假設(shè)——指對(duì)被試某項(xiàng)目的正確反映概率與其能力之間的函數(shù)關(guān)系所作的模型。IRT最大的優(yōu)點(diǎn)是題目參數(shù)的不變性，即題目參數(shù)的估計(jì)獨(dú)立于被試組。它假定，被試在某一試題上的成績(jī)不受他在測(cè)驗(yàn)中其他試題上的成績(jī)影響；同時(shí)，在試題上各個(gè)被試的作答也是彼此獨(dú)立的，僅由各被試的潛在特質(zhì)水平所決定，一個(gè)被試的成績(jī)不影響另一被試的成績(jī)，這就叫做局部獨(dú)立性假設(shè)。IRT理論所做出的一切推論都必須以局部獨(dú)立性假設(shè)為前提。

5，用于數(shù)據(jù)挖掘的分類算法有哪些各有何優(yōu)劣

常見(jiàn)的機(jī)器學(xué)習(xí)分類算法就有，不常見(jiàn)的更是數(shù)不勝數(shù)，那么我們針對(duì)某個(gè)分類問(wèn)題怎么來(lái)選擇比較好的分類算法呢？下面介紹一些算法的優(yōu)缺點(diǎn)：1. 樸素貝葉斯比較簡(jiǎn)單的算法，所需估計(jì)的參數(shù)很少，對(duì)缺失數(shù)據(jù)不太敏感。如果條件獨(dú)立性假設(shè)成立，即各特征之間相互獨(dú)立，樸素貝葉斯分類器將會(huì)比判別模型，如邏輯回歸收斂得更快，因此只需要較少的訓(xùn)練數(shù)據(jù)。就算該假設(shè)不成立，樸素貝葉斯分類器在實(shí)踐中仍然有著不俗的表現(xiàn)。如果你需要的是快速簡(jiǎn)單并且表現(xiàn)出色，這將是個(gè)不錯(cuò)的選擇。其主要缺點(diǎn)現(xiàn)實(shí)生活中特征之間相互獨(dú)立的條件比較難以實(shí)現(xiàn)。2. 邏輯回歸模型訓(xùn)練時(shí)，正則化方法較多，而且你不必像在用樸素貝葉斯那樣擔(dān)心你的特征是否相關(guān)。與決策樹(shù)與支持向量機(jī)相比，邏輯回歸模型還會(huì)得到一個(gè)不錯(cuò)的概率解釋，你甚至可以輕松地利用新數(shù)據(jù)來(lái)更新模型（使用在線梯度下降算法）。如果你需要一個(gè)概率架構(gòu)（比如簡(jiǎn)單地調(diào)節(jié)分類閾值，指明不確定性，獲得置信區(qū)間），或者你以后想將更多的訓(xùn)練數(shù)據(jù)快速整合到模型中去，邏輯回歸是一個(gè)不錯(cuò)的選擇。3. 決策樹(shù)決策樹(shù)的分類過(guò)程易于解釋說(shuō)明。它可以毫無(wú)壓力地處理特征間的交互關(guān)系并且是非參數(shù)化的，因此你不必?fù)?dān)心異常值或者數(shù)據(jù)是否線性可分。它的一個(gè)缺點(diǎn)就是不支持在線學(xué)習(xí)，于是在新樣本到來(lái)后，決策樹(shù)需要全部重建。另一個(gè)缺點(diǎn)是容易過(guò)擬合，但這也就是諸如隨機(jī)森林（或提升樹(shù)）之類的集成方法的切入點(diǎn)。另外，隨機(jī)森林經(jīng)常是多分類問(wèn)題的贏家（通常比支持向量機(jī)好上那么一點(diǎn)），它快速并且可調(diào)，同時(shí)你無(wú)須擔(dān)心要像支持向量機(jī)那樣調(diào)一大堆參數(shù)，所以隨機(jī)森林相當(dāng)受歡迎。4. 支持向量機(jī)高準(zhǔn)確率，為避免過(guò)擬合提供了很好的理論保證，而且就算數(shù)據(jù)在原特征空間線性不可分，只要給個(gè)合適的核函數(shù)，它就能運(yùn)行得很好。在超高維的文本分類問(wèn)題中特別受歡迎?？上?nèi)存消耗大，難以解釋，運(yùn)行和調(diào)參也有些煩人，所以我認(rèn)為隨機(jī)森林要開(kāi)始取而代之了。但是，好的數(shù)據(jù)卻要優(yōu)于好的算法，設(shè)計(jì)優(yōu)良特征比優(yōu)良的算法好很多。假如你有一個(gè)超大數(shù)據(jù)集，那么無(wú)論你使用哪種算法可能對(duì)分類性能都沒(méi)太大影響（此時(shí)就根據(jù)速度和易用性來(lái)進(jìn)行抉擇）。如果你真心在乎準(zhǔn)確率，你一定得嘗試多種多樣的分類器，并且通過(guò)交叉驗(yàn)證選擇最優(yōu)。

1. 樸素貝葉斯(naive bayes, nb)超級(jí)簡(jiǎn)單，就像做一些數(shù)數(shù)的工作。如果條件獨(dú)立假設(shè)成立的話，nb將比鑒別模型（如logistic回歸）收斂的更快，所以你只需要少量的訓(xùn)練數(shù)據(jù)。即使條件獨(dú)立假設(shè)不成立，nb在實(shí)際中仍然表現(xiàn)出驚人的好。如果你想做類似半監(jiān)督學(xué)習(xí)，或者是既要模型簡(jiǎn)單又要性能好，nb值得嘗試。2. logistic回歸(logistic regression, lr)lr有很多方法來(lái)對(duì)模型正則化。比起nb的條件獨(dú)立性假設(shè)，lr不需要考慮樣本是否是相關(guān)的。與決策樹(shù)與支持向量機(jī)（svm）不同，nb有很好的概率解釋，且很容易利用新的訓(xùn)練數(shù)據(jù)來(lái)更新模型（使用在線梯度下降法）。如果你想要一些概率信息（如，為了更容易的調(diào)整分類閾值，得到分類的不確定性，得到置信區(qū)間），或者希望將來(lái)有更多數(shù)據(jù)時(shí)能方便的更新改進(jìn)模型，lr是值得使用的。3.決策樹(shù)（decision tree, dt）dt容易理解與解釋。dt是非參數(shù)的，所以你不需要擔(dān)心野點(diǎn)（或離群點(diǎn)）和數(shù)據(jù)是否線性可分的問(wèn)題（例如，dt可以輕松的處理這種情況：屬于a類的樣本的特征x取值往往非常小或者非常大，而屬于b類的樣本的特征x取值在中間范圍）。dt的主要缺點(diǎn)是容易過(guò)擬合，這也正是隨機(jī)森林（random forest, rf）（或者boosted樹(shù)）等集成學(xué)習(xí)算法被提出來(lái)的原因。此外，rf在很多分類問(wèn)題中經(jīng)常表現(xiàn)得最好（我個(gè)人相信一般比svm稍好），且速度快可擴(kuò)展，也不像svm那樣需要調(diào)整大量的參數(shù)，所以最近rf是一個(gè)非常流行的算法。4.支持向量機(jī)（support vector machine, svm）很高的分類正確率，對(duì)過(guò)擬合有很好的理論保證，選取合適的核函數(shù)，面對(duì)特征線性不可分的問(wèn)題也可以表現(xiàn)得很好。svm在維數(shù)通常很高的文本分類中非常的流行。由于較大的內(nèi)存需求和繁瑣的調(diào)參，我認(rèn)為rf已經(jīng)開(kāi)始威脅其地位了。

文章TAG：條件獨(dú)立性假設(shè)是什么條件獨(dú)立獨(dú)立性