Nedir &; entropi ve bilgi sahibi " "?

SORU

7 Aralık 2009, PAZARTESİ

Nedir &; entropi ve bilgi sahibi " "?

Bu kitap (NLTK) okuyorum ve kafa karıştırıcı.Entropidefined as:

Entropi her etiket olasılığı toplamıdır kere aynı etiketin günlük olasılık

Nasıl başvurabilirimentropivemaksimum entropimetin açısından incelemesi? Biri bana kolay, basit bir örnek (görsel) verebilir misiniz?

CEVAP

7 Aralık 2009, PAZARTESİ

Entropi decision trees yapı bağlamında söz edildi sanırım.

Göstermek için, classify ilk isimler erkek/kadın grupları için learning görevi düşünün. Bu verilen isimleri her yazan ya da m f, öğrenmek istiyorum model uygun veri ve kullanılabilir için tahmin edilen cinsiyet bir yeni görünmeyen ilk adı.

name       gender
-----------------        Now we want to predict 
Ashley        f              the gender of "Amro" (my name)
Brian         m
Caroline      f
David         m

Veri features tahmin etmek istediğimiz hedef sınıfı alakalı ne ilk adımdır deciding. Bazı örnek özellikleri: ilk/son mektup, uzunluk, özellik çıkarma sonra sesli harf ile vs. bitecek, bizim veri görünüşe göre ünlüler: sayısı

# name    ends-vowel  num-vowels   length   gender
# ------------------------------------------------
Ashley        1         3           6        f
Brian         0         2           5        m
Caroline      1         4           8        f
David         0         2           5        m

Amaç decision tree inşa etmektir. tree olacak bir örnek:

length<7
|   num-vowels<3: male
|   num-vowels>=3
|   |   ends-vowel=1: female
|   |   ends-vowel=0: male
length>=7
|   length=5: male

temelde her düğüm bir test tek bir öznitelik üzerinde gerçekleştirilen temsil, ve biz sol veya sağ testin sonucuna bağlı olarak. Sınıf tahmin (m f) içeren bir yaprak düğüm ulaşana kadar ağaç geçme devam ediyoruz

Eğer adı yokAmrobu ağaç, test ederek başlayacağız." ^em>legth<7?" ve cevabı . em ^em>Evetyani biz aşağı gitmek şube. Şube sonraki test "ünlüler< sayısı;3?" yeniden değerlendirirdoğru. Bu bir yaprak düğüm m ve böylece tahmin etiketli çıkıyorerkekağaç 53 ** sonucu tahmin yani, biliyorum.

Karar ağacı built in a top-down fashion ama asıl soru nasıl bölmek için öznitelik seçme her düğüm at mı? Cevap bulma özelliği en iyi böler hedef sınıfa saf Olası çocuk düğümleri (yani: düğüm gelme içeren bir karışımı hem erkek hem de dişi, oldukça saf düğümleri ile sadece bir sınıf).

Bu tedbirsaflıkinformation denir. Temsil expected miktar information olacağını gerekli olup olmadığını belirlemek için yeni bir örnek (ilk adı) olması lazım gizli erkek ya da kadın, verilen örnek elde düğüm. Biz bunu hesaplamak düğüm de kadın ve erkek sınıfları sayısına göre.

Diğer yandan Entropy bir ölçüsüdürkirlilik(tersi). a/b değerleri ile binary class için tanımlanır:

Entropy = - p(a)*log(p(a)) - p(b)*log(p(b))

binary entropy function bu aşağıdaki şekil (rasgele değişkeni şu iki değerden birini alabilir) gösterilmiştir. Ulaştığı maksimum zaman olasılık p=1/2, yani p(X=a)=0.5 veya benzerp(X=b)=0.5 olan bir 50%/50% şans olması ya a b (belirsizlik miktarıdır). Entropi fonksiyonu olasılık p=1 ya da tam bir kesinlik ile p=0 (p(X=a)=1 p(X=a)=0 sırasıyla, ikinci p(X=b)=1 anlamına gelir) olduğunda sıfır en azından.

Tabii ki entropi tanımı, X N çıktıları (sadece iki) olan rassal bir değişken için genelleştirilmiş:

entropy

(formül log genellikle logarithm to the base 2) olarak alınır

Adı sınıflandırma bizim görevimiz, geri, hadi bir örneğe bakalım. Ağaç oluşturma işlemi sırasında bir noktada hayal, aşağıdaki split düşünüyorduk:

     ends-vowel
      [9m,5f]          <--- the [..,..] notation represents the class
    /          \            distribution of instances that reached a node
   =1          =0
 -------     -------
 [3m,4f]     [6m,1f]

Gördüğünüz gibi, ayrılmadan önce 9 erkek ve 5 kadın, yani P(m)=9/14 vardı P(f)=5/14. Entropi: bu tanıma göre

Entropy_before = - (5/14)*log2(5/14) - (9/14)*log2(9/14) = 0.9403

Bir sonraki entropi iki çocuk şube bakarak split göz önünde bulundurularak hesaplanan ile karşılaştırırız. ends-vowel=1, sol kolunda var:

Entropy_left = - (3/7)*log2(3/7) - (4/7)*log2(4/7) = 0.9852

ve ends-vowel=0, sağ Dalı vardır:

Entropy_right = - (6/7)*log2(6/7) - (1/7)*log2(1/7) = 0.5917

Biz birleştirmek Sol/Sağ entropi kullanarak numarasını örneklerini her şube olarak weight factor (7 örnekleri gitti ve 7 örnekleri gittim sağda) ve son entropi sonra bölünmüş:

Entropy_after = 7/14*Entropy_left   7/14*Entropy_right = 0.7885

Sonra bölünmüş önce entropi karşılaştırarak ve ne kadar bölme yaparak kazandık information gain, bir ölçü ya da belirli bir özelliği kullanarak elde ederiz:

Information_Gain = Entropy_before - Entropy_after = 0.1518

Seni yorumlayabilir yukarıdaki hesaplama aşağıdaki gibi: yaparak split ile end-vowels özelliği, mümkün müydü azaltmak belirsizlik içinde alt-ağaç tahmin sonucuna göre küçük bir miktar 0.1518 (ölçülen bits units of information).

Ağacın her bir düğümü, bu hesaplama her özelliği ve bu özellik için yapılıren büyük bilgi kazanmakgreedy bir şekilde bölünmüş (böylece üretmek lehine özellikleri için seçilmişsafentropi/düşük belirsizlik ile böler). Bu işlem gelen özyinelemeli olarak kök-düğüm aşağı, ve bir yaprak düğüm örnekleri hepsi aynı sınıfa sahip içeriyorsa durur uygulanan (daha da bölünmüş gerek yok).

Not atladım biraz details hangi ötesinde kapsam bu yazı da dahil olmak üzere nasıl idare numeric features, missing values, overfitting pruning ağaçlar, vb

Bunu Paylaş: