167:
31:
1021:
1750:
2862:
2237:
458:
1994:
3274:
2343:
2611:
773:
1622:
3025:
2088:
1880:
3373:
1519:
1614:
1327:
2691:
1453:
1394:
3104:
1203:
2370:
The above definition is for discrete random variables and just as valid in the case of continuous random variables. The continuous version of discrete joint entropy is called
2680:
2100:
1142:
1090:
762:
666:
325:
314:
290:
1888:
2913:
As in the discrete case the joint differential entropy of a set of random variables is smaller or equal than the sum of the entropies of the individual random variables:
707:
3115:
2485:
2450:
590:
2252:
2903:
2412:
2392:
1802:
1782:
555:
535:
515:
495:
266:
246:
178:
associated with correlated variables X and Y. The area contained by both circles is the joint entropy H(X,Y). The circle on the left (red and violet) is the
2496:
1760:
The joint entropy of a set of variables is less than or equal to the sum of the individual entropies of the variables in the set. This is an example of
1016:{\displaystyle \mathrm {H} (X_{1},...,X_{n})=-\sum _{x_{1}\in {\mathcal {X}}_{1}}...\sum _{x_{n}\in {\mathcal {X}}_{n}}P(x_{1},...,x_{n})\log _{2}}
1745:{\displaystyle \mathrm {H} {\bigl (}X_{1},\ldots ,X_{n}{\bigr )}\geq \max _{1\leq i\leq n}{\Bigl \{}\mathrm {H} {\bigl (}X_{i}{\bigr )}{\Bigr \}}}
1529:
The joint entropy of a set of variables is greater than or equal to the maximum of all of the individual entropies of the variables in the set.
2919:
2013:
1814:
153:
3289:
1461:
85:
2415:
112:
1535:
3465:
3427:
2905:. It is possible that the integral does not exist in which case we say that the differential entropy is not defined.
96:
3487:
2857:{\displaystyle h(X_{1},\ldots ,X_{n})=-\int f(x_{1},\ldots ,x_{n})\log f(x_{1},\ldots ,x_{n})\,dx_{1}\ldots dx_{n}}
186:
H(X|Y). The circle on the right (blue and violet) is H(Y), with the blue being H(Y|X). The violet is the
146:
1208:
3420:
Mathematical
Handbook for Scientists and Engineers: Definitions, Theorems, and Formulas for Reference and Review
166:
70:
1415:
201:
179:
122:
40:
1332:
139:
127:
3036:
2232:{\displaystyle \mathrm {H} (X_{1},\dots ,X_{n})=\sum _{k=1}^{n}\mathrm {H} (X_{k}|X_{k-1},\dots ,X_{1})}
1147:
453:{\displaystyle \mathrm {H} (X,Y)=-\sum _{x\in {\mathcal {X}}}\sum _{y\in {\mathcal {Y}}}P(x,y)\log _{2}}
2350:
101:
2633:
1989:{\displaystyle \mathrm {H} (X_{1},\ldots ,X_{n})\leq \mathrm {H} (X_{1})+\ldots +\mathrm {H} (X_{n})}
1805:
1095:
1043:
715:
599:
175:
295:
271:
3269:{\displaystyle h(X_{1},X_{2},\ldots ,X_{n})=\sum _{i=1}^{n}h(X_{i}|X_{1},X_{2},\ldots ,X_{i-1})}
671:
2354:
2455:
2420:
560:
3397:
2338:{\displaystyle \operatorname {I} (X;Y)=\mathrm {H} (X)+\mathrm {H} (Y)-\mathrm {H} (X,Y)\,}
65:
45:
8:
2005:
183:
50:
3401:
3280:
2888:
2397:
2377:
2244:
1787:
1767:
540:
520:
500:
480:
251:
231:
195:
187:
60:
22:
3461:
3423:
593:
2606:{\displaystyle h(X,Y)=-\int _{{\mathcal {X}},{\mathcal {Y}}}f(x,y)\log f(x,y)\,dxdy}
206:
117:
75:
3415:
226:
218:
3481:
1761:
171:
80:
3020:{\displaystyle h(X_{1},X_{2},\ldots ,X_{n})\leq \sum _{i=1}^{n}h(X_{i})}
1755:
1409:
The joint entropy of a set of random variables is a nonnegative number.
30:
2083:{\displaystyle \mathrm {H} (X|Y)=\mathrm {H} (X,Y)-\mathrm {H} (Y)\,}
1875:{\displaystyle \mathrm {H} (X,Y)\leq \mathrm {H} (X)+\mathrm {H} (Y)}
3414:
3109:
In the case of more than two random variables this generalizes to:
2882:
3279:
Joint differential entropy is also used in the definition of the
174:
showing additive, and subtractive relationships between various
3455:
16:
Measure of information in probability and information theory
1205:
is the probability of these values occurring together, and
3030:
The following chain rule holds for two random variables:
222:
205:
is a measure of the uncertainty associated with a set of
3368:{\displaystyle \operatorname {I} (X,Y)=h(X)+h(Y)-h(X,Y)}
3394:
Information theory, inferences, and learning algorithms
1514:{\displaystyle \mathrm {H} (X_{1},\ldots ,X_{n})\geq 0}
1999:
3292:
3118:
3039:
2922:
2891:
2694:
2636:
2499:
2458:
2423:
2400:
2380:
2255:
2103:
2016:
1891:
1817:
1790:
1770:
1756:
Less than or equal to the sum of individual entropies
1625:
1538:
1464:
1418:
1335:
1211:
1150:
1098:
1046:
776:
718:
674:
602:
563:
543:
523:
503:
483:
328:
298:
274:
254:
234:
1524:
3367:
3268:
3098:
3019:
2897:
2856:
2674:
2605:
2479:
2444:
2406:
2386:
2337:
2231:
2082:
1988:
1874:
1796:
1776:
1744:
1608:
1513:
1447:
1388:
1321:
1197:
1136:
1084:
1015:
756:
701:
660:
584:
549:
529:
509:
489:
452:
308:
284:
260:
240:
1764:. This inequality is an equality if and only if
1737:
1701:
3479:
1678:
1609:{\displaystyle \mathrm {H} (X,Y)\geq \max \left}
1562:
3456:Thomas M. Cover; Joy A. Thomas (18 July 2006).
2630:For more than two continuous random variables
3391:
2360:
1730:
1713:
1669:
1633:
147:
2353:, the joint entropy is generalized into the
3451:
3449:
3447:
3445:
3443:
3441:
3439:
2004:Joint entropy is used in the definition of
1322:{\displaystyle P(x_{1},...,x_{n})\log _{2}}
2372:joint differential (or continuous) entropy
154:
140:
2824:
2590:
2334:
2079:
3436:
2414:be a continuous random variables with a
596:of these values occurring together, and
165:
3418:; Korn, Granino Arthur (January 2000).
1448:{\displaystyle \mathrm {H} (X,Y)\geq 0}
3480:
3283:between continuous random variables:
2243:It is also used in the definition of
2685:
2490:
1389:{\displaystyle P(x_{1},...,x_{n})=0}
767:
319:
3408:
2000:Relations to other entropy measures
712:For more than two random variables
86:Limiting density of discrete points
13:
3293:
3099:{\displaystyle h(X,Y)=h(X|Y)+h(Y)}
2682:the definition is generalized to:
2541:
2531:
2416:joint probability density function
2315:
2298:
2281:
2256:
2169:
2105:
2066:
2043:
2018:
1966:
1936:
1893:
1859:
1842:
1819:
1707:
1627:
1588:
1571:
1540:
1466:
1420:
1198:{\displaystyle P(x_{1},...,x_{n})}
893:
850:
778:
388:
368:
330:
301:
277:
14:
3499:
2452:. The differential joint entropy
1525:Greater than individual entropies
97:Asymptotic equipartition property
3422:. New York: Dover Publications.
1404:
29:
2908:
2675:{\displaystyle X_{1},...,X_{n}}
2365:
1137:{\displaystyle X_{1},...,X_{n}}
1085:{\displaystyle x_{1},...,x_{n}}
757:{\displaystyle X_{1},...,X_{n}}
661:{\displaystyle P(x,y)\log _{2}}
113:Shannon's source coding theorem
3460:. Hoboken, New Jersey: Wiley.
3458:Elements of Information Theory
3385:
3362:
3350:
3341:
3335:
3326:
3320:
3311:
3299:
3263:
3211:
3197:
3167:
3122:
3093:
3087:
3078:
3071:
3064:
3055:
3043:
3014:
3001:
2971:
2926:
2870:
2821:
2789:
2777:
2745:
2730:
2698:
2619:
2587:
2575:
2563:
2551:
2515:
2503:
2474:
2462:
2439:
2427:
2331:
2319:
2308:
2302:
2291:
2285:
2274:
2262:
2226:
2187:
2173:
2141:
2109:
2076:
2070:
2059:
2047:
2036:
2029:
2022:
1983:
1970:
1953:
1940:
1929:
1897:
1869:
1863:
1852:
1846:
1835:
1823:
1598:
1592:
1581:
1575:
1556:
1544:
1502:
1470:
1436:
1424:
1377:
1339:
1316:
1313:
1275:
1269:
1253:
1215:
1192:
1154:
1029:
1010:
1007:
969:
963:
947:
909:
820:
782:
690:
678:
655:
652:
640:
634:
618:
606:
579:
567:
466:
447:
444:
432:
426:
410:
398:
346:
334:
309:{\displaystyle {\mathcal {Y}}}
285:{\displaystyle {\mathcal {X}}}
71:Conditional mutual information
1:
3378:
2885:is taken over the support of
1399:
212:
182:H(X), with the red being the
123:Noisy-channel coding theorem
7:
10:
3504:
2361:Joint differential entropy
2351:quantum information theory
1806:statistically independent
1092:are particular values of
517:are particular values of
702:{\displaystyle P(x,y)=0}
3488:Entropy and information
128:Shannon–Hartley theorem
3392:D.J.C. Mackay (2003).
3369:
3270:
3193:
3100:
3021:
2997:
2899:
2858:
2676:
2607:
2481:
2480:{\displaystyle h(X,Y)}
2446:
2445:{\displaystyle f(x,y)}
2408:
2388:
2339:
2233:
2167:
2084:
1990:
1876:
1798:
1778:
1746:
1610:
1515:
1449:
1390:
1329:is defined to be 0 if
1323:
1199:
1138:
1086:
1017:
758:
703:
668:is defined to be 0 if
662:
586:
585:{\displaystyle P(x,y)}
551:
531:
511:
491:
454:
310:
286:
262:
242:
191:
102:Rate–distortion theory
3370:
3271:
3173:
3101:
3022:
2977:
2900:
2859:
2677:
2608:
2482:
2447:
2409:
2389:
2355:joint quantum entropy
2340:
2234:
2147:
2085:
1991:
1877:
1799:
1779:
1747:
1611:
1516:
1450:
1391:
1324:
1200:
1139:
1087:
1018:
759:
704:
663:
587:
552:
532:
512:
492:
455:
311:
287:
263:
243:
169:
3290:
3116:
3037:
2920:
2889:
2692:
2634:
2497:
2456:
2421:
2398:
2378:
2253:
2101:
2014:
1889:
1815:
1788:
1768:
1623:
1536:
1462:
1416:
1333:
1209:
1148:
1096:
1044:
774:
716:
672:
600:
561:
541:
521:
501:
481:
326:
296:
272:
252:
232:
176:information measures
66:Directed information
46:Differential entropy
3402:2003itil.book.....M
2006:conditional entropy
184:conditional entropy
51:Conditional entropy
3365:
3281:mutual information
3266:
3096:
3017:
2895:
2854:
2672:
2603:
2477:
2442:
2404:
2384:
2335:
2245:mutual information
2229:
2080:
1986:
1872:
1794:
1774:
1742:
1698:
1606:
1511:
1445:
1386:
1319:
1195:
1134:
1082:
1013:
905:
862:
754:
699:
658:
582:
547:
527:
507:
487:
450:
394:
374:
306:
282:
258:
238:
225:) of two discrete
196:information theory
192:
188:mutual information
180:individual entropy
61:Mutual information
23:Information theory
2898:{\displaystyle f}
2878:
2877:
2627:
2626:
2407:{\displaystyle Y}
2387:{\displaystyle X}
1797:{\displaystyle Y}
1777:{\displaystyle X}
1677:
1037:
1036:
872:
829:
594:joint probability
550:{\displaystyle Y}
530:{\displaystyle X}
510:{\displaystyle y}
490:{\displaystyle x}
474:
473:
375:
355:
261:{\displaystyle Y}
241:{\displaystyle X}
164:
163:
3495:
3472:
3471:
3453:
3434:
3433:
3412:
3406:
3405:
3389:
3374:
3372:
3371:
3366:
3275:
3273:
3272:
3267:
3262:
3261:
3237:
3236:
3224:
3223:
3214:
3209:
3208:
3192:
3187:
3166:
3165:
3147:
3146:
3134:
3133:
3105:
3103:
3102:
3097:
3074:
3026:
3024:
3023:
3018:
3013:
3012:
2996:
2991:
2970:
2969:
2951:
2950:
2938:
2937:
2904:
2902:
2901:
2896:
2872:
2863:
2861:
2860:
2855:
2853:
2852:
2837:
2836:
2820:
2819:
2801:
2800:
2776:
2775:
2757:
2756:
2729:
2728:
2710:
2709:
2686:
2681:
2679:
2678:
2673:
2671:
2670:
2646:
2645:
2621:
2612:
2610:
2609:
2604:
2547:
2546:
2545:
2544:
2535:
2534:
2491:
2486:
2484:
2483:
2478:
2451:
2449:
2448:
2443:
2413:
2411:
2410:
2405:
2393:
2391:
2390:
2385:
2344:
2342:
2341:
2336:
2318:
2301:
2284:
2238:
2236:
2235:
2230:
2225:
2224:
2206:
2205:
2190:
2185:
2184:
2172:
2166:
2161:
2140:
2139:
2121:
2120:
2108:
2089:
2087:
2086:
2081:
2069:
2046:
2032:
2021:
1995:
1993:
1992:
1987:
1982:
1981:
1969:
1952:
1951:
1939:
1928:
1927:
1909:
1908:
1896:
1881:
1879:
1878:
1873:
1862:
1845:
1822:
1803:
1801:
1800:
1795:
1783:
1781:
1780:
1775:
1751:
1749:
1748:
1743:
1741:
1740:
1734:
1733:
1727:
1726:
1717:
1716:
1710:
1705:
1704:
1697:
1673:
1672:
1666:
1665:
1647:
1646:
1637:
1636:
1630:
1615:
1613:
1612:
1607:
1605:
1601:
1591:
1574:
1543:
1520:
1518:
1517:
1512:
1501:
1500:
1482:
1481:
1469:
1454:
1452:
1451:
1446:
1423:
1395:
1393:
1392:
1387:
1376:
1375:
1351:
1350:
1328:
1326:
1325:
1320:
1312:
1311:
1287:
1286:
1265:
1264:
1252:
1251:
1227:
1226:
1204:
1202:
1201:
1196:
1191:
1190:
1166:
1165:
1144:, respectively,
1143:
1141:
1140:
1135:
1133:
1132:
1108:
1107:
1091:
1089:
1088:
1083:
1081:
1080:
1056:
1055:
1031:
1022:
1020:
1019:
1014:
1006:
1005:
981:
980:
959:
958:
946:
945:
921:
920:
904:
903:
902:
897:
896:
886:
885:
861:
860:
859:
854:
853:
843:
842:
819:
818:
794:
793:
781:
768:
764:this expands to
763:
761:
760:
755:
753:
752:
728:
727:
708:
706:
705:
700:
667:
665:
664:
659:
630:
629:
591:
589:
588:
583:
557:, respectively,
556:
554:
553:
548:
536:
534:
533:
528:
516:
514:
513:
508:
496:
494:
493:
488:
468:
459:
457:
456:
451:
422:
421:
393:
392:
391:
373:
372:
371:
333:
320:
315:
313:
312:
307:
305:
304:
291:
289:
288:
283:
281:
280:
267:
265:
264:
259:
247:
245:
244:
239:
227:random variables
156:
149:
142:
118:Channel capacity
76:Relative entropy
33:
19:
18:
3503:
3502:
3498:
3497:
3496:
3494:
3493:
3492:
3478:
3477:
3476:
3475:
3468:
3454:
3437:
3430:
3416:Theresa M. Korn
3413:
3409:
3390:
3386:
3381:
3291:
3288:
3287:
3251:
3247:
3232:
3228:
3219:
3215:
3210:
3204:
3200:
3188:
3177:
3161:
3157:
3142:
3138:
3129:
3125:
3117:
3114:
3113:
3070:
3038:
3035:
3034:
3008:
3004:
2992:
2981:
2965:
2961:
2946:
2942:
2933:
2929:
2921:
2918:
2917:
2911:
2890:
2887:
2886:
2879:
2848:
2844:
2832:
2828:
2815:
2811:
2796:
2792:
2771:
2767:
2752:
2748:
2724:
2720:
2705:
2701:
2693:
2690:
2689:
2666:
2662:
2641:
2637:
2635:
2632:
2631:
2628:
2540:
2539:
2530:
2529:
2528:
2524:
2498:
2495:
2494:
2457:
2454:
2453:
2422:
2419:
2418:
2399:
2396:
2395:
2379:
2376:
2375:
2368:
2363:
2314:
2297:
2280:
2254:
2251:
2250:
2220:
2216:
2195:
2191:
2186:
2180:
2176:
2168:
2162:
2151:
2135:
2131:
2116:
2112:
2104:
2102:
2099:
2098:
2065:
2042:
2028:
2017:
2015:
2012:
2011:
2002:
1977:
1973:
1965:
1947:
1943:
1935:
1923:
1919:
1904:
1900:
1892:
1890:
1887:
1886:
1858:
1841:
1818:
1816:
1813:
1812:
1789:
1786:
1785:
1769:
1766:
1765:
1758:
1736:
1735:
1729:
1728:
1722:
1718:
1712:
1711:
1706:
1700:
1699:
1681:
1668:
1667:
1661:
1657:
1642:
1638:
1632:
1631:
1626:
1624:
1621:
1620:
1587:
1570:
1569:
1565:
1539:
1537:
1534:
1533:
1527:
1496:
1492:
1477:
1473:
1465:
1463:
1460:
1459:
1419:
1417:
1414:
1413:
1407:
1402:
1371:
1367:
1346:
1342:
1334:
1331:
1330:
1307:
1303:
1282:
1278:
1260:
1256:
1247:
1243:
1222:
1218:
1210:
1207:
1206:
1186:
1182:
1161:
1157:
1149:
1146:
1145:
1128:
1124:
1103:
1099:
1097:
1094:
1093:
1076:
1072:
1051:
1047:
1045:
1042:
1041:
1038:
1001:
997:
976:
972:
954:
950:
941:
937:
916:
912:
898:
892:
891:
890:
881:
877:
876:
855:
849:
848:
847:
838:
834:
833:
814:
810:
789:
785:
777:
775:
772:
771:
748:
744:
723:
719:
717:
714:
713:
673:
670:
669:
625:
621:
601:
598:
597:
562:
559:
558:
542:
539:
538:
522:
519:
518:
502:
499:
498:
482:
479:
478:
475:
417:
413:
387:
386:
379:
367:
366:
359:
329:
327:
324:
323:
300:
299:
297:
294:
293:
276:
275:
273:
270:
269:
253:
250:
249:
233:
230:
229:
219:Shannon entropy
215:
160:
17:
12:
11:
5:
3501:
3491:
3490:
3474:
3473:
3466:
3435:
3428:
3407:
3383:
3382:
3380:
3377:
3376:
3375:
3364:
3361:
3358:
3355:
3352:
3349:
3346:
3343:
3340:
3337:
3334:
3331:
3328:
3325:
3322:
3319:
3316:
3313:
3310:
3307:
3304:
3301:
3298:
3295:
3277:
3276:
3265:
3260:
3257:
3254:
3250:
3246:
3243:
3240:
3235:
3231:
3227:
3222:
3218:
3213:
3207:
3203:
3199:
3196:
3191:
3186:
3183:
3180:
3176:
3172:
3169:
3164:
3160:
3156:
3153:
3150:
3145:
3141:
3137:
3132:
3128:
3124:
3121:
3107:
3106:
3095:
3092:
3089:
3086:
3083:
3080:
3077:
3073:
3069:
3066:
3063:
3060:
3057:
3054:
3051:
3048:
3045:
3042:
3028:
3027:
3016:
3011:
3007:
3003:
3000:
2995:
2990:
2987:
2984:
2980:
2976:
2973:
2968:
2964:
2960:
2957:
2954:
2949:
2945:
2941:
2936:
2932:
2928:
2925:
2910:
2907:
2894:
2876:
2875:
2866:
2864:
2851:
2847:
2843:
2840:
2835:
2831:
2827:
2823:
2818:
2814:
2810:
2807:
2804:
2799:
2795:
2791:
2788:
2785:
2782:
2779:
2774:
2770:
2766:
2763:
2760:
2755:
2751:
2747:
2744:
2741:
2738:
2735:
2732:
2727:
2723:
2719:
2716:
2713:
2708:
2704:
2700:
2697:
2684:
2669:
2665:
2661:
2658:
2655:
2652:
2649:
2644:
2640:
2625:
2624:
2615:
2613:
2602:
2599:
2596:
2593:
2589:
2586:
2583:
2580:
2577:
2574:
2571:
2568:
2565:
2562:
2559:
2556:
2553:
2550:
2543:
2538:
2533:
2527:
2523:
2520:
2517:
2514:
2511:
2508:
2505:
2502:
2489:
2487:is defined as
2476:
2473:
2470:
2467:
2464:
2461:
2441:
2438:
2435:
2432:
2429:
2426:
2403:
2383:
2367:
2364:
2362:
2359:
2347:
2346:
2333:
2330:
2327:
2324:
2321:
2317:
2313:
2310:
2307:
2304:
2300:
2296:
2293:
2290:
2287:
2283:
2279:
2276:
2273:
2270:
2267:
2264:
2261:
2258:
2241:
2240:
2228:
2223:
2219:
2215:
2212:
2209:
2204:
2201:
2198:
2194:
2189:
2183:
2179:
2175:
2171:
2165:
2160:
2157:
2154:
2150:
2146:
2143:
2138:
2134:
2130:
2127:
2124:
2119:
2115:
2111:
2107:
2092:
2091:
2078:
2075:
2072:
2068:
2064:
2061:
2058:
2055:
2052:
2049:
2045:
2041:
2038:
2035:
2031:
2027:
2024:
2020:
2001:
1998:
1997:
1996:
1985:
1980:
1976:
1972:
1968:
1964:
1961:
1958:
1955:
1950:
1946:
1942:
1938:
1934:
1931:
1926:
1922:
1918:
1915:
1912:
1907:
1903:
1899:
1895:
1883:
1882:
1871:
1868:
1865:
1861:
1857:
1854:
1851:
1848:
1844:
1840:
1837:
1834:
1831:
1828:
1825:
1821:
1793:
1773:
1757:
1754:
1753:
1752:
1739:
1732:
1725:
1721:
1715:
1709:
1703:
1696:
1693:
1690:
1687:
1684:
1680:
1676:
1671:
1664:
1660:
1656:
1653:
1650:
1645:
1641:
1635:
1629:
1617:
1616:
1604:
1600:
1597:
1594:
1590:
1586:
1583:
1580:
1577:
1573:
1568:
1564:
1561:
1558:
1555:
1552:
1549:
1546:
1542:
1526:
1523:
1522:
1521:
1510:
1507:
1504:
1499:
1495:
1491:
1488:
1485:
1480:
1476:
1472:
1468:
1456:
1455:
1444:
1441:
1438:
1435:
1432:
1429:
1426:
1422:
1406:
1403:
1401:
1398:
1385:
1382:
1379:
1374:
1370:
1366:
1363:
1360:
1357:
1354:
1349:
1345:
1341:
1338:
1318:
1315:
1310:
1306:
1302:
1299:
1296:
1293:
1290:
1285:
1281:
1277:
1274:
1271:
1268:
1263:
1259:
1255:
1250:
1246:
1242:
1239:
1236:
1233:
1230:
1225:
1221:
1217:
1214:
1194:
1189:
1185:
1181:
1178:
1175:
1172:
1169:
1164:
1160:
1156:
1153:
1131:
1127:
1123:
1120:
1117:
1114:
1111:
1106:
1102:
1079:
1075:
1071:
1068:
1065:
1062:
1059:
1054:
1050:
1035:
1034:
1025:
1023:
1012:
1009:
1004:
1000:
996:
993:
990:
987:
984:
979:
975:
971:
968:
965:
962:
957:
953:
949:
944:
940:
936:
933:
930:
927:
924:
919:
915:
911:
908:
901:
895:
889:
884:
880:
875:
871:
868:
865:
858:
852:
846:
841:
837:
832:
828:
825:
822:
817:
813:
809:
806:
803:
800:
797:
792:
788:
784:
780:
766:
751:
747:
743:
740:
737:
734:
731:
726:
722:
698:
695:
692:
689:
686:
683:
680:
677:
657:
654:
651:
648:
645:
642:
639:
636:
633:
628:
624:
620:
617:
614:
611:
608:
605:
581:
578:
575:
572:
569:
566:
546:
526:
506:
486:
472:
471:
462:
460:
449:
446:
443:
440:
437:
434:
431:
428:
425:
420:
416:
412:
409:
406:
403:
400:
397:
390:
385:
382:
378:
370:
365:
362:
358:
354:
351:
348:
345:
342:
339:
336:
332:
318:
316:is defined as
303:
279:
257:
237:
214:
211:
162:
161:
159:
158:
151:
144:
136:
133:
132:
131:
130:
125:
120:
115:
107:
106:
105:
104:
99:
91:
90:
89:
88:
83:
78:
73:
68:
63:
58:
53:
48:
43:
35:
34:
26:
25:
15:
9:
6:
4:
3:
2:
3500:
3489:
3486:
3485:
3483:
3469:
3467:0-471-24195-4
3463:
3459:
3452:
3450:
3448:
3446:
3444:
3442:
3440:
3431:
3429:0-486-41147-8
3425:
3421:
3417:
3411:
3403:
3399:
3395:
3388:
3384:
3359:
3356:
3353:
3347:
3344:
3338:
3332:
3329:
3323:
3317:
3314:
3308:
3305:
3302:
3296:
3286:
3285:
3284:
3282:
3258:
3255:
3252:
3248:
3244:
3241:
3238:
3233:
3229:
3225:
3220:
3216:
3205:
3201:
3194:
3189:
3184:
3181:
3178:
3174:
3170:
3162:
3158:
3154:
3151:
3148:
3143:
3139:
3135:
3130:
3126:
3119:
3112:
3111:
3110:
3090:
3084:
3081:
3075:
3067:
3061:
3058:
3052:
3049:
3046:
3040:
3033:
3032:
3031:
3009:
3005:
2998:
2993:
2988:
2985:
2982:
2978:
2974:
2966:
2962:
2958:
2955:
2952:
2947:
2943:
2939:
2934:
2930:
2923:
2916:
2915:
2914:
2906:
2892:
2884:
2874:
2867:
2865:
2849:
2845:
2841:
2838:
2833:
2829:
2825:
2816:
2812:
2808:
2805:
2802:
2797:
2793:
2786:
2783:
2780:
2772:
2768:
2764:
2761:
2758:
2753:
2749:
2742:
2739:
2736:
2733:
2725:
2721:
2717:
2714:
2711:
2706:
2702:
2695:
2688:
2687:
2683:
2667:
2663:
2659:
2656:
2653:
2650:
2647:
2642:
2638:
2623:
2616:
2614:
2600:
2597:
2594:
2591:
2584:
2581:
2578:
2572:
2569:
2566:
2560:
2557:
2554:
2548:
2536:
2525:
2521:
2518:
2512:
2509:
2506:
2500:
2493:
2492:
2488:
2471:
2468:
2465:
2459:
2436:
2433:
2430:
2424:
2417:
2401:
2381:
2373:
2358:
2356:
2352:
2328:
2325:
2322:
2311:
2305:
2294:
2288:
2277:
2271:
2268:
2265:
2259:
2249:
2248:
2247:
2246:
2221:
2217:
2213:
2210:
2207:
2202:
2199:
2196:
2192:
2181:
2177:
2163:
2158:
2155:
2152:
2148:
2144:
2136:
2132:
2128:
2125:
2122:
2117:
2113:
2097:
2096:
2095:
2073:
2062:
2056:
2053:
2050:
2039:
2033:
2025:
2010:
2009:
2008:
2007:
1978:
1974:
1962:
1959:
1956:
1948:
1944:
1932:
1924:
1920:
1916:
1913:
1910:
1905:
1901:
1885:
1884:
1866:
1855:
1849:
1838:
1832:
1829:
1826:
1811:
1810:
1809:
1807:
1791:
1771:
1763:
1762:subadditivity
1723:
1719:
1694:
1691:
1688:
1685:
1682:
1674:
1662:
1658:
1654:
1651:
1648:
1643:
1639:
1619:
1618:
1602:
1595:
1584:
1578:
1566:
1559:
1553:
1550:
1547:
1532:
1531:
1530:
1508:
1505:
1497:
1493:
1489:
1486:
1483:
1478:
1474:
1458:
1457:
1442:
1439:
1433:
1430:
1427:
1412:
1411:
1410:
1405:Nonnegativity
1397:
1383:
1380:
1372:
1368:
1364:
1361:
1358:
1355:
1352:
1347:
1343:
1336:
1308:
1304:
1300:
1297:
1294:
1291:
1288:
1283:
1279:
1272:
1266:
1261:
1257:
1248:
1244:
1240:
1237:
1234:
1231:
1228:
1223:
1219:
1212:
1187:
1183:
1179:
1176:
1173:
1170:
1167:
1162:
1158:
1151:
1129:
1125:
1121:
1118:
1115:
1112:
1109:
1104:
1100:
1077:
1073:
1069:
1066:
1063:
1060:
1057:
1052:
1048:
1033:
1026:
1024:
1002:
998:
994:
991:
988:
985:
982:
977:
973:
966:
960:
955:
951:
942:
938:
934:
931:
928:
925:
922:
917:
913:
906:
899:
887:
882:
878:
873:
869:
866:
863:
856:
844:
839:
835:
830:
826:
823:
815:
811:
807:
804:
801:
798:
795:
790:
786:
770:
769:
765:
749:
745:
741:
738:
735:
732:
729:
724:
720:
710:
696:
693:
687:
684:
681:
675:
649:
646:
643:
637:
631:
626:
622:
615:
612:
609:
603:
595:
576:
573:
570:
564:
544:
524:
504:
484:
470:
463:
461:
441:
438:
435:
429:
423:
418:
414:
407:
404:
401:
395:
383:
380:
376:
363:
360:
356:
352:
349:
343:
340:
337:
322:
321:
317:
255:
235:
228:
224:
220:
210:
208:
204:
203:
197:
189:
185:
181:
177:
173:
170:A misleading
168:
157:
152:
150:
145:
143:
138:
137:
135:
134:
129:
126:
124:
121:
119:
116:
114:
111:
110:
109:
108:
103:
100:
98:
95:
94:
93:
92:
87:
84:
82:
79:
77:
74:
72:
69:
67:
64:
62:
59:
57:
56:Joint entropy
54:
52:
49:
47:
44:
42:
39:
38:
37:
36:
32:
28:
27:
24:
21:
20:
3457:
3419:
3410:
3393:
3387:
3278:
3108:
3029:
2912:
2880:
2868:
2629:
2617:
2371:
2369:
2348:
2242:
2093:
2003:
1759:
1528:
1408:
1039:
1027:
711:
476:
464:
268:with images
216:
199:
193:
172:Venn diagram
81:Entropy rate
55:
3379:References
2909:Properties
2366:Definition
1400:Properties
217:The joint
213:Definition
3345:−
3297:
3256:−
3242:…
3175:∑
3152:…
2979:∑
2975:≤
2956:…
2839:…
2806:…
2784:
2762:…
2740:∫
2737:−
2715:…
2570:
2526:∫
2522:−
2312:−
2260:
2211:…
2200:−
2149:∑
2126:…
2063:−
1960:…
1933:≤
1914:…
1839:≤
1692:≤
1686:≤
1675:≥
1652:…
1560:≥
1506:≥
1487:…
1440:≥
1267:
961:
888:∈
874:∑
845:∈
831:∑
827:−
632:
424:
384:∈
377:∑
364:∈
357:∑
353:−
207:variables
3482:Category
2883:integral
3398:Bibcode
592:is the
202:entropy
190:I(X;Y).
41:Entropy
3464:
3426:
2374:. Let
1040:where
477:where
200:joint
3462:ISBN
3424:ISBN
2881:The
2871:Eq.4
2620:Eq.3
2394:and
2094:and
1804:are
1784:and
1030:Eq.2
537:and
497:and
467:Eq.1
292:and
248:and
223:bits
221:(in
2781:log
2567:log
2349:In
1679:max
1563:max
1258:log
952:log
623:log
415:log
194:In
3484::
3438:^
3396:.
2357:.
1808:.
1396:.
709:.
209:.
198:,
3470:.
3432:.
3404:.
3400::
3363:)
3360:Y
3357:,
3354:X
3351:(
3348:h
3342:)
3339:Y
3336:(
3333:h
3330:+
3327:)
3324:X
3321:(
3318:h
3315:=
3312:)
3309:Y
3306:,
3303:X
3300:(
3294:I
3264:)
3259:1
3253:i
3249:X
3245:,
3239:,
3234:2
3230:X
3226:,
3221:1
3217:X
3212:|
3206:i
3202:X
3198:(
3195:h
3190:n
3185:1
3182:=
3179:i
3171:=
3168:)
3163:n
3159:X
3155:,
3149:,
3144:2
3140:X
3136:,
3131:1
3127:X
3123:(
3120:h
3094:)
3091:Y
3088:(
3085:h
3082:+
3079:)
3076:Y
3072:|
3068:X
3065:(
3062:h
3059:=
3056:)
3053:Y
3050:,
3047:X
3044:(
3041:h
3015:)
3010:i
3006:X
3002:(
2999:h
2994:n
2989:1
2986:=
2983:i
2972:)
2967:n
2963:X
2959:,
2953:,
2948:2
2944:X
2940:,
2935:1
2931:X
2927:(
2924:h
2893:f
2873:)
2869:(
2850:n
2846:x
2842:d
2834:1
2830:x
2826:d
2822:)
2817:n
2813:x
2809:,
2803:,
2798:1
2794:x
2790:(
2787:f
2778:)
2773:n
2769:x
2765:,
2759:,
2754:1
2750:x
2746:(
2743:f
2734:=
2731:)
2726:n
2722:X
2718:,
2712:,
2707:1
2703:X
2699:(
2696:h
2668:n
2664:X
2660:,
2657:.
2654:.
2651:.
2648:,
2643:1
2639:X
2622:)
2618:(
2601:y
2598:d
2595:x
2592:d
2588:)
2585:y
2582:,
2579:x
2576:(
2573:f
2564:)
2561:y
2558:,
2555:x
2552:(
2549:f
2542:Y
2537:,
2532:X
2519:=
2516:)
2513:Y
2510:,
2507:X
2504:(
2501:h
2475:)
2472:Y
2469:,
2466:X
2463:(
2460:h
2440:)
2437:y
2434:,
2431:x
2428:(
2425:f
2402:Y
2382:X
2345:.
2332:)
2329:Y
2326:,
2323:X
2320:(
2316:H
2309:)
2306:Y
2303:(
2299:H
2295:+
2292:)
2289:X
2286:(
2282:H
2278:=
2275:)
2272:Y
2269:;
2266:X
2263:(
2257:I
2239:.
2227:)
2222:1
2218:X
2214:,
2208:,
2203:1
2197:k
2193:X
2188:|
2182:k
2178:X
2174:(
2170:H
2164:n
2159:1
2156:=
2153:k
2145:=
2142:)
2137:n
2133:X
2129:,
2123:,
2118:1
2114:X
2110:(
2106:H
2090:,
2077:)
2074:Y
2071:(
2067:H
2060:)
2057:Y
2054:,
2051:X
2048:(
2044:H
2040:=
2037:)
2034:Y
2030:|
2026:X
2023:(
2019:H
1984:)
1979:n
1975:X
1971:(
1967:H
1963:+
1957:+
1954:)
1949:1
1945:X
1941:(
1937:H
1930:)
1925:n
1921:X
1917:,
1911:,
1906:1
1902:X
1898:(
1894:H
1870:)
1867:Y
1864:(
1860:H
1856:+
1853:)
1850:X
1847:(
1843:H
1836:)
1833:Y
1830:,
1827:X
1824:(
1820:H
1792:Y
1772:X
1738:}
1731:)
1724:i
1720:X
1714:(
1708:H
1702:{
1695:n
1689:i
1683:1
1670:)
1663:n
1659:X
1655:,
1649:,
1644:1
1640:X
1634:(
1628:H
1603:]
1599:)
1596:Y
1593:(
1589:H
1585:,
1582:)
1579:X
1576:(
1572:H
1567:[
1557:)
1554:Y
1551:,
1548:X
1545:(
1541:H
1509:0
1503:)
1498:n
1494:X
1490:,
1484:,
1479:1
1475:X
1471:(
1467:H
1443:0
1437:)
1434:Y
1431:,
1428:X
1425:(
1421:H
1384:0
1381:=
1378:)
1373:n
1369:x
1365:,
1362:.
1359:.
1356:.
1353:,
1348:1
1344:x
1340:(
1337:P
1317:]
1314:)
1309:n
1305:x
1301:,
1298:.
1295:.
1292:.
1289:,
1284:1
1280:x
1276:(
1273:P
1270:[
1262:2
1254:)
1249:n
1245:x
1241:,
1238:.
1235:.
1232:.
1229:,
1224:1
1220:x
1216:(
1213:P
1193:)
1188:n
1184:x
1180:,
1177:.
1174:.
1171:.
1168:,
1163:1
1159:x
1155:(
1152:P
1130:n
1126:X
1122:,
1119:.
1116:.
1113:.
1110:,
1105:1
1101:X
1078:n
1074:x
1070:,
1067:.
1064:.
1061:.
1058:,
1053:1
1049:x
1032:)
1028:(
1011:]
1008:)
1003:n
999:x
995:,
992:.
989:.
986:.
983:,
978:1
974:x
970:(
967:P
964:[
956:2
948:)
943:n
939:x
935:,
932:.
929:.
926:.
923:,
918:1
914:x
910:(
907:P
900:n
894:X
883:n
879:x
870:.
867:.
864:.
857:1
851:X
840:1
836:x
824:=
821:)
816:n
812:X
808:,
805:.
802:.
799:.
796:,
791:1
787:X
783:(
779:H
750:n
746:X
742:,
739:.
736:.
733:.
730:,
725:1
721:X
697:0
694:=
691:)
688:y
685:,
682:x
679:(
676:P
656:]
653:)
650:y
647:,
644:x
641:(
638:P
635:[
627:2
619:)
616:y
613:,
610:x
607:(
604:P
580:)
577:y
574:,
571:x
568:(
565:P
545:Y
525:X
505:y
485:x
469:)
465:(
448:]
445:)
442:y
439:,
436:x
433:(
430:P
427:[
419:2
411:)
408:y
405:,
402:x
399:(
396:P
389:Y
381:y
369:X
361:x
350:=
347:)
344:Y
341:,
338:X
335:(
331:H
302:Y
278:X
256:Y
236:X
155:e
148:t
141:v
Text is available under the Creative Commons Attribution-ShareAlike License. Additional terms may apply.
