信息论习题解答
说明:文章内容仅供预览,部分内容可能不全。下载后的文档,内容与下面显示的完全一致。下载之前请确认下面内容是否您想要的,是否完整无缺。
第二章 信息量和熵 2.2 八元编码系统,码长为3,第一个符号用于同步,每秒1000个码字,求它的信息速率。 解:同步信息均相同,不含信息,因此 每个码字的信息量为 2log8=23=6 bit 因此,信息速率为 61000=6000 bit/s 2.3 掷一对无偏骰子,告诉你得到的总的点数为:(a) 7; (b) 12。问各得到多少信息量。 解:(1) 可能的组合为 {1,6},{2,5},{3,4},{4,3},{5,2},{6,1} p(a)=61= 3661=log6=2.585 bit p(a)得到的信息量 =log (2) 可能的唯一,为 {6,6} p(b)=1 361=log36=5.17 bit p(b) 得到的信息量=log 2.4 经过充分洗牌后的一副扑克(52张),问: (a) 任何一种特定的排列所给出的信息量是多少? (b) 若从中抽取13张牌,所给出的点数都不相同时得到多少信息量? 解:(a) p(a)=1 52!1=log52!=225.58 bit p(a) 信息量=log13!13种点数任意排列 (b) 13 4花色任选13!413413 p(b)==13 13A52C521313 信息量=logC52log4=13.208 bit 2.9 随机掷3颗骰子,X表示第一颗骰子的结果,Y表示第一和第二颗骰子的点数之和,Z表示3颗骰子的点数之和,试求H(Z|Y)、H(X|Y)、H(Z|X,Y)、H(X,Z|Y)、H(Z|X)。 解:令第一第二第三颗骰子的结果分别为x1,x2,x3,x1,x2,x3相互独立,则Xx1,Yx1x2,Zx1x2x3 H(Z|Y)=H(x3)=log6=2.585 bit H(Z|X)=H(x2x3)=H(Y) =2(12345366log36+log18+log12+log9+loglog6 )+3636363636536 =3.2744 bit — H(X|Y)=H(X)-I(X;Y)=H(X)-[H(Y)-H(Y|X)] 而H(Y|X)=H(X),所以H(X|Y)= 2H(X)-H(Y)=1.8955 bit 或H(X|Y)=H(XY)-H(Y)=H(X)+H(Y|X)-H(Y) 而H(Y|X)=H(X) ,所以H(X|Y)=2H(X)-H(Y)=1.8955 bit H(Z|X,Y)=H(Z|Y)=H(X)=2.585 bit H(X,Z|Y)=H(X|Y)+H(Z|XY)=1.8955+2.585=4.4805 bit 2.10 设一个系统传送10个数字,0,1,…,9。奇数在传送过程中以0.5的概率错成另外一个奇数,其余正确接收,求收到一个数字平均得到的信息量。 解: X信道Yi1,3,5,7,9Χi0,2,4,6,8√I(X;Y)=H(Y)-H(Y|X) 因为输入等概,由信道条件可知, 1p(yii为奇数)101 p(yii为偶数)110(128181818)110即输出等概,则H(Y)=log10 H(Y|X)=j)logp(yj|xi) ip(xiyj =p(xiyj)logp(yj|xi)-(xiyj)logp(yj|xi) ji偶pji奇 =0-p(xiyj)logp(yj|xi) ji奇 = -p(xi)p(yi|xi)logp(yi|xi)-(xi)p(yj|xi)logp(yj|xi)i1,3,5,7,9iji=1,p3,5,7,9 =11012log25+1111024log845 =1344=1 bit I(X;Y)=H(Y)-H(Y|X)=log10 -1=log5=2.3219 bit 2.11 令{u1,u2,,u8}为一等概消息集,各消息相应被编成下述二元码字 u1=0000,u2=0011,u3=0101,u4=0110, u5=1001,u6=1010,u7=1100,u8=1111 通过转移概率为p的BSC传送。求: (a)接收到的第一个数字0与u1之间的互信息量。 (b)接收到的前二个数字00与u1之间的互信息量。 (c)接收到的前三个数字000与u1之间的互信息量。 (d)接收到的前四个数字0000与u1之间的互信息量。 解: 欢迎下载 2 I(u(u000) 即1;0),I1;00),I(u1;,I(u1;0000) p(0)=18(1p)4+18p4=12 I(up(0|u1)1p1;0)=logp(0)=log1=1+log(1p) bit 2 p(00)=18[2(1p)24(1p)p2p2]=14 up(00|u1)(1p)2I(1;00)=logp(00)=log1/4=2[1log(1p)] bit p(000)=1[(1p)33(1p)2p3(1p)p218p3]=8 I(u1;000)=3[1+log(1p)] bit p(0000)=18[(1p)46(1p)2p2p4] 8(1p)4I(u1;0000)=log(1p)46(1p)2p2p4 bit 2.12 计算习题2.9中I(Y;Z)、I(X;Z)、I(X,Y;Z)、I(Y;Z|X)、I(X;Z|Y)。解:根据题2.9分析 H(Z)=2(13216216log216+216log3+6216216log6+10216216log10+ 1521621216log15+216log21621+25216216log25+27216216log27) =3.5993 bit I(Y;Z)=H(Z)-H(Z|Y)=H(Z)-H(X)=1.0143 bit I(X;Z)=H(Z)-H(Z|X)=H(Z)-H(Y)=0.3249 bit I(X,Y;Z)=H(Z)-H(Z|XY)=H(Z)-H(X)=1.0143 bit I(Y;Z|X)=H(Z|X)-H(Z|XY)=H(Y)-H(X)=0.6894 bit I(X;Z|Y)=H(Z|Y)-H(Z|XY)=H(X)-H(X)=0 bit 2.14 对于任意概率事件集X,Y,Z,证明下述关系式成立 (a)H(Y,Z|X)H(Y|X)+H(Z|X),给出等号成立的条件 (b)H(Y,Z|X)=H(Y|X)+H(Z|X,Y) (c)H(Z|X,Y)H(Z|X) 证明:(b) H(Y,Z|X)=-p(xyz)logp(yz|x) xyz欢迎下载 — 3 — =- =-p(xyz)log[p(y|x)p(z|xy)] xyzp(xyz)logp(y|x)-p(xyz)logp(z|xy) xyzxyz =H(Y|X)+H(Z|XY) (c) H(Z|X,Y)=-p(xyz)logp(z|xy) xyz =p(xy)[-z|xy)] xyp(z|xy)logp(z p(xy)[-p(z|x)logp(z|x)] xyz =-p(xyz)logp(z|x) xyz =H(Z|X) 当p(z|xy)=p(z|x),即X给定条件下,Y与Z相互独立时等号成立 (a) 上式(c)左右两边加上H(Y|X),可得 H(Y|X)+H(Z|X,Y)H(Y|X)+H(Z|X) 于是H(Y,Z|X)H(Y|X)+H(Z|X) 1,12.28 令概率空间X11,令Y2,2是连续随机变量。已知条件概率密度为 y|x) p(14,2yx2,求: 0,其他 (a)Y的概率密度(y) (b)I(X;Y) (c) 若对Y做如下硬判决 1,y V10,1y1 1,y1 求I(X;V),并对结果进行解释。 解:(a) 由已知,可得 p(y|x1)=13y1 40else p(y|x1)=141y3 0else (y)=p(x1)p(y|x1)+p(x1)p(y|x1) 欢迎下载 4 — 183y111y1 =4 11y380else1111 (b) HC(Y)=log82log4=2.5 bit 8341 HC(Y|X)=p(x1) p(x1) =13p(y|x1)logp(y|x1)dy 31p(y|x1)logp(y|x1)dy 11111311logdylogdy =2 bit 31244244 I(X;Y)=HC(Y)-HC(Y|X)=0.5 bit (c) 由(y)可得到V的分布律 V p 再由p(y|x)可知 V p(V|x=-1) p(V|x=1) -1 1/4 -1 1/2 0 0 1/2 0 1/2 1/2 1 1/4 1 0 1/2 11log22log41.5 bit 24111 H(V|X)[log2log2]2=1 bit 222 I(X;V)=H(V)H(V|X)= 0.5 bit H(V) 2.29 令Q1(x)和Q2(x)是同一事件集U上的两个概率分布,相应的熵分别为H(U)1和H(U)2。 (a)对于01,证明Q(x)=Q1(x)+(1)Q2(x)是概率分布 (b)H(U)是相应于分布Q(x)的熵,试证明H(U)H(U)1+(1)H(U)2 证明:(a) 由于Q1(x)和Q2(x)是同一事件集U上的两个概率分布,于是 q1(x)0,q2(x)0 q(x)dx=1,q1xx2(x)dx=1 又01,则 q(x)=q1(x)+(1)q2(x)0 q(x)dx=q(x)dx+(1)q1xxx2(x)dx=1 因此,Q(x)是概率分布。 欢迎下载 5 — (b) H(U)=[q1(x)(1)q2(x)]log[q1(x)(1)q2(x)]dx x =q1(x)log[q1(x)(1)q2(x)]dx x(1)q2(x)log[q1(x)(1)q2(x)]dx x q1(x)logq1(x)dx(1)q2(x)logq2(x)dx (引理2) xx =H(U)1+(1)H(U)2 欢迎下载 6 — 第三章 信源编码——离散信源无失真编码 ND(D1)3.1 试证明长为N的D元等长码至多有D1N个码字。 证:①在D元码树上,第一点节点有D个,第二级有错误!未找到引用源。,每个节点D(1DN)D(DN1)对应一个码字,若最长码有N,则函数有D==,此1DD1i1i时,所有码字对应码树中的所有节点。 ②码长为1的D个;码长为2的D2个,…,码长为N的DN个 D(DN1)∴总共D=个 D1i1Ni a2a1,3.2 设有一离散无记忆信源U。若对其输出的长为100的事件序列中含0.004,0.996有两个或者少于两个a1的序列提供不同的码字。 (a) 在等长编码下,求二元码的最短码长。 (b) 求错误概率(误组率)。 解: (a)不含a1的序列 1个 长为100的序列中含有1个a1的序列 错误!未找到引用源。=100个 2长为100的序列中含有2个a1的序列 C100=4950个 ∴所需提供码的总数M=1+100+4950=5051 于是采用二元等长编码NlogM =12.3,故取N=13 logD(b)当长度为100的序列中含有两个或更多错误!未找到引用源。的a1时出现错误, 因此错误概率为 012(0.996)100-C100(0.004)(0.996)99C100(0.004)2(0.996)98 Pe=1C100=7.77510 3a1,a23.3 设有一离散无记忆信源,U=13,其熵为H(U)。考察其长为L的输出序列,当,44LL0时满足下式 I(uL)PrH(U) L(a)在=0.05,=0.1下求L0 (b)在=10,=10下求L0 (c)令T是序列uL的集合,其中 38I(uL)H(U) L 试求L=L0时情况(a)(b)下,T中元素个数的上下限。 解:H(U)=134==0.81 bit log4logplogpkk4437 欢迎下载 错误!未找到引用源。E[I(ak)] =H(U) 22I=E{[I(ak)H(U)]2}=E[I(ak)]-H2(U) =p2k(logp2k)H(U) k =0.471 则根据契比雪夫大数定理 2PI(uL)rLH(U)IL2 (a) L=2I2=0.4710.1(0.05)2=1884 (b) L2I0.471132=8=4.7110 10(103)2(c) 由条件可知uL为典型序列,若设元素个数为MT,则根据定理 (1)2L(H(U))ML(H(U))T2 其中,,可知 (i) 0.1,0.05,L1884 下边界:(1)2L(H(U))0.921431..84 上边界:2L(H(U))=21620..24 故0.921431..84MT21620..24 (ii) 106,103,L4.711011 (1)2L(H(U))0.999923.811011 2L(H(U))=23.821011 故0.999923.811011M821011T23. 3.4 对于有4字母的离散无记忆信源有两个码A和码B,参看题表。 字母 概率 码A 码B a1 0.4 1 1 a2 0.3 01 10 a3 0.2 001 100 a4 0.1 0001 1000 (a) 各码是否满足异字头条件?是否为唯一可译码? (b) 当收到1时得到多少关于字母a1的信息? (c) 当收到1时得到多少关于信源的平均信息? 解:①码A是异头字码,而B为逗点码,都是唯一可译码。 ②码A I(ap(a1|1)1;1)log2p(alog121.32 bit 1)0.4码B I(ap(a1|1)p(1)p(a1,1;1)log2p(a)log1)0.42p(alog0 bit 1)p(11)p(1)0.41③码A U={a1,a2,a3,a4} 4 I(u;1)p(ak|1)I(ak;1)=p(a1|1)I(a1;1)0=1.32 bit k1欢迎下载 — 8 4 码B I(u;1)p(ak|1)I(ak;1)=0 bit k1(收到1后,只知道它是码字开头,不能得到关于U的信息。) 3.5 令离散无记忆信源 (a) 求最佳二元码,计算平均码长和编码效率。 Ua1a2a3a4a5a6a7a8a9a100.160.140.130.120.100.900.080.070.060.05(b) 求最佳三元码,计算平均码长和编码效率。 解:(a) 0.5800.42110.3100.2710.2300.191000a10.1600.15010a20.1401011a30.131100a040.120.1111001a50.10111a60.0910010a70.0800011a80.0711010a90.0601011a100.051H(U)pklogpk=3.234 bit 平均码长 npknk=3.26=RnlogD k效率 H(U)HR(U)nlogD99.2% (b) 欢迎下载 — 9 — 0.430.330.240001021012202122110111a1a201210.160.140.130.120.100.090.080.070.060.05kk0120.1101201 ka3a4102a5a6a7a8a9a10平均码长 npn=2.11 RnlogD=3.344 H(U)效率 96.6% R a1.........a2.........a3.....3.6 令离散无记忆信源 U 0.5...0.3.....0.2(a) 求对U的最佳二元码、平均码长和编码效率。 (b) 求对U的最佳二元码、平均码长和编码效率。 (c) 求对U的最佳二元码、平均码长和编码效率。 解:(a) 320.510001a10.5a20.301101 a30.2n=0.5×1+0.3×2+2×0.2=1.5 H(U)pklogpk1.485 bit H(U)99% R (b) ∵离散无记忆 ∴H(U1U2)=2H(U)=2.97 bit p(a1a1)=0.25, p(a1a2)=0.15, p(a1a3)=0.1, p(a2a1)=0.15, p(a2a2)=0.09 欢迎下载 10 — p(a2a3)=0.06, p(a3a1)=0.1, p(a3a2)=0.06, p(a3a3)=0.04 0.2510a1a10.300.5500.4510110.250.20.15010110010101101110000000101100111 a1a20.150.150.10.10.090.060.060.0401010.1a2a1a1a3a3a1a2a201a2a3a3a2a3a3 n2pknk3 n21.5 2H(U1U2)2.97==0.99 n2logD3n(c) 有关U最佳二元类似 略 3.7 令离散无记忆信源 3a1.........a2..........akU p(a1)p(a2)p(ai)且0≤P(a1)≤P(a2)≤…. ≤P(ak)<1。定义Qi=p(ak1i1k), i>1,而Q1=0,今按下述方法进行二元编码。消息ak的码字为实数Qk的二元数字表示序列的截短(例如1/2的二元数字表示序列为1/2→10000…,1/4→0100…),保留的截短序列长度nk是大于或等于I(ak)的最小整数。 a1...a2.......a3......a4......a5.......a6.......a7......a8.....构造码。 (a) 对信源U111111114,4,8,8,16,16,16,16(b) 证明上述编码法得到的码满足异字头条件,且平均码长n满足 欢迎下载 11 — H(U)≤n≤H(U)+1。 解:(a) 符号 a8 Qi 0 L 4 4 4 C 0000 0001 0010 a7 a6 a5 1 161 8316 4 0011 a4 14 4 0100 a3 38 3 011 a2 48 2 10 a1 34 2 11 (b) 反证法证明异字头条件 令k<k’,若ankk是ak的字头,则QkQk2 又由I(ak)nkI(anknk1k)1可知, 2pk2 从而得QkQk2nkpk 这与假设ak是ak的字头(即QkQkpk)相矛盾,故满足异字头条件。由已知可得 log1pn1klogp1 kk对不等号两边取概率平均可得 p1klogkpp1knkpklog1 kkkpk即 H(U)nH(U)1 3.8 扩展源DMC,Ua1.....a20.6,0.4 (a)求对U的最佳二元码、平均码长和编码效率。 (b)求对U2的最佳二元码、平均码长和编码效率。 (c)求对U3的最佳二元码、平均码长和编码效率。 (d)求对U4的最佳二元码、平均码长和编码效率。 解:(a) C10,C2=1,n=1 H(U)0.97 bit H(U)R97% (b) DMC信道 欢迎下载 12 — 00011011 a1a1a1a2a2a1a2a20.360.240.240.160.401010.6011 n22,n1, (c) H(U)97% n0.504010.4960.28801a1a1a11010.2160.1920.160.204011100000110010111001101 a1a1a2a1a2a1a2a1a1a1a2a20.1440.1440.1440.0960.0960.0960.064010110101a2a1a2a2a2a1a2a2a2n3=2.944 n=0.981 =98.85% (d) 略 3.9 设离散无记忆信源 UHuffman编码。 解: a2,....a3,......a4,....a5,...a6a1,.....试求其二元和三元0.3,..0.2,..0.15,..0.15,..0.1,..0.1欢迎下载 13 — 0.60.40.3010.20101101a10.311 a20.2 000 a30.15001 100 a0.154a50.1101 a60.1 0.30.20.150.150.10.101012110001022021a1aa0.201223aaa456 j3.11 设信源有K个等概的字母,其中K=2,12。今用Huffman编码法进行二元编码。 (a)是否存在有长度不为j或j+1的码字,为什么? (b)利用和j表示长为j+1的码字数目。 (c)码的平均长度是多少? 解:Huffman思想:将概率小的用长码,大的用短码,保证n↓,当等概时,趋于等长码。 a) 对1时,K=2j,则用长度为j码表示;当2时,用K=2j+1,用长度为j+1码表示。平均码长最短,则当12时,则介于两者之间,即只存在j,j+1长的码字。 b) 设长为j的码字个数为Nj,长度为j+1的码字数目为Nj+1,根据二元Huffman编码思想(必定占满整个码树),即 jNNK2j1j j(j1)1Nj2Nj12jj1从而Nj(2)2,Nj1(1)2 c) L 112NjjNj1(j1)=j2 KK13,p(1)。若信源输出序列为 443.12 设二元信源的字母概率为p(0) 1011 0111 1011 0111 (a) 对其进行算术编码并进行计算编码效率。 欢迎下载 14 — (b) 对其进行LZ编码并计算编码效率。 解: 1231(a) p(s)316 444124 根据递推公式 rrrF(ui1)F(ui)p(ui)F(ui1)rr可得如下表格 p(ui1)p(ui)p(ui1)其中,F(1)=0, F(1)= 3, p(0)=1, p(1)=3 欢迎下载 444ui p(ui) F(ui) 1 0 1 31 4 40 311 44316 4 1 33916464 1 9327644256 0 3345 1 3446 1 3547 1 3648 1 3749 0 37410 1 38411 1 39412 0 39413 1 310414 15 — 1 1 311 415312 164 1508125135 4160.0101100111100100 从而 C = 0101100111101 1 H(U)log43log4R4431399.85% 16 (b) 首先对信源序列进行分段: 1 0 11 01 111 011 0111 然后对其进行编码,编码字典如下所示 段号 短语 i j 编码 1 1 0 1 0001 2 0 0 0 0000 3 11 1 1 0011 4 01 2 1 0101 5 111 3 1 0111 6 011 4 1 1001 7 0111 6 1 1101 RnlogD17744 16H(U)14log434log430.8113bit H(U)R46.36% 3.13 设DMS为U=.a1..........a2........a3......a4,各a相应编成码字10、10、110和1110。2,..14,..18,..1i8试证明对足够长的信源输出序列,相应的码序列中0和1出现的概率相等。 解: 概率 信源符号 码字 1/2 a1 0 1/4 a2 10 1/8 a3 110 1/8 a4 1110 设信源序列长为N,则相应码字长为(条件是N要足够长) LNNN21428374N 相应码序列中0出现的次数 欢迎下载 16 — NNN7111N 2488L0∴ p(0)= L0L=12 p(1)=1-p(0)=12 3.14 设有一DMS, U=01 0.90.1 采用如下表的串长编码法进行编码 信源输出序列 0串长度(或中间数字) 输出二元码字 1 0 0000 01 1 0001 001 2 0010 … … … 00000001 7 0111 00000000 8 1 (a)求H(U)。 (b)求对于每个中间数字相应的信源数字的平均长度n。 1 (c)求每个中间数字对应的平均长度n。 2(d)说明码的唯一可译性。 解: (a) H(U)0.9log0.90.1log0.10.469 bit 由已知可得下表 先验 信源输出 0串长度 输出二元码字 概率 序列 (或中间数字) 0.1 1 0 0000 0.09 01 1 0001 0.081 001 2 0010 0.0729 0001 3 0011 0.0656 00001 4 0100 0.059 000001 5 0101 0.0531 0000001 6 0110 0.0478 00000001 7 0111 0.4305 000000001 8 1 (b) n110.120.980.43055.6953 bit (c) n210.43054(10.4305)2.7085 bit (d) 异字码头 第四章 信道及信道容量 4.1 计算由下述转移概率矩阵给定的DMC的容量。 欢迎下载 17 — p01p0 1pp(a)01pp1Q它是一对称信道,达到C需要输入等概,即p=3 ∴C log3p(jk)logp(jk) log3(1p)log(1p)plogplog3H(p) bit/符号 1p1pp(b) p2222pp1p1p 2222Q它是一对称信道 ∴Clog41p2log1p22pp2log22 2(1p)log1pp2plog21H(p) bit/符号 1p0(c)pp1p0 001它是分信道1pp和p1p1的和信道 C1log2(1p)log(1p)1H(p) C20 由2c2c12c2,可知Clog121H(p) bit/符号 欢迎下载 18 — 4.3求图中DMC的容量及最佳输入分布 3/401/41/31/3001/301/31/311/31/423/4221/3111/311/321/31/331/3(a) (b) 解:(a)由图知 341P30341P30014131401 334 Q发送符号1时等概率收到0,1,2, ∴传对与传错概率完全相同,即不携带任何信息量,于是信道简化为二元纯删除信道 141314031430343/414140 3401/411/413/42 C1q11/43/4 bit/符号 (b)由图知 1110333111 P03331110333Q为准对称 欢迎下载 19 — ∴当输入等概,即Q0Q1Q2此时0121时达到信道容量C 31122 33911133 333∴CI(x0,Y)p(j0)logjp(j0)j 11111123 =log3log3log3log bit/符号 232313329934.5 N个相同的BSC级联如图。 X0X1X2XN1XN各信道的转移概率矩阵知。 (a) 求Qt的表达式。 p1p。令Qtp{Xt0},t0,1,,N,且Q0为已p1p (b) 证明N时有QN1/2,且与Q0取值无关,从而证明N时的级联信道容量CN0(p0) 解:N个信道级联后BSC可表示为 1pN10pN1pN1011pN11N个级联可以看成N-1个级联后与第N个级联 1pN10pN1pN11p 0pp011pN111p1∴pN(1pN1)ppN1(1p)pN1(12p)p 同理可得 pN1pN2(12p)p pN2pN3(12p)p Mp2p1(12p)p 欢迎下载 20 — p1p 从而 pNpN1(12p)p[pN2(12p)p](12p)ppN2(12p)2p(12p)ppN3(12p)3p(12p)2p(12p)p p(12p)N1i0N1p(12p)ii0N2p(12p)i1(12p)N1(12p)Np1(12p)2(a) QNQ0(1pN)(1Q0)pNQ0(12Q0)pN1(12p)NQ0(12Q0)2(b) 1(12p)NlimQNlimQ0(12Q0)NN2 12Q01Q022因此与Q0无关。 由于 QNp{xN0}1 p{x00}(1pN)p{x01}pN21与p{x00}Q0无关,因此pN,C=0。 2 4.8 一PCM语音通信系统,已知信号带宽W=4000 Hz,采样频率为2W,且采用8级幅度量化,各级出现的概率为1/2,1/4,1/8,1/16,1/32,1/32,1/32,1/32。试求所需的信息速率. 解:H(V)111119plogplog2log4log8log164log32 bit kk24816324k9∴信息速率RfsH(V)800018000 bit/s 4 4.9 在数字电视编码中,若每帧为500行,每行划分成600个像素,每个像素采用8电平量化,且每秒传送30帧时,试求所需的信息速率。 解:每个像素信息量为Ilog83 bit 每秒传输30帧,即30500600910个像素 ∴R91032.710 bit/s 欢迎下载 21 676— 4.10 带宽为3 kHZ,信噪比为30 dB的电话系统,若传送时间为3分钟,试估计可能传送话音信息的数目。 解:(S)dB=30dB=103=1000 NS则CWlog(1)3000log(11000)R bit/s=29.9 Kb/s N又传送时间t=30分钟=180 s ∴信息量为29.9180=5.382 Mbit 54.12 若要以R=10bit/s的速率通过一个带宽为8 kHz、信噪比为31的连续信道传送,可否实现? 解:根据SHANNON公式 S)8000log3240 Kb/s N5当连续信道为高斯信道时,C10bit/s,于是不可实现;然而信道为非高斯信道时,
CWlog(1
其信道容量小于C,因此不能判定它与R的大小关系,从而不能确定能否实现。
欢迎下载
22
—
第五章 离散信道编码定理
5.1 设有一DMC,其转移概率矩阵为
1/21/31/61/61/21/3 1/31/61/2
若Q(x1)=1/2,Q(x2)Q(x3)=1/4,试求两种译码准则下的译码规则,并计算误码率。 解:
(1)最大后验概率译码准则
首先计算 p(xy)
p(x)p(yx)
p(y)
p(y111111317
1)2246438 p(y2)3 p(y3)
24p(x23 p(x12
1y1) 1y2)2 p(x1y3)7
p(x19 p(x32
2y1)2y2)8 p(x2y3)7
p(x213
3y1)9 p(x3y2)8 p(x3y3)7
Qp(x1y1)p(x3y1)p(x2y1)
p(x1y2)p(x2y2)p(x3y2) p(x3y3)p(x1y3)p(x2y3)
∴译码规则为
y1x1 y2x1 y3x3 ∴Pe
1126141413161124
(2)最大似然准则译码
计算p(yx)
Qp(y1x1)p(y1x3)p(y1x2)
p(y2x2)p(y2x1)p(y2x3) p(y3x3)p(y3x2)p(y3x1)
∴译码规则
y1x1 y2x2 y3x3
∴P1111111111e
2364634362
显然它不是最佳。
欢迎下载 23
—
第六章 线性分组码
6.1 设有4个消息a1,a2,a3,和a4被编成长为5的二元码00000,01101,10111,11010。试给出码的一致校验关系。若通过转移概率为p<1/2的BSC传送,试给出最佳译码表及相应的译码错误概率表示式。 解:
00
0000
0(1)CmG
0
1p00
p01p0210111pp0110
1112011 1
0p10
101111010
从而构造出G1101010010
01101H01011
00101
(2) 根据最小距离译码准则,可得伴随式与错误图样的对应关系如下
00100100 10110100 01001000 11000010 01100001 11100110 10010000 00000000
(3)P5432
e1(1p)5(1p)p2(1p)p
6.4 设二元(6,3)码的生成矩阵为
100011
G010001
01110
0
试给出它的一致校验矩阵为。
解:
001100H=101010 110001
欢迎下载 24
本文来源:https://www.wddqw.com/doc/844c62c3142ded630b1c59eef8c75fbfc77d94e5.html