信息论习题解答

时间:2022-05-28 14:07:13 阅读: 最新文章 文档下载
说明:文章内容仅供预览,部分内容可能不全。下载后的文档,内容与下面显示的完全一致。下载之前请确认下面内容是否您想要的,是否完整无缺。
第二章 信息量和熵

2.2 八元编码系统,码长为3,第一个符号用于同步,每秒1000个码字,求它的信息速率。

解:同步信息均相同,不含信息,因此

每个码字的信息量为 2log8=23=6 bit 因此,信息速率为 61000=6000 bit/s

2.3 掷一对无偏骰子,告诉你得到的总的点数为:(a) 7; (b) 12。问各得到多少信息量。

解:(1) 可能的组合为 {16},{25},{34},{43},{52},{61}

p(a)=

61= 366

1

=log6=2.585 bit p(a)

得到的信息量 =log

(2) 可能的唯一,为 {66} p(b)=

1 36

1

=log36=5.17 bit p(b)

得到的信息量=log



2.4 经过充分洗牌后的一副扑克(52张),问:

(a) 任何一种特定的排列所给出的信息量是多少?

(b) 若从中抽取13张牌,所给出的点数都不相同时得到多少信息量?

解:(a) p(a)=

1 52!

1

=log52!=225.58 bit p(a)

信息量=log

13!13种点数任意排列

(b) 13

4花色任选

13!413413

p(b)==13 13

A52C52

1313

信息量=logC52log4=13.208 bit



2.9 随机掷3颗骰子,X表示第一颗骰子的结果,Y表示第一和第二颗骰子的点数之和,Z

表示3颗骰子的点数之和,试求H(Z|Y)H(X|Y)H(Z|X,Y)H(X,Z|Y)

H(Z|X)

解:令第一第二第三颗骰子的结果分别为x1,x2,x3x1x2x3相互独立,Xx1

Yx1x2Zx1x2x3

H(Z|Y)=H(x3)=log6=2.585 bit H(Z|X)=H(x2x3)=H(Y) =2(

12345366

log36+log18+log12+log9+loglog6 )+3636363636536

=3.2744 bit






H(X|Y)=H(X)-I(X;Y)=H(X)-[H(Y)-H(Y|X)]

H(Y|X)=H(X),所以H(X|Y)= 2H(X)-H(Y)=1.8955 bit

H(X|Y)=H(XY)-H(Y)=H(X)+H(Y|X)-H(Y)

H(Y|X)=H(X) ,所以H(X|Y)=2H(X)-H(Y)=1.8955 bit

H(Z|X,Y)=H(Z|Y)=H(X)=2.585 bit

H(X,Z|Y)=H(X|Y)+H(Z|XY)=1.8955+2.585=4.4805 bit



2.10 设一个系统传送10个数字,019。奇数在传送过程中以0.5的概率错成另外

一个奇数,其余正确接收,求收到一个数字平均得到的信息量。

解:

X

信道

Y

i1,3,5,7,9Χ

i0,2,4,6,8



I(X;Y)=H(Y)-H(Y|X)



因为输入等概,由信道条件可知,



1p(yii为奇数)

10

1

p(yii为偶数)110(128181818)110即输出等概,则H(Y)=log10

H(Y|X)=

j

)logp(yj|xi)

i

p(xi

y

j

=p(xi

y

j

)logp(yj|xi)-(xiyj)logp(yj|xi) ji

pji

=0-p(xi

y

j

)logp(yj|xi)

ji

= -p(xi

)p(yi

|xi)logp(yi|xi)-(xi

)p(y

j

|xi)logp(yj|xi)i1,3,5,79



iji1p3579

=

11012log25+111

1024log845 =13

44

=1 bit

I(X;Y)=H(Y)-H(Y|X)=log10 -1=log5=2.3219 bit



2.11 {u1,u2,u8}为一等概消息集,各消息相应被编成下述二元码字 u1=0000u2=0011u3=0101u4=0110

u5=1001u6=1010u7=1100u8=1111

通过转移概率为pBSC传送。求:

(a)接收到的第一个数字0u1之间的互信息量。 (b)接收到的前二个数字00u1之间的互信息量。 (c)接收到的前三个数字000u1之间的互信息量。 (d)接收到的前四个数字0000u1之间的互信息量。 解:

欢迎下载

2




I(u(u000)

1;0)I1;00)I(u1;I(u1;0000) p(0)=18

(1p)4+18p4=12



I(up(0|u1)1p

1;0)=logp(0)

=log1=1+log(1p) bit

2

p(00)=18

[2(1p)24(1p)p2p2]=1

4

up(00|u1)(1p)2

I(1;00)=logp(00)=log1/4=2[1log(1p)] bit

p(000)=1[(1p)33(1p)2p3(1p)p21

8

p3]=8

I(u1;000)=3[1+log(1p)] bit

p(0000)=1

8

[(1p)46(1p)2p2p4]



8(1p)4

I(u1;0000)=log(1p)46(1p)2p2p

4

bit

2.12 计算习题2.9I(Y;Z)I(X;Z)I(X,Y;Z)I(Y;Z|X)I(X;Z|Y)解:根据题2.9分析

H(Z)=2(

13216216log216+216log3+6216216log6+10216

216log

10+ 1521621216log15+216log21621+25216216log25+27216

216log

27

) =3.5993 bit

I(Y;Z)=H(Z)-H(Z|Y)=H(Z)-H(X)=1.0143 bit I(X;Z)=H(Z)-H(Z|X)=H(Z)-H(Y)=0.3249 bit I(X,Y;Z)=H(Z)-H(Z|XY)=H(Z)-H(X)=1.0143 bit I(Y;Z|X)=H(Z|X)-H(Z|XY)=H(Y)-H(X)=0.6894 bit I(X;Z|Y)=H(Z|Y)-H(Z|XY)=H(X)-H(X)=0 bit

2.14 对于任意概率事件集X,Y,Z,证明下述关系式成立

(a)H(Y,Z|X)H(Y|X)+H(Z|X),给出等号成立的条件 (b)H(Y,Z|X)=H(Y|X)+H(Z|X,Y) (c)H(Z|X,Y)H(Z|X) 证明:(b) H(Y,Z|X)=-

p(xyz)logp(yz|x)

x

y

z

欢迎下载

3






=- =-

p(xyz)log[p(y|x)p(z|xy)]

x

y

z

p(xyz)logp(y|x)-p(xyz)logp(z|xy)

x

y

z

x

y

z

=H(Y|X)+H(Z|XY) (c) H(Z|X,Y)=-p(xyz)logp(z|xy)

x

y

z

=

p(xy)[-z|xy)]

x

y

p(z|xy)logp(z

p(xy)[-p(z|x)logp(z|x)]

x

y

z

=-

p(xyz)logp(z|x)

x

y

z

=H(Z|X)

p(z|xy)=p(z|x),即X给定条件下,YZ相互独立时等号成立 (a) 上式(c)左右两边加上H(Y|X),可得

H(Y|X)+H(Z|X,Y)H(Y|X)+H(Z|X) 于是H(Y,Z|X)H(Y|X)+H(Z|X)



1,1

2.28 令概率空间X11,令Y2,2是连续随机变量。已知条件概率密度为

y|x) p(14,2yx2

,求:

0,其他

(a)Y的概率密度(y) (b)I(X;Y)

(c) 若对Y做如下硬判决

1,y V

10,1y1



1,y1 I(X;V),并对结果进行解释。



解:(a) 由已知,可得

p(y|x1)=1

3y1

4

0else p(y|x1)=1

41y3



0else

(y)=p(x1)p(y|x1)+p(x1)p(y|x1)

欢迎下载 4




1

83y111y1

=4

1

1y380else

1111

(b) HC(Y)=log82log4=2.5 bit

8341

HC(Y|X)=p(x1) p(x1) =



1

3

p(y|x1)logp(y|x1)dy



3

1

p(y|x1)logp(y|x1)dy

11111311

logdylogdy =2 bit 31244244

I(X;Y)=HC(Y)-HC(Y|X)=0.5 bit (c) (y)可得到V的分布律

V p

再由p(y|x)可知

V p(V|x=-1) p(V|x=1)





-1 1/4

-1 1/2 0

0 1/2

0 1/2 1/2

1 1/4

1 0 1/2

11

log22log41.5 bit 24111

H(V|X)[log2log2]2=1 bit

222

I(X;V)=H(V)H(V|X)= 0.5 bit

H(V)



2.29 Q1(x)Q2(x)是同一事件集U上的两个概率分布,相应的熵分别为H(U)1

H(U)2

(a)对于01,证明Q(x)=Q1(x)+(1)Q2(x)是概率分布

(b)H(U)是相应于分布Q(x)的熵,试证明H(U)H(U)1+(1)H(U)2



证明:(a) 由于Q1(x)Q2(x)是同一事件集U上的两个概率分布,于是

q1(x)0q2(x)0



q(x)dx=1q

1x

x

2

(x)dx=1

01,则

q(x)=q1(x)+(1)q2(x)0

q(x)dx=q(x)dx+(1)q

1

x

x

x

2

(x)dx=1

因此,Q(x)是概率分布。

欢迎下载

5




(b) H(U)=[q1(x)(1)q2(x)]log[q1(x)(1)q2(x)]dx

x



=q1(x)log[q1(x)(1)q2(x)]dx

x



(1)q2(x)log[q1(x)(1)q2(x)]dx

x

q1(x)logq1(x)dx(1)q2(x)logq2(x)dx (引理2



x

x

=H(U)1+(1)H(U)2

欢迎下载 6




第三章 信源编码——离散信源无失真编码

N

D(D1)3.1 试证明长为ND元等长码至多有

D1

N

个码字。

证:①在D元码树上,第一点节点有D个,第二级有错误!未找到引用源。,每个节点

D(1DN)D(DN1)

对应一个码字,若最长码有N,则函数有D==,此

1DD1i1

i

时,所有码字对应码树中的所有节点。

②码长为1D个;码长为2D2个,,码长为NDN

D(DN1)

∴总共D=

D1i1

N

i



a2a1,

3.2 设有一离散无记忆信源U。若对其输出的长为100的事件序列中含

0.004,0.996

有两个或者少于两个a1的序列提供不同的码字。

(a) 在等长编码下,求二元码的最短码长。 (b) 求错误概率(误组率) : (a)不含a1的序列 1

长为100的序列中含有1a1的序列 错误!未找到引用源。=100

2

长为100的序列中含有2a1的序列 C100=4950

∴所需提供码的总数M=1+100+4950=5051 于是采用二元等长编码N

logM

=12.3,故取N=13 logD

(b)当长度为100的序列中含有两个或更多错误!未找到引用源。a1时出现错误, 因此错误概率为

012

(0.996)100-C100(0.004)(0.996)99C100(0.004)2(0.996)98 Pe=1C100

=7.77510



3

a1,a2



3.3 设有一离散无记忆信源,U=13,其熵为H(U)。考察其长为L的输出序列,当

,44

LL0时满足下式

I(uL)PrH(U) L

(a)=0.05=0.1下求L0

(b)=10=10下求L0 (c)T是序列uL的集合,其中

3

8

I(uL)

H(U) L

试求L=L0时情况(a)(b)下,T中元素个数的上下限。 解:H(U)=

134==0.81 bit log4logplogpkk

443

7

欢迎下载


错误!未找到引用源。E[I(ak)] =H(U)

22I=E{[I(ak)H(U)]2}=E[I(ak)]-H2(U)

=

p

2k

(logp2k)H(U)

k

=0.471

则根据契比雪夫大数定理

2

PI(uL)rLH(U)IL

2 (a) L=2I2=0.471

0.1(0.05)2

=1884

(b) L2I0.47113

2=8=4.7110

10(103)

2

(c) 由条件可知uL为典型序列,若设元素个数为MT,则根据定理

(1)2L(H(U))ML(H(U))T2

其中,可知

(i) 0.10.05L1884 下边界:(1)2L(H(U))

0.921431..84

上边界:2L(H(U)

)=21620..24

0.92

1431..84

MT21620..24 (ii) 106103L4.711011



(1)2L(H(U)

)0.999923.811011



2

L(H(U))

=2

3.821011



0.999923.811011

M821011

T23.



3.4 对于有4字母的离散无记忆信源有两个码A和码B,参看题表。

字母 概率 A B a1 0.4 1 1 a2 0.3 01 10 a3 0.2 001 100 a4 0.1 0001 1000

(a) 各码是否满足异字头条件?是否为唯一可译码?

(b) 当收到1时得到多少关于字母a1的信息?

(c) 当收到1时得到多少关于信源的平均信息?

解:①码A是异头字码,而B为逗点码,都是唯一可译码。

②码A I(ap(a1|1)1;1)log2

p(alog1

21.32 bit

1)0.4

B I(ap(a1|1)p(1)p(a1,1;1)log2

p(a)log1)0.4

2p(alog0 bit

1)p(11)p(1)0.41

③码A U=a1,a2,a3,a4

4

I(u;1)

p(a

k

|1)I(ak;1)=p(a1|1)I(a1;1)0=1.32 bit

k1

欢迎下载

8


4

B I(u;1)

p(a

k

|1)I(ak;1)=0 bit

k1

(收到1后,只知道它是码字开头,不能得到关于U的信息。



3.5 令离散无记忆信源

(a) 求最佳二元码,计算平均码长和编码效率。



Ua1

a2a3a4a5a6a7a8a9a10

0.160.14

0.13

0.12

0.10

0.90

0.08

0.07

0.060.05





(b) 求最佳三元码,计算平均码长和编码效率。

解:(a)

0.5800.421

10.31

00.271

0.2300.19

1

000a10.1600.15

010

a20.1401

011a30.131

100a040.12

0.1111001

a50.10111a60.091

0010a70.0800011a80.071

1010a90.0601011

a10

0.05

1

H(U)pklogpk=3.234 bit

平均码长 npkn

k

=3.26=RnlogD

k

效率

H(U)HR(U)

nlogD

99.2% (b)

欢迎下载

9






0.430.330.24

0001021012202122110111

a1a2

012

1

0.160.140.130.120.100.090.080.070.060.05

kk

012

0.11012

01



k

a3a4

1

02

a5a6a7a8a9a10

平均码长 n

pn

=2.11

RnlogD=3.344 H(U)

效率 96.6%

R



a1.........a2.........a3.....

3.6 令离散无记忆信源 U

0.5...0.3.....0.2

(a) 求对U的最佳二元码、平均码长和编码效率。 (b) 求对U的最佳二元码、平均码长和编码效率。 (c) 求对U的最佳二元码、平均码长和编码效率。

解:(a)

32

0.5

10001

a10.5a20.3

01

1

01



a30.2

n=0.5×1+0.3×2+2×0.2=1.5

H(U)pklogpk1.485 bit

H(U)99%

R

(b) ∵离散无记忆 H(U1U2)=2H(U)=2.97 bit

p(a1a1)=0.25, p(a1a

2

)=0.15, p(a1a3)=0.1, p(a

2

a1)=0.15, p(a

2

a

2

)=0.09

欢迎下载 10




p(a2a3)=0.06, p(a3a1)=0.1, p(a3a2)=0.06, p(a3a3)=0.04

0.25

10

a1a1

0.30

0.5500.45101

1

0.25

0.20.15

0101

1

0010101101110000000101100111



a1a2

0.150.150.10.10.090.060.060.04

01

010.1

a2a1

a1a3a3a1a2a2

01

a2a3a3a2a3a3



n2pknk3

n2

1.5 2

H(U1U2)2.97==0.99

n2logD3n

(c) 有关U最佳二元类似

3.7 令离散无记忆信源

3

a1.........a2..........akU

p(a1)p(a2)p(ai)

0≤P(a1)≤P(a2)≤…. ≤P(ak)<1。定义Qi=

p(a

k1

i1

k

), i>1,而Q1=0,今按下述方法

进行二元编码。消息ak的码字为实数Qk的二元数字表示序列的截短(例如1/2的二元数字表示序列为1/2→10000…1/4→0100…,保留的截短序列长度nk是大于或等I(ak)的最小整数。

a1...a2.......a3......a4......a5.......a6.......a7......a8.....构造码。

(a) 对信源U

111111114,4,8,8,16,16,16,16

(b) 证明上述编码法得到的码满足异字头条件,且平均码长n满足

欢迎下载

11




H(U)≤n≤H(U)+1

解:(a)

符号 a8

Qi 0

L 4 4 4 C 0000 0001 0010 a7 a6 a5

1 161 8316 4 0011 a4 14 4 0100 a3

38 3 011 a2 48 2 10 a1

34

2

11



(b) 反证法证明异字头条件

k<k,若ank

kak的字头,则QkQk2

又由I(ak)nkI(ank

nk1k)1可知, 2pk2

从而得QkQk2nk

pk

这与假设akak的字头(即QkQkpk)相矛盾,故满足异字头条件。由已知可得

log

1pn1klogp1 kk

对不等号两边取概率平均可得

p1klog

k

pp1knkpklog1 kkk

pk H(U)nH(U)1 3.8 扩展源DMCUa1.....a2

0.6,0.4



(a)求对U的最佳二元码、平均码长和编码效率。 (b)求对U2

的最佳二元码、平均码长和编码效率。 (c)求对U3

的最佳二元码、平均码长和编码效率。 (d)求对U4的最佳二元码、平均码长和编码效率。

解:(a) C10C2=1n=1

H(U)0.97 bit

H(U)R

97%

(b) DMC信道

欢迎下载

12






00011011



a1a1a1a2a2a1a2a2

0.360.240.240.16

0.401

01

0.60

1

1



n22n1

(c)

H(U)

97% n

0.504

01

0.496

0.288

01

a1a1a1

1

01

0.216

0.1920.16

0.204

0

11100000110010111001101



a1a1a2a1a2a1a2a1a1a1a2a2

0.1440.1440.1440.0960.0960.0960.064

01

01

1

0101

a2a1a2a2a2a1a2a2a2

n3=2.944 n=0.981

=98.85%

(d)

3.9 U

Huffman编码。

解:

a2,....a3,......a4,....a5,...a6a1,.....



0.3,..0.2,..0.15,..0.15,..0.1,..0.1

欢迎下载 13




0.6

0.40.30

1

0.201

01

1

01

a

1

0.3

11 a20.2 000 a30.15001 100

a0.15

4

a

5

0.1

101 a60.1



0.30.20.150.150.10.1

01

0

12

1

10001022021

a

1

aa

0.2012

2

3

a

a

a

4

5

6



j

3.11 设信源有K个等概的字母,其中K=2,12。今用Huffman编码法进行二元编

码。

a)是否存在有长度不为jj+1的码字,为什么? b)利用j表示长为j+1的码字数目。 c)码的平均长度是多少?

解:Huffman思想:将概率小的用长码,大的用短码,保证n,当等概时,趋于等长码。

a) 1时,K=2j,则用长度为j码表示;当2时,用K=2j+1,用长度为j+1码表示。平均码长最短,则当12时,则介于两者之间,即只存在jj+1的码字。

b) 设长为j的码字个数为Nj长度为j+1的码字数目为Nj+1根据二元Huffman编码

思想(必定占满整个码树),即

j

NNK2j1j

j(j1)

1Nj2Nj12

jj1

从而Nj(2)2Nj1(1)2



c L

112NjjNj1(j1)=j2 KK

13

p(1)。若信源输出序列为

44

3.12 设二元信源的字母概率为p(0)

1011 0111 1011 0111

(a) 对其进行算术编码并进行计算编码效率。

欢迎下载

14




(b) 对其进行LZ编码并计算编码效率。 解:

1231

(a) p(s)316

444

12

4

根据递推公式

rrrF(ui1)F(ui)p(ui)F(ui1)

rr可得如下表格

p(ui1)p(ui)p(ui1)

其中,F(1)=0 F(1)= 3 p(0)=1 p(1)=3

欢迎下载 4

4

4

ui

p(ui)

F(ui)



1

0 1 31 4 40 311 44316 4

1 339

164

64 1 9327

644

256

0 33

45 1 34

46 1 35

47 1 36

48 1 37

49 0 37

410 1 38

411 1 39

412 0 39

413 1

310

414



15




1 1

311

415312

164



1508125135

416

0.0101100111100100

从而 C = 0101100111101

1 H(U)log43log

4R



4431399.85% 16

(b) 首先对信源序列进行分段:

1 0 11 01 111 011 0111

然后对其进行编码,编码字典如下所示

段号 短语 i j 编码

1 1 0 1 0001 2 0 0 0 0000 3 11 1 1 0011 4 01 2 1 0101 5 111 3 1 0111 6 011 4 1 1001 7 0111 6 1 1101

RnlogD

17

744 16

H(U)14log434log4

30.8113bit

H(U)R

46.36%



3.13 DMSU=

.a1..........a2........a3......a4

,各a相应编成码字101011011102,

..14,..18,..1

i8试证明对足够长的信源输出序列,相应的码序列中01出现的概率相等。

解:

概率

信源符号

码字 1/2 a1 0 1/4 a2 10 1/8 a3 110 1/8

a4

1110



设信源序列长为N,则相应码字长为(条件是N要足够长)

L

NNN21428374

N 相应码序列中0出现的次数

欢迎下载 16






NNN7111N 2488

L0

p(0)= L0L=12 p(1)=1-p(0)=1

2



3.14 设有一DMS, U=01



0.90.1

采用如下表的串长编码法进行编码



信源输出序列 0串长度(或中间数字)

输出二元码字

1 0 0000 01 1 0001 001 2 0010 00000001 7 0111 00000000 8

1

(a)H(U)

(b)求对于每个中间数字相应的信源数字的平均长度n 1 (c)求每个中间数字对应的平均长度n

2

(d)说明码的唯一可译性。 解:

(a) H(U)0.9log0.90.1log0.10.469 bit 由已知可得下表

先验 信源输出 0串长度 输出二元码字 概率 序列 (或中间数字) 0.1 1 0 0000 0.09 01 1 0001 0.081 001 2 0010 0.0729 0001 3 0011 0.0656 00001 4 0100 0.059 000001 5 0101 0.0531 0000001 6 0110 0.0478 00000001 7 0111 0.4305 000000001 8 1



(b) n110.120.980.43055.6953 bit (c) n210.43054(10.4305)2.7085 bit (d) 异字码头

第四章 信道及信道容量

4.1 计算由下述转移概率矩阵给定的DMC的容量。

欢迎下载 17




p01p

0

1pp(a)

01pp

1Q它是一对称信道,达到C需要输入等概,即p=3



C log3p(jk)logp(jk)

log3(1p)log(1p)plogplog3H(p) bit/符号

1p1pp(b) p2222pp1p1p

2222Q它是一对称信道

Clog41p2log1p22pp

2log2

2

2(1p)log1pp

2plog2

1H(p) bit/符号

1p0cp

p1p0

001



它是分信道

1p

pp1p

1的和信道

C1log2(1p)log(1p)1H(p) C20

2c

2c

12c

2,可知Clog121H(p)

bit/符号

欢迎下载 18




4.3求图中DMC的容量及最佳输入分布

3/4

0

1/4

1/3

1/3

0

0

1/3

0

1/3

1/3

1

1/31/4

2

3/4

2

2

1/3

1

1

1/3

1

1/3

2

1/3

1/3

3

1/3

a (b)

解:a)由图知



3

41P

30341P

30

0

1

41314

01 334

Q发送符号1时等概率收到0,1,2,

∴传对与传错概率完全相同,即不携带任何信息量,于是信道简化为二元纯删除信道

141314

0

3143

034

3/4

1

4140 34

0

1/4

1

1/4

1

3/4

2

C1q11/43/4 bit/符号

b)由图知



1110333



111

P0

3331110333

Q为准对称

欢迎下载

19




∴当输入等概,即Q0Q1Q2此时012

1

时达到信道容量C 3

1122 339

11133

333

CI(x0,Y)

p(j0)log

j

p(j0)

j



11111123

=log3log3log3log bit/符号

23231332993

4.5

N个相同的BSC级联如图。

X0

X1X2



XN1

XN

各信道的转移概率矩阵知。

(a) Qt的表达式。

p1p

。令Qtp{Xt0},t0,1,,N,且Q0为已p1p



(b) 证明N时有QN1/2且与Q0取值无关,从而证明N时的级联信道

容量CN0(p0) 解:N个信道级联后BSC可表示为

1pN1

0

pN1

pN1

0

1

1pN1

1

N个级联可以看成N-1个级联后与第N个级联

1pN1

0

pN1

pN1

1p



0

p

p

0

1

1pN1

1

1p

1

pN(1pN1)ppN1(1p)pN1(12p)p 同理可得



pN1pN2(12p)p pN2pN3(12p)p

M

p2p1(12p)p

欢迎下载 20




p1p

从而

pNpN1(12p)p

[pN2(12p)p](12p)ppN2(12p)2p(12p)p

pN3(12p)3p(12p)2p(12p)p p(12p)

N1i0

N1

p(12p)i

i0

N2

p(12p)i

1(12p)N1(12p)N

p

1(12p)2

(a)

QNQ0(1pN)(1Q0)pNQ0(12Q0)pN

1(12p)N

Q0(12Q0)

2

(b)



1(12p)N

limQNlimQ0(12Q0)NN2

12Q01

Q0

22

因此与Q0无关。

由于

QNp{xN0}

1

p{x00}(1pN)p{x01}pN

2

1

p{x00}Q0无关,因此pNC=0

2



4.8 PCM语音通信系统,已知信号带宽W=4000 Hz,采样频率为2W,且采用8级幅度

量化,各级出现的概率为1/21/41/81/161/321/321/321/32。试求所需的信息速率. 解:H(V)

111119

plogplog2log4log8log164log32 bit kk

24816324k

9

∴信息速率RfsH(V)800018000 bit/s

4



4.9 在数字电视编码中,若每帧为500行,每行划分成600个像素,每个像素采用8电平量化,且每秒传送30帧时,试求所需的信息速率。 解:每个像素信息量为Ilog83 bit

每秒传输30帧,即30500600910个像素 R91032.710 bit/s

欢迎下载

21

6

7

6






4.10 带宽为3 kHZ信噪比为30 dB的电话系统,若传送时间为3分钟,试估计可能传送话

音信息的数目。 解:(

S

)dB=30dB=103=1000 N

S

CWlog(1)3000log(11000)R bit/s=29.9 Kb/s

N

又传送时间t=30分钟=180 s

∴信息量为29.9180=5.382 Mbit

5

4.12 若要以R=10bit/s的速率通过一个带宽为8 kHz、信噪比为31的连续信道传送,可

否实现?

解:根据SHANNON公式

S

)8000log3240 Kb/s N5

当连续信道为高斯信道时,C10bit/s于是不可实现;然而信道为非高斯信道时,

CWlog(1

其信道容量小于C,因此不能判定它与R的大小关系,从而不能确定能否实现。

欢迎下载

22






第五章 离散信道编码定理

5.1 设有一DMC,其转移概率矩阵为

1/21/31/61/61/21/3 1/31/61/2

Q(x1)=1/2Q(x2)Q(x3)=1/4,试求两种译码准则下的译码规则,并计算误码率。 解:

1)最大后验概率译码准则

首先计算 p(xy)

p(x)p(yx)

p(y)



p(y111111317

1)2246438 p(y2)3 p(y3)

24p(x23 p(x12

1y1) 1y2)2 p(x1y3)7

p(x19 p(x32

2y1)2y2)8 p(x2y3)7

p(x213

3y1)9 p(x3y2)8 p(x3y3)7



Qp(x1y1)p(x3y1)p(x2y1)

p(x1y2)p(x2y2)p(x3y2) p(x3y3)p(x1y3)p(x2y3)

∴译码规则为

y1x1 y2x1 y3x3 Pe

1126141413161124

2)最大似然准则译码

计算p(yx)

Qp(y1x1)p(y1x3)p(y1x2)

p(y2x2)p(y2x1)p(y2x3) p(y3x3)p(y3x2)p(y3x1)

∴译码规则

y1x1 y2x2 y3x3

P1111111111e

2364634362

显然它不是最佳。

欢迎下载 23




第六章 线性分组码

6.1 设有4个消息a1,a2,a3,a4被编成长为5的二元码00000011011011111010。试给出码的一致校验关系。若通过转移概率为p<1/2BSC传送,试给出最佳译码表及相应的译码错误概率表示式。 解:

00

0000

01CmG

0

1p00

p01p0210111pp0110

1112011 1

0p10

101111010

从而构造出G1101010010

01101H01011



00101

2 根据最小距离译码准则,可得伴随式与错误图样的对应关系如下

00100100 10110100 01001000 11000010 01100001 11100110 10010000 00000000

3P5432

e1(1p)5(1p)p2(1p)p



6.4 设二元(6,3)码的生成矩阵为

100011

G010001

01110

0

试给出它的一致校验矩阵为。

解:

001100H101010 110001

欢迎下载 24


本文来源:https://www.wddqw.com/doc/844c62c3142ded630b1c59eef8c75fbfc77d94e5.html