1701009222
表7-2中第3行第5列元素为4，表明关键词“案例分析”在第5个模块中出现了5次。
1701009223
1701009224
令矩阵1对应表7-2中的数据矩阵，则数据矩阵Q的各列由下式决定：
1701009225
1701009226
1701009227
1701009228
1701009229
1701009230
为了搜索关键词“遗传算法”、“鱼群算法”和“余胜威”，我们构造一个搜索向量x，它除了对应于搜索关键词“遗传算法”、“鱼群算法”和“余胜威”的3行不是0外，其余元素均为0。为了得到单位搜索向量，将对应于搜索关键词的各行分别乘以。这样，我们就得到数据库矩阵Q及搜索向量x（每一个元素均四舍五入后保留3位小数）为：
1701009231
1701009232
1701009233
1701009234
1701009235
1701009236
如果令，其中θi为单位向量x和θi之间的夹角。
1701009237
1701009238
对于我们的例子，有：
1701009239
1701009240
1701009241
1701009242
1701009243
由于y5=0.635为y中最接近1的元素，说明搜索向量x接近q5的方向，因此模块5应当是最接近搜索标准的一个。接下来最接近搜索标准的一个应该依次是模块6（y6=0.577）和模块3（y3=0.567）。注意到一个模块不包括符合要求的搜索关键词，当且仅当它对应的数据库矩阵列向量与搜索向量x正交。例如，模块1和模块7不包含所需要的搜索关键词，因此有：
1701009244
1701009245
1701009246
1701009247
1701009248
本例说明了一些数据库搜索的基本思想，即利用现代矩阵方法，我们可以对搜索过程进行显著改善，并加快了搜索速度，同时纠正多义词或同义词可能导致的错误。这一新的技术被称为潜语义索引方法，它依赖于矩阵分解及奇异值分解等矩阵方法。
1701009249
1701009250
采用MATLAB软件进行编程计算，编程如下：
1701009251
1701009252
clc,clear,close all %清屏和清除变量 warning off %消除警告 Q=[0,6,3,0,1,0,1,1; %矩阵Q 0,0,0,0,0,5,3,2; 5,4,4,5,4,0,3,3; 6,5,3,3,4,4,3,2; 0,0,0,0,3,0,4,3; 0,0,0,0,3,0,4,3; 0,0,5,2,3,3,0,1; 5,3,3,2,4,2,1,1; 0,0,0,5,1,3,1,0; 0,4,4,3,4,1,0,3]; for i=1:8 Q1(:,i)=Q(:,i)./norm(Q(:,i)); % qj=aj/‖aj‖ end Q1 x=[0,0,0,0,0,1,1,0,0,1]’; x1 = x./sqrt(3) %单位搜索向量
1701009253
1701009254
运行程序如下：
1701009255
1701009256
Q1 = 0 0.5941 0.3273 0 0.1037 0 0.1270 0.1459 0 0 0 0 0 0.6250 0.3810 0.2917 0.5392 0.3961 0.4364 0.5735 0.4148 0.5000 0.3810 0.2917 0.6470 0.4951 0.3273 0.3441 0.4148 0 0.3810 0.4376 0 0 0 0 0.3111 0 0.5080 0.4376 0 0 0 0 0.3111 0 0.5080 0.4376 0 0 0.5455 0.2294 0.3111 0.3750 0 0.1459 0.5392 0.2970 0.3273 0.2294 0.4148 0.2500 0.1270 0.1459 0 0 0 0.5735 0.1037 0.3750 0.1270 0 0 0.3961 0.4364 0.3441 0.4148 0.1250 0 0.4376 x1 = 0 0 0 0 0 0.5774 0.5774 0 0 0.5774
1701009257
1701009258
1701009259
1701009260
1701009261
我和数学有约：趣味数学及算法解析 [:1701004246]
1701009262
我和数学有约：趣味数学及算法解析 7.7 中文自动分词方法
1701009263
1701009264
自动分词在互联网有着极其广泛的应用。当你在搜索引擎中搜索“我和数学有约”时，搜索引擎通常会帮你找出同时含有“我和”、“数学”和“有约”的网页，即使这三个词在输入时中间有空格。一个好的新闻网站通常会有“相关文章推荐”的功能，这也要依赖于自动分词的算法。不过，要想让计算机准确切分一句话，并不是那么容易。
1701009265
1701009266
我就曾经看到过，某网站报道西南交大学生怎么样怎么样，结果相关文章里列出的全是西南交通大学的新闻。这多半是分词算法错误地把标题中的“西南交大学生”当成了一个词。
1701009267
1701009268
中文自动分词技术是以“词”为基础，但汉语书面语不是像西方文字那样有天然的分隔符（空格），而是在语句中以汉字为单位，词与词之间没有明显的界限。因此，对于一段汉字，人可以通过自己的知识来明白哪些是词，哪些不是词，但如何让计算机也能理解？其处理过程词，就要应用到中文自动分词技术。
1701009269
1701009270
【问题】那么，如何让计算机准确地切分一句话呢？
1701009271