1701009226

1701009227

1701009228

1701009229

1701009230 为了搜索关键词“遗传算法”、“鱼群算法”和“余胜威”，我们构造一个搜索向量x，它除了对应于搜索关键词“遗传算法”、“鱼群算法”和“余胜威”的3行不是0外，其余元素均为0。为了得到单位搜索向量，将对应于搜索关键词的各行分别乘以。这样，我们就得到数据库矩阵Q及搜索向量x（每一个元素均四舍五入后保留3位小数）为：

1701009231

1701009232

1701009233

1701009234

1701009235

1701009236 如果令，其中θi为单位向量x和θi之间的夹角。

1701009237

1701009238 对于我们的例子，有：

1701009239

1701009240

1701009241

1701009242

1701009243 由于y5=0.635为y中最接近1的元素，说明搜索向量x接近q5的方向，因此模块5应当是最接近搜索标准的一个。接下来最接近搜索标准的一个应该依次是模块6（y6=0.577）和模块3（y3=0.567）。注意到一个模块不包括符合要求的搜索关键词，当且仅当它对应的数据库矩阵列向量与搜索向量x正交。例如，模块1和模块7不包含所需要的搜索关键词，因此有：

1701009244

1701009245

1701009246

1701009247

1701009248 本例说明了一些数据库搜索的基本思想，即利用现代矩阵方法，我们可以对搜索过程进行显著改善，并加快了搜索速度，同时纠正多义词或同义词可能导致的错误。这一新的技术被称为潜语义索引方法，它依赖于矩阵分解及奇异值分解等矩阵方法。

1701009249

1701009250 采用MATLAB软件进行编程计算，编程如下：

1701009251

1701009252     clc,clear,close all               %清屏和清除变量    warning off                       %消除警告    Q=[0,6,3,0,1,0,1,1;               %矩阵Q        0,0,0,0,0,5,3,2;        5,4,4,5,4,0,3,3;        6,5,3,3,4,4,3,2;        0,0,0,0,3,0,4,3;        0,0,0,0,3,0,4,3;        0,0,5,2,3,3,0,1;        5,3,3,2,4,2,1,1;        0,0,0,5,1,3,1,0;        0,4,4,3,4,1,0,3];    for i=1:8        Q1(:,i)=Q(:,i)./norm(Q(:,i));   % qj=aj/‖aj‖    end    Q1    x=[0,0,0,0,0,1,1,0,0,1]’;    x1 = x./sqrt(3)                      %单位搜索向量

1701009253

1701009254 运行程序如下：

1701009255

1701009256     Q1 =              0    0.5941    0.3273        0   0.1037        0   0.1270  0.1459              0         0         0        0        0   0.6250   0.3810  0.2917         0.5392    0.3961    0.4364   0.5735   0.4148   0.5000   0.3810  0.2917         0.6470    0.4951    0.3273   0.3441   0.4148        0   0.3810  0.4376              0         0         0        0   0.3111        0   0.5080  0.4376              0         0         0        0   0.3111        0   0.5080  0.4376              0         0    0.5455   0.2294   0.3111   0.3750        0  0.1459         0.5392    0.2970    0.3273   0.2294   0.4148   0.2500   0.1270  0.1459              0         0         0   0.5735   0.1037   0.3750   0.1270       0              0    0.3961    0.4364   0.3441   0.4148   0.1250        0  0.4376    x1 =              0              0              0              0              0        0.5774        0.5774              0              0         0.5774

1701009257

1701009258

1701009259

1701009260

1701009261 我和数学有约：趣味数学及算法解析 [:1701004246]

1701009262 我和数学有约：趣味数学及算法解析 7.7　中文自动分词方法

1701009263

1701009264 自动分词在互联网有着极其广泛的应用。当你在搜索引擎中搜索“我和数学有约”时，搜索引擎通常会帮你找出同时含有“我和”、“数学”和“有约”的网页，即使这三个词在输入时中间有空格。一个好的新闻网站通常会有“相关文章推荐”的功能，这也要依赖于自动分词的算法。不过，要想让计算机准确切分一句话，并不是那么容易。

1701009265

1701009266 我就曾经看到过，某网站报道西南交大学生怎么样怎么样，结果相关文章里列出的全是西南交通大学的新闻。这多半是分词算法错误地把标题中的“西南交大学生”当成了一个词。

1701009267

1701009268 中文自动分词技术是以“词”为基础，但汉语书面语不是像西方文字那样有天然的分隔符（空格），而是在语句中以汉字为单位，词与词之间没有明显的界限。因此，对于一段汉字，人可以通过自己的知识来明白哪些是词，哪些不是词，但如何让计算机也能理解？其处理过程词，就要应用到中文自动分词技术。

1701009269

1701009270 【问题】那么，如何让计算机准确地切分一句话呢？

1701009271

1701009272 【分析】

1701009273

1701009274 自动分词的主要困难在于分词歧义。“结婚的和尚未结婚的”，应该分成“结婚／的／和／尚未／结婚／的”，还是“结婚／的／和尚／未／结婚／的”？

1701009275

[ 上一页 ]  [ :1.701009226e+09 ]  [ 下一页 ]