Джаро-Белоканский поход (1803)
- 1 year ago
- 0
- 0
В области информатики и статистики сходство Джаро — Винклера представляет собой * для измерения расстояния между двумя последовательностями символов. Это вариант, который в 1999 году предложил Уильям Э. Винклер (William E. Winkler) на основе расстояния Джаро (1989, Мэтью А. Джаро, Matthew A. Jaro). Неформально, расстояние Джаро между двумя словами — это минимальное число односимвольных преобразований, которое необходимо для того, чтобы изменить одно слово в другое.
Чем меньше расстояние Джаро — Винклера для двух строк, тем больше сходства имеют эти строки друг с другом. Результат нормируется, так что означает отсутствие сходства, а — точное совпадение. Сходство Джаро — Винклера равно .
Расстояние Джаро между двумя заданными строками и это:
Где:
Два символа из и соответственно, считаются совпадающими только если они одинаковы и не дальше, чем .
Каждый символ строки сравнивается со всеми соответствующими ему символами в . Количество совпадающих (но отличающихся порядковыми номерами) символов, которое делится на 2, определяет число транспозиций . Например, при сравнении слова CRATE со словом TRACE, только 'R' 'A' и 'Е' являются совпадающими символами, то есть m=3. Хотя 'C' и 'T' появляются в обоих строках, они дальше, чем на 1, то есть floor(5/2)-1=1. Следовательно, t=0 . В сравнении DwAyNE с DuANE соответствующие буквы находятся уже в том же самом порядке D-A-N-E, так что никаких перестановок не требуется.
Расстояние Джаро — Винклера использует коэффициент масштабирования , что дает более благоприятные рейтинги строкам, которые совпадают друг с другом от начала до определённой длины , которая называется префиксом. Даны две строки и . Их расстояние Джаро — Винклера это:
где:
Хотя расстояние Джаро-Винклера часто называют метрикой расстояния , это не метрика в математическом смысле этого слова, потому что оно не подчиняется неравенству треугольника . Также расстояние Джаро-Винклера не удовлетворяет аксиоме, которая гласит, что .
В некоторых реализациях алгоритма расчёта расстояния Джаро — Винклера префиксный бонус добавляется, только если сравниваемые строки имеют расстояние Джаро выше установленного «порога усиления» . Порог в реализации Винклера составил 0,7.
Следует отметить, что написанный Винклером программный код на языке программирования C различается по крайней мере в двух местах от опубликованных работ по метрике Джаро — Винклера. Первое — это его использование таблицы опечаток (adjwt), а второе — это некоторые дополнительные условия для длинных строк.
Даны строки MARTHA и MARHTA. Представим их пересечение в табличном виде:
M | A | R | T | H | A | |
M | 1 | 0 | 0 | 0 | 0 | 0 |
A | 0 | 1 | 0 | 0 | 0 | 0 |
R | 0 | 0 | 1 | 0 | 0 | 0 |
H | 0 | 0 | 0 | 0 | 1 | 0 |
T | 0 | 0 | 0 | 1 | 0 | 0 |
A | 0 | 0 | 0 | 0 | 0 | 1 |
Здесь максимальное расстояние составляет 6/2 — 1 = 2. В желтых ячейках приведенной таблицы указаны единицы, когда символы идентичны (имеется совпадение), и нули в противном случае.
Получается:
Расстояние Джаро:
Чтобы найти результат Джаро — Винклера с помощью стандартного веса мы продолжаем искать:
Таким образом:
Даны строки DWAYNE и DUANE. Получается:
Расстояние Джаро:
Чтобы найти результат Джаро-Винклера с помощью стандартного веса мы продолжаем искать:
Таким образом:
Даны строки DIXON и DICKSONX . Получается:
D | I | X | O | N | |
---|---|---|---|---|---|
D | 1 | 0 | 0 | 0 | 0 |
I | 0 | 1 | 0 | 0 | 0 |
C | 0 | 0 | 0 | 0 | 0 |
K | 0 | 0 | 0 | 0 | 0 |
S | 0 | 0 | 0 | 0 | 0 |
O | 0 | 0 | 0 | 1 | 0 |
N | 0 | 0 | 0 | 0 | 1 |
X | 0 | 0 | 0 | 0 | 0 |
Здесь закрашенные клетки — это окно соответствия для каждого символа. Единицы в ячейке указывает на совпадение. Заметим, что два икса (X) не считаются совпавшими, поскольку они находятся за пределами третьего окна совпадения.
Расстояние Джаро:
Чтобы найти результат Джаро-Винклера с помощью стандартного веса мы продолжаем искать:
Таким образом:
Есть и другие популярные меры изменения расстояния, которые рассчитываются с использованием другого набора допустимых операций редактирования. Например,
Изменение расстояния обычно определяется как параметризуемая метрика, вычисленная с помощью определённого набора допустимых операций редактирования, и каждой операции присваивается стоимость (возможно, бесконечная). Это является дальнейшим обобщением генетических алгоритмов выравнивания последовательностей , таких, как алгоритм Смита-Ватермана , которые делают стоимость операции зависящей от того, где она применяется.
* strcmp95.c Version 2 */ /* The strcmp95 function returns a double precision value from 0.0 (total disagreement) to 1.0 (character-by-character agreement). The returned value is a measure of the similarity of the two strings. */ /* Date of Release: Jan. 26, 1994 */ /* Modified: April 24, 1994 Corrected the processing of the single length character strings. Authors: This function was written using the logic from code written by Bill Winkler, George McLaughlin and Matt Jaro with modifications by Maureen Lynch. Comment: This is the official string comparator to be used for matching during the 1995 Test Census. */ # include <ctype.h> # include <string.h> # define NOTNUM(c) ((c>57) || (c<48)) # define INRANGE(c) ((c>0) && (c<91)) # define MAX_VAR_SIZE 61 # define NULL60 " " double strcmp95(char *ying, char *yang, long y_length, int *ind_c[]) { /* Arguments: ying and yang are pointers to the 2 strings to be compared. The strings need not be NUL-terminated strings because the length is passed. y_length is the length of the strings. ind_c is an array that is used to define whether certain options should be activated. A nonzero value indicates the option is deactivated. The options are: ind_c[0] Increase the probability of a match when the number of matched characters is large. This option allows for a little more tolerance when the strings are large. It is not an appropriate test when comparing fixed length fields such as phone and social security numbers. ind_c[1] All lower case characters are converted to upper case prior to the comparison. Disabling this feature means that the lower case string "code" will not be recognized as the same as the upper case string "CODE". Also, the adjustment for similar characters section only applies to uppercase characters. The suggested values are all zeros for character strings such as names. */ static int pass=0, adjwt[91][91]; static char sp[39][2] = {'A','E', 'A','I', 'A','O', 'A','U', 'B','V', 'E','I', 'E','O', 'E','U', 'I','O', 'I','U', 'O','U', 'I','Y', 'E','Y', 'C','G', 'E','F', 'W','U', 'W','V', 'X','K', 'S','Z', 'X','S', 'Q','C', 'U','V', 'M','N', 'L','I', 'Q','O', 'P','R', 'I','J', '2','Z', '5','S', '8','B', '1','I', '1','L', '0','O', '0','Q', 'C','K', 'G','J', 'E',' ', 'Y',' ', 'S',' '}; char ying_hold[MAX_VAR_SIZE], yang_hold[MAX_VAR_SIZE], ying_flag[MAX_VAR_SIZE], yang_flag[MAX_VAR_SIZE]; double weight, Num_sim; long minv, search_range, lowlim, ying_length, hilim, N_trans, Num_com, yang_length; int yl1, yi_st, N_simi; register int i, j, k; /* Initialize the adjwt array on the first call to the function only. The adjwt array is used to give partial credit for characters that may be errors due to known phonetic or character recognition errors. A typical example is to match the letter "O" with the number "0" */ if (!pass) { pass++; for (i=0; i<91; i++) for (j=0; j<91; j++) adjwt[i][j] = 0; for (i=0; i<36; i++) { adjwt[sp[i][0]][sp[i][1]] = 3; adjwt[sp[i][1]][sp[i][0]] = 3; } } /* If either string is blank - return - added in Version 2 */ if (!strncmp(ying,NULL60,y_length)) return(0.0); if (!strncmp(yang,NULL60,y_length)) return(0.0); /* Identify the strings to be compared by stripping off all leading and trailing spaces. */ k = y_length - 1; for(j = 0;((ying[j]==' ') && (j < k));j++); for(i = k;((ying[i]==' ') && (i > 0));i--); ying_length = i + 1 - j; yi_st = j; for(j = 0;((yang[j]==' ') && (j < k));j++); for(i = k;((yang[i]==' ') && (i > 0));i--); yang_length = i + 1 - j; ying_hold[0]=yang_hold[0]=0; strncat(ying_hold,&ying[yi_st],ying_length); strncat(yang_hold,&yang[j],yang_length); if (ying_length > yang_length) { search_range = ying_length; minv = yang_length; } else { search_range = yang_length; minv = ying_length; } /* If either string is blank - return */ /* if (!minv) return(0.0); removed in version 2 */ /* Blank out the flags */ ying_flag[0] = yang_flag[0] = 0; strncat(ying_flag,NULL60,search_range); strncat(yang_flag,NULL60,search_range); search_range = (search_range/2) - 1; if (search_range < 0) search_range = 0; /* added in version 2 */ /* Convert all lower case characters to upper case. */ if (!ind_c[1]) { for (i = 0;i < ying_length;i++) if (islower(ying_hold[i])) ying_hold[i] -= 32; for (j = 0;j < yang_length;j++) if (islower(yang_hold[j])) yang_hold[j] -= 32; } /* Looking only within the search range, count and flag the matched pairs. */ Num_com = 0; yl1 = yang_length - 1; for (i = 0;i < ying_length;i++) { lowlim = (i >= search_range) ? i - search_range : 0; hilim = ((i + search_range) <= yl1) ? (i + search_range) : yl1; for (j = lowlim;j <= hilim;j++) { if ((yang_flag[j] != '1') && (yang_hold[j] == ying_hold[i])) { yang_flag[j] = '1'; ying_flag[i] = '1'; Num_com++; break; } } } /* If no characters in common - return */ if (!Num_com) return(0.0); /* Count the number of transpositions */ k = N_trans = 0; for (i = 0;i < ying_length;i++) { if (ying_flag[i] == '1') { for (j = k;j < yang_length;j++) { if (yang_flag[j] == '1') { k = j + 1; break; } } if (ying_hold[i] != yang_hold[j]) N_trans++; } } N_trans = N_trans / 2; /* adjust for similarities in nonmatched characters */ N_simi = 0; if (minv > Num_com) { for (i = 0;i < ying_length;i++) { if (ying_flag[i] == ' ' && INRANGE(ying_hold[i])) { for (j = 0;j < yang_length;j++) { if (yang_flag[j] == ' ' && INRANGE(yang_hold[j])) { if (adjwt[ying_hold[i]][yang_hold[j]] > 0) { N_simi += adjwt[ying_hold[i]][yang_hold[j]]; yang_flag[j] = '2'; break; } } } } } } Num_sim = ((double) N_simi)/10.0 + Num_com; /* Main weight computation. */ weight= Num_sim / ((double) ying_length) + Num_sim / ((double) yang_length) + ((double) (Num_com - N_trans)) / ((double) Num_com); weight = weight / 3.0; /* Continue to boost the weight if the strings are similar */ if (weight > 0.7) { /* Adjust for having up to the first 4 characters in common */ j = (minv >= 4) ? 4 : minv; for (i=0;((i<j)&&(ying_hold[i]==yang_hold[i])&&(NOTNUM(ying_hold[i])));i++); if (i) weight += i * 0.1 * (1.0 - weight); /* Optionally adjust for long strings. */ /* After agreeing beginning chars, at least two more must agree and the agreeing characters must be > .5 of remaining characters. */ if ((!ind_c[0]) && (minv>4) && (Num_com>i+1) && (2*Num_com>=minv+i)) if (NOTNUM(ying_hold[0])) weight += (double) (1.0-weight) * ((double) (Num_com-i-1) / ((double) (ying_length+yang_length-i*2+2))); } return(weight); } /* strcmp95 */
function JaroWinkler(prmT1, prmT2: String;p:Double=0.1): Double; Var ecartMax,l1,l2,compteMatching,compteTransposition,longueurPrefix,i,j:integer; c1,c2,t1Matche,t2Matche:string; b1,b2:array of Boolean; distanceJaro:Double; label endfor,exitfor2; function TrouverMatches(prmTextInitial:string;b1:array of Boolean):string; var i:integer; res:string; begin // Calcule le nombre de caractères qui match for i := 1 to Length(prmTextInitial) do begin if b1[i] then//prmTextMatche[i]='_' then begin res:=res+prmTextInitial[i]; end; end; TrouverMatches:=res; end; begin ecartMax:=round(Max(Length(prmT1), Length(prmT2))/2)-1; if ((prmT1='') or (prmT2='')) then begin JaroWinkler:=0; exit; end; compteMatching:=0; compteTransposition:=0; l1:=Length(prmT1); l2:=Length(prmT2); Setlength(b1,l1+1); Setlength(b2,l2+1); for i := 0 to l1 do begin b1[i]:=false; end; for i := 0 to l2 do begin b2[i]:=false; end; for i := 1 to l1 do begin c1:=prmT1[i]; if (i<=l2) then c2:=prmT2[i] else c2:=''; for j := Max(i-ecartMax,1) to Min(i+ecartMax,l2) do begin c2:=prmT2[j]; if c1=c2 then //compteMatching avec transposition begin b1[i]:=true; b2[j]:=true; //Le caractère a été matché, il n'est plus disponible Inc(compteMatching); break; end; end; end; if (compteMatching=0) then begin JaroWinkler:=0; exit; end; //Dans les caractères matchés, compte ceux qui ne matchent pas exactement t1Matche:=TrouverMatches(prmT1,b1); t2Matche:=TrouverMatches(prmT2,b2); if t1Matche<>t2Matche then begin for i := 1 to length(t1Matche) do begin if t1Matche[i]<>t2Matche[i] then Inc(compteTransposition) end; end else begin compteTransposition:=0; end; distanceJaro:=1/3*((compteMatching/l1)+(compteMatching/l2)+((compteMatching-Int(compteTransposition/2))/compteMatching)); //Calcule la distance Winkler //Calcule le prefix sur les 4 premiers car aux max longueurPrefix:=0; for i := 1 to min(4,min(l1,l2)) do begin c1:=prmT1[i]; c2:=prmT2[i]; if c1=c2 then inc(longueurPrefix) else break; end; //Valeur constante définie par l'algo JaroWinkler:=distanceJaro+(longueurPrefix*p*(1-distanceJaro)); end;
<?php /* version 1.2 Copyright (c) 2005-2010 Ivo Ugrina <[email protected]> A PHP library implementing Jaro and Jaro-Winkler distance, measuring similarity between strings. Theoretical stuff can be found in: Winkler, W. E. (1999). "The state of record linkage and current research problems". Statistics of Income Division, Internal Revenue Service Publication R99/04. http://www.census.gov/srd/papers/pdf/rr99-04.pdf. This program is free software; you can redistribute it and/or modify it under the terms of the GNU General Public License as published by the Free Software Foundation; either version 3 of the License, or (at your option) any later version. This program is distributed in the hope that it will be useful, but WITHOUT ANY WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU General Public License for more details. You should have received a copy of the GNU General Public License along with this program. If not, see <http://www.gnu.org/licenses/>. === A big thanks goes out to Pierre Senellart <[email protected]> for finding a small bug in the code. */ function getCommonCharacters($string1, $string2, $allowedDistance){ $str1_len = strlen($string1); $str2_len = strlen($string2); $temp_string2 = $string2; $commonCharacters=''; for($i=0; $i < $str1_len; $i++){ $noMatch = True; // compare if char does match inside given allowedDistance // and if it does add it to commonCharacters for($j= max(0, $i-$allowedDistance); $noMatch && $j < min($i + $allowedDistance + 1, $str2_len); $j++){ if($temp_string2[$j] == $string1[$i]){ $noMatch = False; $commonCharacters .= $string1[$i]; $temp_string2[$j] = ''; } } } return $commonCharacters; } function Jaro($string1, $string2){ $str1_len = strlen($string1); $str2_len = strlen($string2); // theoretical distance $distance = floor(min($str1_len, $str2_len) / 2.0); // get common characters $commons1 = getCommonCharacters($string1, $string2, $distance); $commons2 = getCommonCharacters($string2, $string1, $distance); if(($commons1_len = strlen($commons1)) == 0) return 0; if(($commons2_len = strlen($commons2)) == 0) return 0; // calculate transpositions $transpositions = 0; $upperBound = min($commons1_len, $commons2_len); for($i = 0; $i < $upperBound; $i++){ if($commons1[$i] != $commons2[$i]) $transpositions++; } $transpositions /= 2.0; // return the Jaro distance return ($commons1_len/($str1_len) + $commons2_len/($str2_len) + ($commons1_len - $transpositions)/($commons1_len)) / 3.0; } function getPrefixLength($string1, $string2, $MINPREFIXLENGTH = 4){ $n = min(array($MINPREFIXLENGTH, strlen($string1), strlen($string2))); for($i = 0; $i < $n; $i++){ if($string1[$i] != $string2[$i]){ // return index of first occurrence of different characters return $i; } } // first n characters are the same return $n; } function JaroWinkler($string1, $string2, $PREFIXSCALE = 0.1){ $JaroDistance = Jaro($string1, $string2); $prefixLength = getPrefixLength($string1, $string2); return $JaroDistance + $prefixLength * $PREFIXSCALE * (1.0 - $JaroDistance); } ?>