├── .gitignore
├── LICENSE
├── README.md
├── composer.json
├── phpunit.xml.dist
├── src
    └── NXP
    │   └── Stemmer.php
└── tests
    ├── StemmerTest.php
    ├── bootstrap.php
    └── dict.php


/.gitignore:
--------------------------------------------------------------------------------
1 | /.idea/
2 | /vendor/
3 | 


--------------------------------------------------------------------------------
/LICENSE:
--------------------------------------------------------------------------------
 1 | MIT License
 2 | 
 3 | Copyright (c) 2016 Alexander Kiryukhin
 4 | 
 5 | Permission is hereby granted, free of charge, to any person obtaining a copy
 6 | of this software and associated documentation files (the "Software"), to deal
 7 | in the Software without restriction, including without limitation the rights
 8 | to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
 9 | copies of the Software, and to permit persons to whom the Software is
10 | furnished to do so, subject to the following conditions:
11 | 
12 | The above copyright notice and this permission notice shall be included in all
13 | copies or substantial portions of the Software.
14 | 
15 | THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
16 | IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
17 | FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
18 | AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
19 | LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
20 | OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
21 | SOFTWARE.
22 | 


--------------------------------------------------------------------------------
/README.md:
--------------------------------------------------------------------------------
 1 | # Стеммер Портера для русского языка
 2 | 
 3 | ## Описание
 4 | 
 5 | Данный стеммер является заменой расширению stem_russian_unicode.
 6 | 
 7 | ## Сравнение с расширением stem_russian_unicode
 8 | 
 9 | *Плюсы:*
10 | 
11 | 1. Не требует внешних расширений для PHP. Стеммер написан целиком на PHP.
12 | 2. Нет проблем с юникодом. stem_russian_unicode зависит от SET_LOCALE и может при неверном значении портить строки с юникодом.
13 | 3. Легко изменять под конкретные требования проекта. В случае расширения, при изменении логики работы его придётся пересобирать.
14 | 4. Требует для своей работы PHP версии >=5.3 (спасибо, usernam3 за pull-request)
15 | 
16 | *Минусы:*
17 | 
18 | В силу того, что этот стеммер написан на PHP с использованием регулярных выражений, он должен проигрывать в скорости работы скомпилированному расширению, написанному на C.
19 | 
20 | 
21 | ## Установка
22 | 
23 |     php composer.phar require nxp/russian-porter-stemmer
24 | 
25 | ## Использование
26 | 
27 |     <?php
28 |     $text = '...';
29 |     require __DIR__ . '/vendor/autoload.php';
30 |     $stemmer = new \NXP\Stemmer();
31 |     $stemmed = [];
32 |     foreach (explode(' ', $text) as $word) {
33 |         $stemmed[] = $stemmer->getWordBase($word);
34 |     }
35 |     $result = implode(' ', $stemmed);
36 | 
37 | ## Отличия от классического стеммера Портера
38 | 
39 | Единственное отличие заключается в том, что в данной реализации буква «ё» является самостоятельной гласной, а не буквой «е»
40 | 
41 | ## Лицензия MIT
42 | 


--------------------------------------------------------------------------------
/composer.json:
--------------------------------------------------------------------------------
 1 | {
 2 |     "name": "nxp/russian-porter-stemmer",
 3 |     "description": "Russian porter stemmer",
 4 |     "minimum-stability": "stable",
 5 |     "version": "1.0.0",
 6 |     "keywords": ["russian", "stemmer"],
 7 |     "homepage": "http://github.com/NeonXP/Stemmer",
 8 |     "license": "MIT",
 9 |     "authors": [
10 |         {
11 |             "name": "Alexander 'NeonXP' Kiryukhin",
12 |             "email": "frei@neonxp.info"
13 |         }
14 |     ],
15 |     "autoload": {
16 |         "psr-0": {"NXP": "src/"}
17 |     },
18 |     "require": {
19 |         "php": ">=5.3.3"
20 |     },
21 |     "require-dev": {
22 |         "phpunit/phpunit": "^5.0"
23 |     }
24 | }
25 | 


--------------------------------------------------------------------------------
/phpunit.xml.dist:
--------------------------------------------------------------------------------
 1 | <?xml version="1.0" encoding="UTF-8"?>
 2 | 
 3 | <phpunit backupGlobals="false"
 4 |          backupStaticAttributes="false"
 5 |          colors="true"
 6 |          convertErrorsToExceptions="true"
 7 |          convertNoticesToExceptions="true"
 8 |          convertWarningsToExceptions="true"
 9 |          processIsolation="false"
10 |          stopOnFailure="false"
11 |          syntaxCheck="false"
12 |          bootstrap="./tests/bootstrap.php"
13 |         >
14 | 
15 |     <testsuites>
16 |         <testsuite name="Russian stemmer tests">
17 |             <directory>./tests/</directory>
18 |         </testsuite>
19 |     </testsuites>
20 | </phpunit>
21 | 


--------------------------------------------------------------------------------
/src/NXP/Stemmer.php:
--------------------------------------------------------------------------------
  1 | <?php
  2 | /**
  3 |  * This file is part of the RussianStemmer package
  4 |  *
  5 |  * (c) Alexander Kiryukhin
  6 |  *
  7 |  * For the full copyright and license information, please view the LICENSE
  8 |  * file that was distributed with this source code
  9 |  */
 10 | 
 11 | namespace NXP;
 12 | 
 13 | class Stemmer
 14 | {
 15 |     const VOWEL = 'аеёиоуыэюя';
 16 |     const REGEX_PERFECTIVE_GERUNDS1 = '(в|вши|вшись)$';
 17 |     const REGEX_PERFECTIVE_GERUNDS2 = '(ив|ивши|ившись|ыв|ывши|ывшись)$';
 18 |     const REGEX_ADJECTIVE = '(ее|ие|ые|ое|ими|ыми|ей|ий|ый|ой|ем|им|ым|ом|его|ого|ему|ому|их|ых|ую|юю|ая|яя|ою|ею)$';
 19 |     const REGEX_PARTICIPLE1 = '(ем|нн|вш|ющ|щ)';
 20 |     const REGEX_PARTICIPLE2 = '(ивш|ывш|ующ)';
 21 |     const REGEX_REFLEXIVES = '(ся|сь)$';
 22 |     const REGEX_VERB1 = '(ла|на|ете|йте|ли|й|л|ем|н|ло|но|ет|ют|ны|ть|ешь|нно)$';
 23 |     const REGEX_VERB2 = '(ила|ыла|ена|ейте|уйте|ите|или|ыли|ей|уй|ил|ыл|им|ым|ен|ило|ыло|ено|ят|ует|уют|ит|ыт|ены|ить|ыть|ишь|ую|ю)$';
 24 |     const REGEX_NOUN = '(а|ев|ов|ие|ье|е|ьё|иями|ями|ами|еи|ии|и|ией|ей|ой|ий|й|иям|ям|ием|ем|ам|ом|о|у|ах|иях|ях|ы|ь|ию|ью|ю|ия|ья|я)$';
 25 |     const REGEX_SUPERLATIVE = '(ейш|ейше)$';
 26 |     const REGEX_DERIVATIONAL = '(ост|ость)$';
 27 |     const REGEX_I = 'и$';
 28 |     const REGEX_NN = 'нн$';
 29 |     const REGEX_SOFT_SIGN = 'ь$';
 30 | 
 31 |     /**
 32 |      * @param string $word
 33 |      *
 34 |      * @return string
 35 |      */
 36 |     public static function getWordBase($word)
 37 |     {
 38 |         $originalInternalEncoding = mb_internal_encoding();
 39 |         mb_internal_encoding('UTF-8');
 40 | 
 41 |         list($rv, $r2) = self::findRegions($word);
 42 | 
 43 |         // Шаг 1: Найти окончание PERFECTIVE GERUND. Если оно существует – удалить его и завершить этот шаг.
 44 |         if (!self::removeEndings($word, array(self::REGEX_PERFECTIVE_GERUNDS1, self::REGEX_PERFECTIVE_GERUNDS2), $rv)) {
 45 |             // Иначе, удаляем окончание REFLEXIVE (если оно существует).
 46 |             self::removeEndings($word, self::REGEX_REFLEXIVES, $rv);
 47 | 
 48 |             // Затем в следующем порядке пробуем удалить окончания: ADJECTIVAL, VERB, NOUN. Как только одно из них найдено – шаг завершается.
 49 |             if (!(self::removeEndings(
 50 |                     $word,
 51 |                     array(
 52 |                         self::REGEX_PARTICIPLE1 . self::REGEX_ADJECTIVE,
 53 |                         self::REGEX_PARTICIPLE2 . self::REGEX_ADJECTIVE
 54 |                     ),
 55 |                     $rv
 56 |                 ) || self::removeEndings($word, self::REGEX_ADJECTIVE, $rv))
 57 |             ) {
 58 |                 if (!self::removeEndings($word, array(self::REGEX_VERB1, self::REGEX_VERB2), $rv)) {
 59 |                     self::removeEndings($word, self::REGEX_NOUN, $rv);
 60 |                 }
 61 |             }
 62 |         }
 63 | 
 64 |         // Шаг 2: Если слово оканчивается на и – удаляем и.
 65 |         self::removeEndings($word, self::REGEX_I, $rv);
 66 | 
 67 |         // Шаг 3: Если в R2 найдется окончание DERIVATIONAL – удаляем его.
 68 |         self::removeEndings($word, self::REGEX_DERIVATIONAL, $r2);
 69 | 
 70 |         // Шаг 4: Возможен один из трех вариантов:
 71 |         // 1. Если слово оканчивается на нн – удаляем последнюю букву.
 72 |         if (self::removeEndings($word, self::REGEX_NN, $rv)) {
 73 |             $word .= 'н';
 74 |         }
 75 | 
 76 |         // 2. Если слово оканчивается на SUPERLATIVE – удаляем его и снова удаляем последнюю букву, если слово оканчивается на нн.
 77 |         self::removeEndings($word, self::REGEX_SUPERLATIVE, $rv);
 78 | 
 79 |         // 3. Если слово оканчивается на ь – удаляем его.
 80 |         self::removeEndings($word, self::REGEX_SOFT_SIGN, $rv);
 81 | 
 82 |         mb_internal_encoding($originalInternalEncoding);
 83 |         return $word;
 84 |     }
 85 | 
 86 |     /**
 87 |      * @param string          $word
 88 |      * @param string|string[] $regex
 89 |      * @param int             $region
 90 |      *
 91 |      * @return bool
 92 |      */
 93 |     public static function removeEndings(&$word, $regex, $region)
 94 |     {
 95 |         $prefix = mb_substr($word, 0, $region, 'UTF-8');
 96 |         $ending = mb_substr($word, mb_strlen($prefix, 'UTF-8'), null, 'UTF-8');
 97 |         if (is_array($regex)) {
 98 |             if (preg_match('/.+[ая]' . $regex[0] . '/ui', $ending)) {
 99 |                 $word = $prefix . preg_replace('/' . $regex[0] . '/ui', '', $ending);
100 |                 return true;
101 |             }
102 |             $regex = $regex[1];
103 |         }
104 |         if (preg_match('/.+' . $regex . '/ui', $ending)) {
105 |             $word = $prefix . preg_replace('/' . $regex . '/ui', '', $ending);
106 |             return true;
107 |         }
108 | 
109 |         return false;
110 |     }
111 | 
112 |     /**
113 |      * @param string $word
114 |      *
115 |      * @return int[]
116 |      */
117 |     private static function findRegions($word)
118 |     {
119 |         $rv = 0;
120 |         $state = 0;
121 |         $wordLength = mb_strlen($word, 'UTF-8');
122 |         for ($i = 1; $i < $wordLength; $i++) {
123 |             $prevChar = mb_substr($word, $i - 1, 1, 'UTF-8');
124 |             $char = mb_substr($word, $i, 1, 'UTF-8');
125 |             switch ($state) {
126 |                 case 0:
127 |                     if (self::isVowel($char)) {
128 |                         $rv = $i + 1;
129 |                         $state = 1;
130 |                     }
131 |                     break;
132 |                 case 1:
133 |                     if (self::isVowel($prevChar) && !self::isVowel($char)) {
134 |                         $state = 2;
135 |                     }
136 |                     break;
137 |                 case 2:
138 |                     if (self::isVowel($prevChar) && !self::isVowel($char)) {
139 |                         return [$rv, $i + 1];
140 |                     }
141 |                     break;
142 |             }
143 |         }
144 | 
145 |         return [$rv, 0];
146 |     }
147 | 
148 |     /**
149 |      * @param string $char
150 |      *
151 |      * @return bool
152 |      */
153 |     private static function isVowel($char)
154 |     {
155 |         return mb_stripos(self::VOWEL, $char, 0, 'UTF-8') !== false;
156 |     }
157 | }
158 | 


--------------------------------------------------------------------------------
/tests/StemmerTest.php:
--------------------------------------------------------------------------------
 1 | <?php
 2 | /**
 3 |  * This file is part of the RussianStemmer package
 4 |  *
 5 |  * (c) Alexander Kiryukhin
 6 |  *
 7 |  * For the full copyright and license information, please view the LICENSE
 8 |  * file that was distributed with this source code
 9 |  */
10 | 
11 | namespace NXP;
12 | 
13 | class StemmerTest extends \PHPUnit_Framework_TestCase
14 | {
15 |     public function testStemmingDataProvider()
16 |     {
17 |         return require("dict.php");
18 |     }
19 | 
20 |     /**
21 |      * @dataProvider testStemmingDataProvider
22 |      *
23 |      * @param string $word
24 |      * @param string $expected
25 |      */
26 |     public function testStemming($word, $expected)
27 |     {
28 |         $this->assertEquals($expected, Stemmer::getWordBase($word));
29 |     }
30 | }


--------------------------------------------------------------------------------
/tests/bootstrap.php:
--------------------------------------------------------------------------------
 1 | <?php
 2 | 
 3 | ini_set('memory_limit', '512M');
 4 | $vendorDir = __DIR__ . '/../../..';
 5 | 
 6 | if (file_exists($file = $vendorDir . '/autoload.php')) {
 7 |     require_once $file;
 8 | } else if (file_exists($file = './vendor/autoload.php')) {
 9 |     require_once $file;
10 | } else {
11 |     throw new \RuntimeException("Not found composer autoload");
12 | }


--------------------------------------------------------------------------------