Kuna võrguväljaannete artikleid ei olnud võimalik mõistlikult otsida, saigi algatatud seesama projekt.
6 |<%= title %> otsib vaid eestikeelsete väljaannete hulgast.
7 |artikliotsingu rakenduse kood on kirjutatud Node.JS platvormil. Andmete puhverdamiseks ning järjekordade haldamiseks on kasutusel Redis, artiklite salvestamiseks ja otsingu tegemiseks on kasutusel Lucene põhine ElasticSearch. Artiklite sisu leiab üles Diffbot.
15 |6 | Leiti 7 | <%= results && results.hits && results.hits.total || 0 %> 8 | tulemust<% 9 | if(results && results.hits && results.hits.hits.length){ 10 | %>, kuvan tulemused <%= from + 1 %> - <%= from + (results.hits.hits.length || 0) %>. 11 | <%}%><% 12 | if(!results || !results.hits || !results.hits.hits.length){%>.<%}%> 13 | Selle otsingu RSS ja JSON. 14 |
15 | 16 | <% visible_results.forEach(function(result){%> 17 |Otsing kasutab Lucene süntaksit. Täpsema juhendi leiab Lucene kodulehelt (inglise keeles). Vaikimisi on vastes nõutud kõik otsisõnad, kuid seda saab reguleerida operaatoriga OR, näiteks tavaline telefon nõuab, et artiklis oleks sees nii sõna tavaline kui ka telefon, aga tavaline OR telefon nõuab, et artiklis eksisteeriks vaid emb-kumb märgitud sõnadest.
Otsing ei tuvasta automaatselt sõnade käändeid ja pöördeid, otsitakse vaid täpseid vasteid [1]. Määramata sõnalõpu jaoks võib viimaste tähtede asemele panna tärni, sellisel juhul otsitakse kõiki sõnu, mis algavad samade tähtedega. Näiteks kolla* leiab nii sõna kollane kui ka kollased.
Otsingu täpsustamiseks on võimalik kasutada järgmisi välju:
8 |title pealkirja otsinguks
11 | text sisu otsinguks otsinguks
14 | site allika määramiseks (domeeninimi ilma www osata, näiteks site:postimees.ee)
17 | Näiteks leidmaks artikleid, mille pealkirjas on sõna Kasepuu, saab kasutada otsingut title:Kasepuu. Juhul kui sõna asemel on vaja määrata fraas, tuleks see panna jutumärkide vahele title:"Kasepuu kasvab".
21 |23 |[1] Käänete ja pöörete automaatseks lahendamiseks saaks kasutada Estnltk Python teeki, kuid hetkel ei ole selle tugi veel implementeeritud.
22 |
' + doc._source.text.replace(//g, '>').replace(/\n+/g, '
') + '
' : '' 29 | }; 30 | 31 | if (doc._source && doc._source.media) { 32 | for (var i = 0, len = doc._source.media.length; i < len; i++) { 33 | if (doc._source.media[i].type == 'image') { 34 | element.image = doc._source.media[i].link; 35 | break; 36 | } 37 | } 38 | } 39 | 40 | if (doc._source.author) { 41 | element.author = doc._source.author; 42 | } 43 | 44 | return element; 45 | }); 46 | } 47 | 48 | function keepStrong(str) { 49 | return str.replace(//g, '>').replace(/<strong>/g, '').replace(/<\/strong>/g, ''); 50 | } 51 | 52 | function paging(page, pages) { 53 | var visible = 8, 54 | rangeMin = page - Math.round(visible / 2), 55 | rangeMax = page + Math.round(visible / 2), 56 | pageList = []; 57 | 58 | if (pages <= visible) { 59 | rangeMin = 1; 60 | rangeMax = pages; 61 | } else { 62 | if (rangeMin < 1) { 63 | rangeMax += Math.abs(rangeMin) + 1; 64 | rangeMin = 1; 65 | } else if (rangeMax > pages) { 66 | rangeMin -= rangeMax - pages; 67 | rangeMax = pages; 68 | } 69 | } 70 | 71 | for (var i = rangeMin; i <= rangeMax; i++) { 72 | pageList.push({ 73 | page: i, 74 | active: i == page 75 | }); 76 | } 77 | 78 | if (rangeMin > 1) { 79 | pageList.unshift({ 80 | disabled: true 81 | }); 82 | } 83 | 84 | if (rangeMax < pages) { 85 | pageList.push({ 86 | disabled: true 87 | }); 88 | } 89 | 90 | return pageList; 91 | } 92 | 93 | function search(query, from, size, callback) { 94 | var searchObj = { 95 | 'sort': [{ 96 | 'found': { 97 | 'order': 'desc' 98 | } 99 | }], 100 | 'query': { 101 | 'query_string': { 102 | 'fields': ['text', 'title^5'], 103 | 'query': query || '', 104 | 'default_operator': 'AND' 105 | } 106 | }, 107 | 'from': from || 0, 108 | 'size': size || 25, 109 | 'highlight': { 110 | 'pre_tags': [''], 111 | 'post_tags': [''], 112 | 'fields': { 113 | 'title': { 114 | 'fragment_size': 500, 115 | 'number_of_fragments': 1 116 | }, 117 | 'text': { 118 | 'fragment_size': 250, 119 | 'number_of_fragments': 1 120 | } 121 | } 122 | } 123 | }; 124 | 125 | fetch.fetchUrl(config.elasticsearch.search, { 126 | method: 'GET', 127 | payload: JSON.stringify(searchObj) 128 | }, function(err, meta, body) { 129 | var docs; 130 | if (err) { 131 | return callback(err); 132 | } 133 | if (meta.status != 200) { 134 | return callback(new Error('Invalid response status from Storage server ' + meta.status)); 135 | } 136 | 137 | try { 138 | docs = JSON.parse(body.toString()); 139 | } catch (E) { 140 | log.error('JSON', E); 141 | return callback(E); 142 | } 143 | 144 | return callback(null, docs); 145 | }); 146 | } -------------------------------------------------------------------------------- /opt/artikliotsing/views/main.ejs: -------------------------------------------------------------------------------- 1 | 2 | 3 | 4 | 5 |104 | Otsi Eesti internetiväljaannete artiklite hulgast 105 |
106 |