├── .gitignore ├── LICENSE.md ├── README.md ├── feeder.js ├── index.html └── main.py /.gitignore: -------------------------------------------------------------------------------- 1 | # Byte-compiled / optimized / DLL files 2 | __pycache__/ 3 | *.py[cod] 4 | *$py.class 5 | 6 | # C extensions 7 | *.so 8 | 9 | # Distribution / packaging 10 | .Python 11 | env/ 12 | build/ 13 | develop-eggs/ 14 | dist/ 15 | downloads/ 16 | eggs/ 17 | .eggs/ 18 | lib/ 19 | lib64/ 20 | parts/ 21 | sdist/ 22 | var/ 23 | *.egg-info/ 24 | .installed.cfg 25 | *.egg 26 | 27 | # PyInstaller 28 | # Usually these files are written by a python script from a template 29 | # before PyInstaller builds the exe, so as to inject date/other infos into it. 30 | *.manifest 31 | *.spec 32 | 33 | # Installer logs 34 | pip-log.txt 35 | pip-delete-this-directory.txt 36 | 37 | # Unit test / coverage reports 38 | htmlcov/ 39 | .tox/ 40 | .coverage 41 | .coverage.* 42 | .cache 43 | nosetests.xml 44 | coverage.xml 45 | *,cover 46 | .hypothesis/ 47 | 48 | # Translations 49 | *.mo 50 | *.pot 51 | 52 | # Django stuff: 53 | *.log 54 | local_settings.py 55 | 56 | # Flask stuff: 57 | instance/ 58 | .webassets-cache 59 | 60 | # Scrapy stuff: 61 | .scrapy 62 | 63 | # Sphinx documentation 64 | docs/_build/ 65 | 66 | # PyBuilder 67 | target/ 68 | 69 | # IPython Notebook 70 | .ipynb_checkpoints 71 | 72 | # pyenv 73 | .python-version 74 | 75 | # celery beat schedule file 76 | celerybeat-schedule 77 | 78 | # dotenv 79 | .env 80 | 81 | # virtualenv 82 | venv/ 83 | ENV/ 84 | 85 | # Spyder project settings 86 | .spyderproject 87 | 88 | # Rope project settings 89 | .ropeproject 90 | -------------------------------------------------------------------------------- /LICENSE.md: -------------------------------------------------------------------------------- 1 | MIT License 2 | 3 | Copyright (c) 2016 Noveo Group 4 | 5 | Permission is hereby granted, free of charge, to any person obtaining a copy 6 | of this software and associated documentation files (the "Software"), to deal 7 | in the Software without restriction, including without limitation the rights 8 | to use, copy, modify, merge, publish, distribute, sublicense, and/or sell 9 | copies of the Software, and to permit persons to whom the Software is 10 | furnished to do so, subject to the following conditions: 11 | 12 | The above copyright notice and this permission notice shall be included in all 13 | copies or substantial portions of the Software. 14 | 15 | THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR 16 | IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, 17 | FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE 18 | AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER 19 | LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, 20 | OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE 21 | SOFTWARE. 22 | -------------------------------------------------------------------------------- /README.md: -------------------------------------------------------------------------------- 1 | # Демо-проект RSS-агрегатора с использованием библиотеки ReactiveX для Python 2 | 3 | Хорошей иллюстрацией возможностей ReactiveX является приложение RSS-агрегатора. Здесь возникает необходимость асинхронной загрузки данных, фильтрации и трансформации значений, поддержания актуального состояния путем периодического обновления. 4 | 5 | Для запуска необходимо из папки проекта выполнить команду ```python3 main.py``` и в браузере перейти по адресу ```http://localhost:8080/``` 6 | -------------------------------------------------------------------------------- /feeder.js: -------------------------------------------------------------------------------- 1 | (function (global, $, undefined) { 2 | function main() { 3 | var $input = $('#textInput'), 4 | $results = $('#results'); 5 | var ws = new WebSocket("ws://localhost:8080/ws"); 6 | 7 | $input.keyup(function(ev) { 8 | var msg = { term: ev.target.value }; 9 | ws.send(JSON.stringify(msg)); 10 | }); 11 | 12 | ws.onmessage = function(msg) { 13 | var value = JSON.parse(msg.data); 14 | if (value === "clear") {$results.empty(); return;} 15 | 16 | // Append the results 17 | $('
  • ' + value.title +'

    ' + value.published + 19 | '

    ' + value.summary + '

    • ' 20 | ).appendTo($results); 21 | $results.show(); 22 | } 23 | } 24 | main(); 25 | }(window, jQuery)); 26 | 27 | -------------------------------------------------------------------------------- /index.html: -------------------------------------------------------------------------------- 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | RSS-агрегатор 10 | 11 | 12 | 13 |
    14 |
    15 |
    16 |

    RSS-агрегатор на RxPY

    17 |

    Топ-10 новостей

    18 |
    19 |
    20 |
    21 | 22 | 23 |
    24 |
    25 | 26 |
    27 |
    28 | 29 | 30 | 31 | 32 | -------------------------------------------------------------------------------- /main.py: -------------------------------------------------------------------------------- 1 | import json 2 | import os 3 | 4 | import feedparser 5 | from rx import config, Observable 6 | from rx.subjects import Subject 7 | from tornado.escape import json_decode 8 | from tornado.httpclient import AsyncHTTPClient 9 | from tornado.platform.asyncio import AsyncIOMainLoop 10 | from tornado.web import Application, RequestHandler, StaticFileHandler, url 11 | from tornado.websocket import WebSocketHandler 12 | 13 | asyncio = config['asyncio'] 14 | 15 | 16 | class WSHandler(WebSocketHandler): 17 | urls = ['https://lenta.ru/rss/top7', 18 | 'http://wsrss.bbc.co.uk/russian/index.xml'] 19 | 20 | def get_rss(self, rss_url): 21 | http_client = AsyncHTTPClient() 22 | return http_client.fetch(rss_url, method='GET') 23 | 24 | def open(self): 25 | print("WebSocket opened") 26 | 27 | # Subject одновременно и observable, и observer 28 | self.subject = Subject() 29 | 30 | def send_response(x): 31 | self.write_message(json.dumps(x)) 32 | 33 | def on_error(ex): 34 | print(ex) 35 | 36 | user_input = self.subject.throttle_last( 37 | 1000 # На заданном временном промежутке получать последнее значение 38 | ).start_with( 39 | '' # Сразу же после подписки отправляет значение по умолчанию 40 | ).filter( 41 | lambda text: not text or len(text) > 2 42 | ) 43 | 44 | interval_obs = Observable.interval( 45 | 60000 # Отдает значение раз в 60с (для периодического обновления) 46 | ).start_with(0) 47 | 48 | # combine_latest собирает 2 потока из запросов пользователя и временных 49 | # интервалов, срабатывает на любое сообщение из каждого потока 50 | self.combine_latest_sbs = user_input.combine_latest( 51 | interval_obs, lambda input_val, i: input_val 52 | ).do_action( # Срабатывает на каждый выпущенный элемент 53 | # Отправляет сообщение для очистки списка на фронтэнд 54 | lambda x: send_response('clear') 55 | ).flat_map( 56 | # В цепочку встраивается observable для получения списка 57 | self.get_data 58 | ).subscribe(send_response, on_error) 59 | # Создается подписка; вся цепочка начинает работать только в этот момент 60 | 61 | def get_data(self, query): 62 | # Observable создается из списка url 63 | return Observable.from_list( 64 | self.urls 65 | ).flat_map( 66 | # Для каждого url создается observable, который загружает данные 67 | lambda url: Observable.from_future(self.get_rss(url)) 68 | ).flat_map( 69 | # Полученные данные парсятся, из них создается observable 70 | lambda x: Observable.from_list( 71 | feedparser.parse(x.body)['entries'] 72 | ).filter( 73 | # Фильтрует по вхождению запроса в заголовок или текст новости 74 | lambda val, i: query in val.title or query in val.summary 75 | ).take(5) # Берем только по 5 новостей по каждому url 76 | ).map(lambda x: {'title': x.title, 'link': x.link, 77 | 'published': x.published, 'summary': x.summary}) 78 | # Преобразует данные для отправки на фронтэнд 79 | 80 | def on_message(self, message): 81 | obj = json_decode(message) 82 | # Отправляет сообщение, который получает user_input 83 | self.subject.on_next(obj['term']) 84 | 85 | def on_close(self): 86 | # Отписаться от observable; по цепочке остановит работу всех observable 87 | self.combine_latest_sbs.dispose() 88 | print("WebSocket closed") 89 | 90 | 91 | class MainHandler(RequestHandler): 92 | def get(self): 93 | self.render("index.html") 94 | 95 | 96 | def main(): 97 | AsyncIOMainLoop().install() 98 | 99 | port = os.environ.get("PORT", 8080) 100 | app = Application([ 101 | url(r"/", MainHandler), 102 | (r'/ws', WSHandler), 103 | (r'/static/(.*)', StaticFileHandler, {'path': "."}) 104 | ]) 105 | print("Starting server at port: %s" % port) 106 | app.listen(port) 107 | asyncio.get_event_loop().run_forever() 108 | 109 | if __name__ == '__main__': 110 | main() 111 | --------------------------------------------------------------------------------