├── MachineLeariningFreeCource.md ├── operational-transform.md ├── RL_Rsc.md └── README.md /MachineLeariningFreeCource.md: -------------------------------------------------------------------------------- 1 | source : http://www.kdnuggets.com/2016/06/open-source-machine-learning-degree.html#.WEjoBR4xA4Q.facebook 2 | 3 | ##Mathematics 4 | - Calculus 5 | - Calculus by Gilbert Strang [pdf](https://ocw.mit.edu/ans7870/resources/Strang/Edited/Calculus/Calculus.pdf) 6 | 7 | - Linear Algebra 8 | - Linear Algebra by Jim Hefferon [pdf](https://ocw.mit.edu/ans7870/resources/Strang/Edited/Calculus/Calculus.pdf) 9 | 10 | - More Linear Algebra 11 | - Linear Algebra Done Right by Sheldon Axler pdf 12 | - Advanced Linear Algebra by Steven Roman pdf 13 | - Advanced Linear Algebra by Bruce E. Shapiro pdf 14 | 15 | - Even More Damn Linear Algebra 16 | - A Collection of Notes on Numerical Linear Algebra by Robert A. van de Geijn pdf (optional donation to the author on his website) 17 | - Numerical Linear Algebra by Lloyd N. Trefethen, David Bau, III Google Books 18 | 19 | - Probability and Statistics 20 | - Introduction to Probability by Charles M. Grinstead and Laurie Snellpdf 21 | - All of Statistics by Larry Wasserman pdf 22 | 23 | ##Introductory Machine Learning 24 | Introduction to Machine Learning by Alex Smola and S.V.N. Vishwanathan pdf 25 | Introduction to Machine Learning - The Wikipedia Guide by Nixonite pdf 26 | Introduction to Machine Learning by Ethem Alpaydin pdf 27 | 28 | ##Computer Vision 29 | Computer Vision: Algorithms and Applications by Richard Szeliski pdf 30 | 31 | ##Reinforcement Learning 32 | Introduction to Reinforcement Learning by Sutton and Barto html 33 | 34 | ##Probabilistic Graphical Models 35 | A Brief Introduction to Graphical Models and Bayesian Networks by Kevin Murphy pdf html 36 | An Introduction to Graphical Models by Kevin Murphy pdf 37 | Probabilistic Graphical Models: Principles and Techniques by Koller, Friedman pdf 38 | Bayesian Reasoning and Machine Learning by David Barber pdf 39 | 40 | ##Applied Machine Learning 41 | Natural Language Processing with Python by Steven Bird et al. pdf (Python 2) html (Python 3) 42 | Machine Learning in Action by Peter Harrington pdf 43 | An Introduction to Statistical Learning with Applications in R by Gareth James, Daniela Witten, Trevor Hastie and Robert Tibshirani pdf 44 | 45 | ##Machine Learning - HARD MODE 46 | Elements of Statistical Learning by Hastie et al. pdf 47 | Pattern Recognition and Machine Learning by Christopher M. Bishop pdf 48 | Information Theory, Inference, and Learning Algorithms by David J. C. MacKay pdf 49 | -------------------------------------------------------------------------------- /operational-transform.md: -------------------------------------------------------------------------------- 1 | https://github.com/scrosby/fedone/blob/master/whitepapers/operational-transform/operational-transform.rst 2 | 원문 : https://en.wikipedia.org/wiki/Operational_transformation 3 | 4 | #Operational transformation 5 | OT는 원래 일관성 유지와 평문 문서를 동시 편집시 동시성 제어를 위해 개발되었다. 20여개의 연구가 그 능력을 확장 시켰고, 응용분야를 Group Undo, Locking, 충돌 해결, 명령어 알림 및 압축, 그룹 인식, 트리 구조 문서 편집(XML, HTML), 공동 오피스 생산성 도구 등으로 넓혔다. 6 | 7 | Operational transformation 8 | - History 9 | - System architecture 10 | - Basics 11 | - Consistency models (항상성 유지 모델) 12 | - CC Model 13 | - The CCI model 14 | - The CSM model 15 | - The CA model 16 | 17 | ##History 18 | OT 는 C. Ellis and S. Gibbs[1] in the GROVE 에 의해 처음 개발 되었다. 몇 년후, 정확성 이슈가 제기되었고, 여러가지의 접근방식이 이 이슈를 해결하기 위해 제안되었다. 19 | 20 | ##System architecture 21 | OT 사용한 공동편집은 일반적으로 인터넷과 같은 높은 Latency 환경에서 좋은 민감도를 보장하기 위해 공유 문서의 저장소를 흉내낸 구조를 사용한다. 22 | 공유 문서는 각 공동편집 클라이언트의 로컬 저장소에 흉내내어 진다. 그래서 편집 명령어는 즉시 로컬에서 실행 될수 있고, 그 후에 다른곳으로 전파된다. 23 | 로컬영역에 도착한 원격지 편집 명령어는 일반적으로 변형되어 진후에 실행된다. 24 | 이 명령어 변형은 프로그램이 원하는 동기화가 수준을 모든 클라이언트에서 만족함을 보장한다. 25 | OT는 Lock-Free, non-Blocking 기능은 로컬 반응 시간이 네트워크 Latency 에 대해 민감하지 않게 한다. 26 | 그 결과 OT는 특히 공동편집 구현하기에 적합하다. 27 | ##Basics 28 | OT의 기본 아이디어는 간단한 글자 편집 예제를 통해 설명할 수 있다. 2개의 클라이언트에 "abc"라는 글자가 있는 문서가 복사되어져 있다. 29 | 그리고 아래와 같은 2개의 편집동작이 각각의 클라이언트에서 발생하였다. 30 | O1 = insert [ 0, "x" ] -> 0번째 자리에 'x'를 입력하라. 31 | O2 = delete [ 2, 1] -> 2번째 자리에서 한글자를 지워라. 32 | 2개의 명령어는 O1, O2 의 순서로 실행되었다고 가정해 보자. 33 | O1 이 실행된 후에, 문서는 "xabc" 가 된다. O1 실행후, O2 를 실행기 위해서, O2 는 O1 에 대해서 반드시 변형되어야 한다. O2' = Delete[3, 1]가 되어야한다. 34 | O1에 의해 'X' 라는 한글자가 입력되었기 때문에, 위치 인자가 하나 증가하여야 한다. 35 | "xabc"인 문서에서 O2'를 실행하면, 올바른 문자 'c' 를 지우고, 문서는 'xab'가 된다. 36 | 그러나 만약 O2 가 변환 없이 실행되면, 'c'가 아니라 'b' 를 지우게 된다. 37 | OT의 기본적인 원리리는 이전에 실행된 동시 명령어의 영향에 의해 편집 명령어의 인자를 변환 또는 조정하는 것이다. 38 | 변환된 명령어는 문서의 항상성 유지하고, 똑바른 영향을 달성할 수 있다. 39 | 40 | ##Basic idea behind OT 41 | 42 | ##Consistency models (항상성 유지 모델) 43 | OT의 기능 중 하나는 공동편집에서 항상성 유지를 지원하는 것이다. 연구자 커뮤니티에서 여러가지 항상성 모델이 제안되었다. 어떤한 것을 공동편집에서 일반적이고, 어떠한 것들은 OT 알고리즘만을 위한 특별한 것이다. 44 | 45 | ###CC Model 46 | paper "Concurrency control in groupware systems" 논문에서, 공동편집 시스템을 위해 2개의 항상성 요소가 필요하고 하였다, 47 | Precedence(Causality) Property (인과관계) : 공동편집 과정중에 인과관계가 있는 명령어의 실행순서는, 그들의 자연스러운 인과 순서와 같아야한다. 2개의 명령어 간의 인과관계는 Lamport's "happened-before" 관계에서 정의된다. 48 | 2개의 명령어가 인과과계적으로 의존성이 없으면, 그들은 동시성을 가진다. 2개의 동시성 명령어는 2개의 다른 문서 복사본에서 다른 순서로 실행될 수 있다. 49 | Convergence(수렴-모든 문서가 하나의 문서로 수렴) : 공유 문서의 흉내내어진 복사본은 정지상태에서 모든 클라이언트에서 동일해야한다. (모든 생성된 명령어가 모든 클라이언트에서 실행된 된 경우) 50 | 51 | 동시성 명령어가 다른 순서로 실행되지고 나서부터, 편집 명령어들은 교환법칙이 보통 섭립하지 않고, 다른 클라이언트의 문서복사본들은 분기를 탄다.(내용이 달라진다.) 52 | 첫 OT 알고리즘은 그룹 문서편집기에서 수렴(convergence)을 달성하기 위해, 논문에서 제안되었다. 우선순위를 지켜주기 위해 state-vector 가 사용되었다. 53 | 54 | ###The CCI model 55 | CCI 모델은 공동편집에서 항상성 관리를 위해 제안되었다. CCI 모델어서는 3개의 항상성 요소가 있다. 56 | Causality preservation(인과관계 보존) : CC 모델에서 Precedence 와 같다. 57 | Convergence: CC 모델에서 Convergence와 같다. 58 | Intention preservation(의도 유지): 어떠한 문서상태에서도 명령어의 수행 효과가 명령어의 의도와 같아야한다. 명령어 O 의 의도는 O가 만들어졌던 문서 상태에서 O가 적용됨으로써 달성될수 있는 실행 결과로 정의된다. 59 | CCI모델은 CC모델을 새로운 기준을 넣어 확장한 것이다. Convergence와 Intention preservation의 중요한 차이점은 Convergence은 항상 시리얼라이즈 프로토콜에 의해 달성할수 있다라는 점이다. 하지만 Intention preservation 는 명령어가 원래의 형태에서 항상 실행된다면, 어떤 시리얼라이즈 프로토콜에 의해서는 달성될수 없을 수도 있다. non 시리얼라이드 intention preservation 요소를 달성하는 것은 중요한 기술적 도전이다. OT는 공동편집에서 intention preservation와 Convergence을 달성하는데 적합하다. 60 | CCI모델은 문서타입, 데이터 모델, 명령어 타입, 지원기술(OT, 시리얼라이즈, Undo,Redo ) 등에 독립적이다. 특정 데이터, 특정 프로그램을 위해 설계된 기술을 위한 정확성 검증을 위해 만들어진것이 아니다. 61 | intention preservation 의 개념은 아래 3가지 레벨에서 정의 된다. 62 | 첫째, 공동편집을 위해 일반적인 항상성 요구사항으로 정의 된다. 63 | 둘째, 일반적인 OT 동작을 위한 전후 변환 조건으로 정의 된다. 64 | 셋째, 2개의 원본 명령어를 위한 OT 동작을 위한 설계를 가이드 하기 위한 특정 명령어 검증 기준으로 정의된다. 65 | 66 | ###The CSM model 67 | intention preservation 의 조건은 공식적인 증거의 목적으로 CCI 모델에서 공식으로 특별한것이 아니다. 68 | SDT,LBT 접근 법은 주어질수 있는 다른 조건을 형식화하도룩 시도했다. 이 2가지의 접근법에서 항상성 모델은 아래와 같은 일반화된 조건으로 구성되어 있다. 69 | 70 | Causality: CC 모델에서 Precedence 와 같다. 71 | Single-operation effects: 어떠한 실행 클라이언트에서 어떠한 실행결과가 만든 클라이언트와 같은 효과를 달성해야한다. 72 | Multi-operation effects: t어떠한 2개의 명령어의 실행결과 관계가 어떠한 상태에서 2개다 실행된후에 유지된다. 73 | 74 | ###The CA model 75 | 위의 CSM 모델은 시스템 안에서 모든 오브제극의 전체 순서가 특별해야 함이 필요하다. 효과적으로, 이 사양은 삽입 동작에 의해 도입된 새로운 오브젝트를 줄인다. 76 | 그러나 전체 순서에 사양은 삽입 관계를 끈는 거 같은 프로그램 종속적인 정책을 수반한다. (같은 위치에 2개의 명령어의 의해 삽입된 새로운 객체) 77 | 그 결과, 전체 순서는 프로그램 종속적이다. 더욱이 알고리즘에서 전체 순서는 변환 함수에서 유지 되어야 한다. (이동작은 알고리즘의 시작복잡도를 높힌다.) 78 | 그 대신에 CA 모델은 admissibility theory["Commutativity-Based Concurrency Control in Groupware". Proceedings of the First IEEE Conference on Collaborative Computing: Networking, Applications and Worksharing (CollaborateCom'05).] 에 근거를 둔다. 79 | CA 모델은 2가지 방향을 가진다. 80 | Causality: CC 모델에서 Precedence 와 같다. 81 | Admissibility(인정되는 ): 모든 명령어의 발동은 그것의 동작 환경에서 허용되어야한다. 예를 들어) 더 빠른 발동의 의해 인정된 모든 어떠한 효과관계를 침범하지 않아야한다. (오브젝트 오더링 같은...) 82 | 83 | These two conditions imply convergence. All cooperating sites converge in a state in which there is a same set of objects that are in the same order. Moreover, the ordering is effectively determined by the effects of the operations when they are generated. Since the two conditions also impose additional constraints on object ordering, they are actually stronger than convergence. The CA model and the design/prove approach are elaborated in the 2005 paper.[9] It no longer requires that a total order of objects be specified in the consistency model and maintained in the algorithm, which hence results in reduced time/space complexities in the algorithm. 84 | 85 | -------------------------------------------------------------------------------- /RL_Rsc.md: -------------------------------------------------------------------------------- 1 | ##Reinforcement Learning 2 | 3 | ###Algorithm 4 | - DQN ( Deep Q-Learing ) 5 | - Q-learning 6 | - Policy Gradient 7 | - A3C ( Asynchronous Advanced Actor-Critic ) 8 | - MDP (Markov Decision process) 9 | - OO-MDP (Object-oriented Markov Decision Process) 10 | - Gym 11 | 12 | ###Lecture & Books 13 | - [The Nuts and Bolts of Deep RL Research-NIPS2016- Schulman](http://rll.berkeley.edu/deeprlcourse/docs/nuts-and-bolts.pdf) 14 | - [CS188 2013](https://www.youtube.com/user/CS188Spring2013) 15 | - [CS188 2014](https://www.youtube.com/watch?v=IXuHxkpO5E8) 16 | - [CS188 2016](https://www.youtube.com/watch?v=3aCn2-Slaoc&list=PLIeooNSdhQE5kRrB71yu5yP9BRCJCSbMt) 17 | - David Sliver (Deep Mind) 18 | - [DeepMind Blog](https://deepmind.com/blog/deep-reinforcement-learning/) 19 | - [John Schulman](https://www.youtube.com/watch?v=aUrX-rP_ss4&index=1&list=PLUdqnrHmtdXQuivfwPyEKi3y5eQJqo1c4) 20 | - Udacity - Reinforcement Learning 21 | - [sutton book 2015 ](https://www.dropbox.com/s/b3psxv2r0ccmf80/book2015oct.pdf?dl=0) 22 | - Replicating Deep Q Learning with TensorFlow 23 | - [1](https://www.youtube.com/watch?v=suNNrEHDR-I) / [2](https://www.youtube.com/watch?v=Zu-oNPPVvfI) 24 | - [Policy Gradients wiki](http://www.scholarpedia.org/article/Policy_gradient_methods) 25 | - [모두의 연구소 RL 책](https://dnddnjs.gitbooks.io/rl/content/) 26 | - [RL 기초 ](https://norman3.github.io/rl/) 27 | - [인공지능 By SNU](https://www.youtube.com/playlist?list=PLzWH6Ydh35ggVGbBh48TNs635gv2nxkFI) 28 | - [Introduction to Markov Chain Monte Carlo](http://www.mcmchandbook.net/HandbookChapter1.pdf) 29 | - [LEARNING REINFORCEMENT LEARNING By Wide ML](http://www.wildml.com/2016/10/learning-reinforcement-learning/#comments) 30 | - Hasbiss in DeppMind 31 | - [Hasbiss autumn Lecture](https://www.youtube.com/watch?v=Psk5DLpqp3o) 32 | - [Demis Hassabis discusses his vision ](https://www.youtube.com/watch?v=iHrn2zLFh8Y&index=41&list=WL) 33 | 34 | ### Posting 35 | - [*The very basics of Reinforcement Learning](https://medium.com/@aneekdas/the-very-basics-of-reinforcement-learning-154f28a79071#.sfawx87dl) 36 | - [자바스크립트로 만드는 객체지향형 인공지능]https://www.facebook.com/groups/132184990601054/permalink/198511323968420/ 37 | - [DEEP REINFORCEMENT LEARNING: AN OVERVIEW](https://arxiv.org/pdf/1701.07274.pdf) 38 | - [Introduction to Q-Learning](https://medium.com/@aneekdas/introduction-to-q-learning-88d1c4f2b49c#.w1at07ivb) 39 | - [Dissecting Reinforcement Learning-Part.1](https://mpatacchiola.github.io/blog/2016/12/09/dissecting-reinforcement-learning.html) 40 | - [AI Begins to Understand the 3-D World](https://www.technologyreview.com/s/603107/ai-begins-to-understand-the-3-d-world/) 41 | - [딥러닝과 강화 학습으로 나보다 잘하는 쿠키런 AI 구현하기-동강](http://serviceapi.rmcnmv.naver.com/flash/outKeyPlayer.nhn?vid=744982879C4B8D95A768185158158FA1F14E&outKey=V122a39972b8120461b33134a56dad62b1db97657ca107701108d134a56dad62b1db9&controlBarMovable=true&jsCallable=true&skinName=tvcast_white) 42 | - [awesome-starcraftAI](https://github.com/SKTBrain/awesome-starcraftAI) 43 | - Deep Mind blog 44 | - [Enabling Continual Learning in Neural Networks](https://deepmind.com/blog/enabling-continual-learning-in-neural-networks/) 45 | - [blog](https://deepmind.com/blog) 46 | - [reinforcement-learning-unsupervised-auxiliary-tasks](https://deepmind.com/blog/reinforcement-learning-unsupervised-auxiliary-tasks/) 47 | - [기사](http://m.news.naver.com/read.nhn?oid=092&aid=0002106658&sid1=105&mode=LSD) 48 | - 현재 머신러닝은 가공을 거친 데이터를 이용해 학습하는 수퍼바이즈드 러닝, 즉 지도 학습이 주류다. 바둑이 머신러닝과 강화학습에 적합한 것은 19X19라는 정해진 틀 안에서 모든 사건이 이뤄져 데이터의 후가공이 편하기 때문이다. 따라서 수퍼바이즈드 러닝을 쉽게 적용할 수 있다. 바둑 뿐 아니라 장기, 체스와 같은 보드 게임은 이같은 측면에서 모두 비슷하다. 딥마인드가 알파고 전에 테스트한 아타리 게임들도 대부분 한 화면 내에서 이뤄지는 게임들이다. 49 | 여기에 딥마인드가 하나를 더 보탰다. 기존 아타리 게임 에이전트에 보조 작업(auxiliary tasks)을 추가해 3D 게임과 같이 언수퍼바이즈드 러닝, 즉 비지도 학습에 가까운 게임에도 적용할 수 있도록 한 것이다. 이 에이전트의 이름은 언리얼(UNREAL, UNsupervised REinforcement and Auxiliary Learning)로 이전 에이전트보다 학습 능력이 무려 10배 이상 높아져 고수들의 결과의 87%까지 도달할 수 있었다고 한다. 몇몇 스테이지에서는 사람보다도 더 높은 성적을 올렸다. 다른 아타리 게임에서의 성능도 향상돼 사람보다 9배 높은 점수를 따냈다. 50 | 기계학습 부문에서 향후 비지도 학습, 즉 데이터 가공 없이 바로 현장에서 취합하는 데이터를 이용해 학습을 진행할 수 있도록 하는 분야가 각광을 받을 것이라고 들은 바 있다. 아직 연구를 많이 해야 하고 그만큼 가능성도 높다고 한다. 딥마인드가 바로 이같은 비지도학습에서도 한걸음 나아간 것으로 보인다. 51 | - [Deep Mind-Differentiable neural computers- 기학습된 네트워크에서 내용 가져와서 다른 학습](https://deepmind.com/blog/differentiable-neural-computers/) 52 | - [korean Discription](https://tensorflowkorea.wordpress.com/2016/10/13/deepminds-new-paper-memory-augmented-neural-network/) 53 | - [impl](https://github.com/Mostafa-Samir/DNC-tensorflow) 54 | - [Deep Reinforcement Learning: Playing a Racing Game](https://lopespm.github.io/machine_learning/2016/10/06/deep-reinforcement-learning-racing-game.html) 55 | - [Deep Reinforcement Learning for Driving Policy](https://www.youtube.com/watch?v=QK0LxA8FWq4&feature=share) 56 | - [Open Ai 분석-모두의 연구소](http://www.modulabs.co.kr/RL_library/2621) 57 | - [딥 강화학습 쉽게 이해하기](http://ddanggle.github.io/ml/ai/cs/2016/09/24/demystifyingDL.html) 58 | - [Replicating Deep Q Learning with TensorFlow - 한국어](https://www.youtube.com/watch?v=suNNrEHDR-I) 59 | - [시리즈]Simple Reinforcement Learning with Tensorflow 60 | - [Part 0: Q-Learning with Tables and Neural Networks](https://medium.com/emergent-future/simple-reinforcement-learning-with-tensorflow-part-0-q-learning-with-tables-and-neural-networks-d195264329d0#.6bd9pfsdv) 61 | - [Simple reinforcement learning ](http://kvfrans.com/simple-algoritms-for-solving-cartpole/) 62 | - [GP By karpathy](http://karpathy.github.io/2016/05/31/rl/) 63 | - [Deep Reinforcement Learning: Frontiers and Challenges, IJCAI 2016](https://sites.google.com/site/deeprlijcai16/programme) 64 | - [dueling_dqn](http://torch.ch/blog/2016/04/30/dueling_dqn.html) 65 | - [torch blog](http://torch.ch/blog/index.html) 66 | - [텐서플로우(TensorFlow)를 이용해 간단한 DQN(Deep-Q-Networks) ](http://solarisailab.com/archives/486) 67 | - [Reinforce Pong at Gym-tensorflowKorea](https://tensorflowkorea.wordpress.com/2016/07/13/reinforce-pong-at-gym/) 68 | - [Q-learing + CNN를 이용한 지역화](http://www.slideshare.net/ssuser06e0c5/q-learning-cnn-object-localization) 69 | - [Semantic representations in the temporal pole predict false memories](http://www.pnas.org/content/early/2016/08/16/1610686113.long) 70 | - [Deep Deterministic Policy Gradients in TensorFlow](http://pemami4911.github.io/blog_posts/2016/08/21/ddpg-rl.html) 71 | - [rl4j-DQN](https://rubenfiszel.github.io/posts/rl4j/2016-09-08-DQN-Learning-to-play-from-pixels-step-by-step.html) 72 | - [Teaching Your Computer To Play Super Mario Bros](http://www.ehrenbrav.com/2016/08/teaching-your-computer-to-play-super-mario-bros-a-fork-of-the-google-deepmind-atari-machine-learning-project/?ref=mybridge.co) 73 | - [튜토리얼 ICML2016-DL](http://techtalks.tv/talks/deep-reinforcement-learning/62360/) 74 | - [deep-reinforcement-learning-with-openai](http://www.rubedo.com.br/2016/08/deep-reinforcement-learning-with-openai.html) 75 | - Reinforment L 76 | - [1. Demystifying Deep Reinforcement Learning](https://www.nervanasys.com/demystifying-deep-reinforcement-learning/) 77 | - [2. deep-reinforcement-learning-with-neon](https://www.nervanasys.com/deep-reinforcement-learning-with-neon/) 78 | - [3. Deep Reinforcement Learning with OpenAI Gym](https://www.nervanasys.com/openai/) 79 | 80 | ###conference 81 | - [NIPS-2016] 82 | - [Deep Reinforcement Learning Workshop, NIPS 2016](https://sites.google.com/site/deeprlnips2016/) 83 | - [Generative Adversarial Networks (GANs) tutorial](http://www.iangoodfellow.com/slides/2016-12-04-NIPS.pdf) 84 | - [Deep Reinforcement Learning through Policy Optimiztion-Jhon schulman](http://people.eecs.berkeley.edu/~pabbeel/nips-tutorial-policy-optimization-Schulman-Abbeel.pdf) 85 | - [NIPS 2016 Generative Adversarial Training workshop talk](http://www.nowozin.net/sebastian/blog/nips-2016-generative-adversarial-training-workshop-talk.html) 86 | - [NIPS-KeyNotes Yann Le Cun](https://drive.google.com/file/d/0BxKBnD5y2M8NREZod0tVdW5FLTQ/view) 87 | - I made the following main points: 88 | >1. supervised learning works well if you have lots of labeled data 89 | >2. But it's insufficient if we want machines to learn enough about how the world works to acquire "common sense" 90 | >3. The only way for machines to acquire common sense is to observe the world and act in it, like humans and animals. 91 | >4. To become more intelligent, machines will need to learn predictive models of the world. 92 | >5. Entity RNN is a new model that maintains an estimate of the state of the world from textual descriptions of events. 93 | >6. It is the only model that can solve all 20 of the bAbI tasks with good accuracy. 94 | >7. predictive world models can be used for intelligent planning and learning by playing out actions sequences and simulating the result without actually affecting the world. 95 | >8. But they also need to learn in a goal-directed fashion. This is a plea for model-based reinforcement learning. 96 | >9. Predictive learning can be formulated in an energy-based framework. It comes down to learning to predict with uncertainty. 97 | >10. The most promising idea for learning under uncertainty is adversarial training. 98 | >11. energy-based generative adversarial networks can synthesize high-resolution images. 99 | >12. adversarial training enables the training of video prediction systems and get around the "blurry prediction" problem of least-square criteria. 100 | 101 | ###Environment 102 | - [Universe: Measurement and training for AI-openAI](https://tensorflow.blog/2016/12/05/universe-measurement-and-training-for-ai/) 103 | - [Open-sourcing DeepMind Lab](https://deepmind.com/blog/open-sourcing-deepmind-lab/) 104 | - [Environment disc By Yann LeCun] 105 | - Three companies are announcing three different environments that use games and virtual environments for AI research: 106 | TorchCraft (Facebook): https://github.com/TorchCraft/TorchCraft 107 | DeepMind Lab (DeepMind): https://deepmind.com/blog/open-sourcing-deepmind-lab/ 108 | OpenAI Universe (OpenAI): https://universe.openai.com/ 109 | Why is everyone so interested in games? 110 | Well, few AI researchers are *actually* interested in games from the professional standpoint (with the notable exception of my dear colleague Julian Togelius !). 111 | But one of the big obstacles to progress in AI is the construction and testing of complete AI agents that perceive, reason, remember, and act in complex environments. 112 | AI systems must be able to model their environment, predict the consequence of their actions, identify causal relationships so they can act in ways that will influence the environment. 113 | In my opinion, designing methods that will allow AI systems to learn good predictive models of the world in an unsupervised manner is one of the biggest challenges of AI research today. 114 | AI systems in complex environments also need to have basic drives and motivations that will make them do what they are supposed to do in a safe and efficient way. This can be encoded in objective functions that provide intrinsic motivations for AI systems. 115 | With a predictive world model and an objective function that provides intrinsic motivations, an AI agent also needs to be able to produce action sequences that will make the environment reach a state that optimizes the objective. This is the problem of planning under uncertainty. 116 | To perform long-term planning, an AI agent needs to be able to decompose a complex task into subtasks, or replace a long-term goal by a series of sub-goals, or replace a long-term objective by a series short-term surrogate objectives. 117 | Certain games provide good environment for developing, experimenting and testing AI methods and principles to solve all the above problems. 118 | Of course, one could also use physical robots and real-world tasks to develop these techniques, but progress would be slow because there are two major problems with the real world: 119 | >1. it is difficult to reproduce results, and more importantly... 120 | >2. The main problem with the real world is that you can't run it faster than real time. 121 | So, AI research labs do not work on games because they are frivolous. They work on games because the virtual environments provided by games give a perfect playground in which to make fast and measurable progress in unsupervised learning, reasoning, hierarchical planning and reasoning, causal inference, and a host of other problems. 122 | In parallel, the methods developed in the context of virtual environments, combined with other research in computer perception, natural language processing, theoretical insights, and algorithmic advances, will enable us to develop dialogue agents, intelligent virtual assistants, all-knowing question-answering systems, and intelligent robots. 123 | 124 | ###Paper 125 | - [*Intrinsic Motivation and Automatic Curricula via Asymmetric Self-Play](https://arxiv.org/abs/1703.05407) 126 |  - Agent Collabo .. very GOOD 127 | - 오늘 제가 뽑은 논문은 FAIR와 NYU팀의 새로운 강화학습 접근방식입니다. A와 B라는 에이전트가 상호협조적인 작업을 진행해 가는데 있어서 특별한 supervising 이 없이 자신들의 작업구조를 적절한 리워드에 의해 만들어가는 것에 대한 내용. A가 가능한 액션의 세트를 제안하고, B는 이럴 마음데로 선택, 반복, 취소할 수 있도록 구조를 만드는데, 여기에 적절한 리워드 구조를 설정을 하는 것만으로 A와 B가 탐색의 방식을 자동으로 생성해 낸다는 ... 강화학습의 복수 에이전트 판이라고 할까요? 정말 상상하면 다 만들어지는 느낌. 조만간 N 수의 에이전트의 복수 목표를 달성하는 모델도 나올 것 같은 ... 역시 페이스북 FAIR 팀들도 대단하네요! 128 | - [*FAST REINFORCEMENT LEARNING VIA SLOW REINFORCEMENT LEARNING](https://arxiv.org/pdf/1611.02779.pdf) 129 | - Learn Mario playing : Evolving Neural Networks through Augmenting Topologies - http://nn.cs.utexas.edu/downloads/papers/stanley.ec02.pdf 130 | - Playing Atari : Playing Atari with Deep Reinforcement Learning(DQN) - http://arxiv.org/abs/1312.5602 131 | - Play FlappyBird( DQN imp ) - http://sarvagyavaish.github.io/FlappyBirdRL/ 132 | - [Dueling Network Architectures for Deep Reinforcement Learning](http://arxiv.org/pdf/1511.06581v3.pdf) 133 | - [Episodic Exploration for Deep Deterministic Policies: An Application to StarCraft Micromanagement Tasks](http://arxiv.org/abs/1609.02993) 134 | - [Multi-Objective Deep Reinforcement Learning](https://arxiv.org/abs/1610.02707) 135 | - [Towards Deep Symbolic Reinforcement Learning](https://arxiv.org/pdf/1609.05518.pdf) 136 | - DeepMind Papers : https://deepmind.com/publications.html 137 | - [*Data efficiency in deep reinforcement learning: Neural Episodic Control](https://theinformationageblog.wordpress.com/2017/03/15/data-efficiency-in-deep-reinforcement-learning-neural-episodic-control/) 138 | - [*Overcoming catastrophic forgetting in neural networks](http://www.pnas.org/content/early/2017/03/13/1611835114.full) 139 | - desc : https://deepmind.com/blog/enabling-continual-learning-in-neural-networks/ 140 | - [*Neural Episodic Control->Rapid deep reinforcement learning using neural dictionaries](https://arxiv.org/pdf/1703.01988.pdf) 141 | - [desc](https://www.technologyreview.com/s/603868/how-deepminds-memory-trick-helps-ai-learn-faster/) 142 | - [*Count-Based Exploration with Neural Density Models->PixelCNN-based Intrinsic Motivation improves exploration in the hardest Atari games](https://arxiv.org/abs/1703.01310) 143 | - [FeUdal Networks for Hierarchical Reinforcement Learning](https://arxiv.org/abs/1703.01161) 144 | - [Understanding Synthetic Gradients and Decoupled Neural Interfaces](https://arxiv.org/abs/1703.00522) 145 | - [Learning Deep Nearest Neighbor Representations Using Differentiable Boundary Trees](https://arxiv.org/abs/1702.08833) 146 | - [Learning to learn by gradient descent by gradient descent](https://arxiv.org/abs/1606.04474) 147 | - [imp in tensorFlow](https://github.com/deepmind/learning-to-learn) 148 | - [DeepMind-Nips2016 papers] 149 | - [part1](https://deepmind.com/blog/deepmind-papers-nips-part-1/) 150 | - [part2](https://deepmind.com/blog/deepmind-papers-nips-part-2/) 151 | - [part3](https://deepmind.com/blog/deepmind-papers-nips-part-3/) 152 | - [LEARNING TO REINFORCEMENT LEARN](https://arxiv.org/pdf/1611.05763v1.pdf) 153 | - [ Agent의 내적 동인으로 '통제감'을 만들어 넣어 보여주고-Variational Intrinsic Control](https://arxiv.org/abs/1611.07507) 154 | - DeepMind의 새 AI 논문입니다. Agent의 내적 동인으로 '통제감'을 만들어 넣어 보여주고 있습니다. 영화 등에서 다루는 두려운 존재로서의 AI가 탄생 가능할 것 같다는 생각이 드는... 연구네요. 155 | (인간의 내적 동인 이론인 SDT(http://selfdeterminationtheory.org/) 에서는 주 동인으로 Autonomy, Mastery, Relatedness를 열거하고 있습니다. 이 중에서, 이번 연구는 agent가 autonomy, mastery를 추구하도록 하는 것으로 보입니다.) 156 | - [DeepMind-Early Visual Concept Learning with Unsupervised Deep Learning](https://arxiv.org/pdf/1606.05579.pdf) 157 | - [DeepMind-Conditional Image Generation with PixelCNN Decoders](https://arxiv.org/pdf/1606.05579.pdf) 158 | - [DeepMind-Asynchronous Methods for Deep Reinforcement Learning](http://arxiv.org/pdf/1602.01783.pdf) 159 | - [DeepMind-Continuous Deep q-Learning with Model-based Acceleration](http://arxiv.org/pdf/1603.00748v1.pdf) 160 | - [구현](https://github.com/carpedm20/NAF-tensorflow) 161 | - 논문에서 비교하고 있는 Deep Deterministic Policy Gradient (DDPG)는 Continuous space에서 actor-critic을 사용해서 문제를 해결했는데, 이 논문에서는 duelling network와 유사한 구조를 사용해서 적은 파라미터와 비교적 간단한 알고리즘으로 학습이 가능하다고 합니다. OpenAI에서 공개한 Requests for Research 중에서 하나가 이 논문을 구현하는건데, 이제 hyperparameter를 바꾸지 않고 얼마나 많은 문제를 풀 수 있을지 실험을 해 봐야할 것 같네요. 162 | 최근에 supervised learning 문제에 대한 discussion은 많이 보이던데, DeepMind나 OpenAI가 집중하고 있는 RL이나 generative model에 대한 얘기도 좀 더 많이 나오면 좋겠네요 ㅎㅎ 다음에는 이번 ICML에서 best paper를 받은 PixelRNN과 PixelCNN를 공부해 보려고 합니다 163 | 164 | ###관련 Github 165 | - [tensorflow-딥러닝 논문 구현-By Carpedm20](https://github.com/carpedm20/deep-rl-tensorflow) 166 | - [자료 모음-홍상진](https://github.com/sangjinhong/deep_learning) 167 | - [keras-강화 학습 구현- By matthiasplappert](https://github.com/matthiasplappert/keras-rl) 168 | -------------------------------------------------------------------------------- /README.md: -------------------------------------------------------------------------------- 1 | # 딥러닝 & 강화 학습 관련 자료들. 2 | 3 | 4 | [유사 논문 검색기](http://www.arxiv-sanity.com/top) 5 | 6 | ###Daily Check 7 | - https://twitter.com/DeepMindAI 8 | - https://twitter.com/demishassabis 9 | - https://twitter.com/OpenAI 10 | - https://twitter.com/DeepLearningHub 11 | - https://twitter.com/jackclarksf 12 | - https://twitter.com/karpathy 13 | - https://twitter.com/AdaptiveAgents 14 | - [논문 설명]https://github.com/karpathy/paper-notes 15 | - [the Morning paper](https://blog.acolyer.org/) 16 | 17 | ## Deep Learning 18 | ###Algorithm 19 | - Object Detection 20 | - Fast R-CNN 21 | - Mask R-CNN : https://arxiv.org/abs/1703.06870 22 | - [image-segmentation-hjcho](https://www.slideshare.net/HyungjooCho2/image-segmentation-hjcho) 23 | - [YOLO9000](https://arxiv.org/pdf/1612.08242.pdf) 24 | - [Korean Slide](http://www.modulabs.co.kr/DeepLAB_library/12796) 25 | - CNN 26 | - GoogLe Net ( using InceptionV3 ) 27 | - [CodeLab-Google](https://codelabs.developers.google.com/codelabs/tensorflow-for-poets/index.html?index=..%2F..%2Findex#0) 28 | - [실전 CNN ](http://www.slideshare.net/ssuser77ee21/convolutional-neural-network-in-practice) 29 | 30 | - Recurrent Network 31 | - LSTM 32 | - [소개](https://brunch.co.kr/@chris-song/9) 33 | - RLU 34 | - E2E ( end to end Memory ) 35 | - [generative-models](https://openai.com/blog/generative-models/) 36 | - [Hyper NetWorks-손글씨 인식 에제](http://blog.otoro.net/2016/09/28/hyper-networks/) 37 | - [Introduction For seq2seq](https://www.slideshare.net/HyeminAhn/introduction-for-seq2seqsequence-to-sequence-and-rnn) 38 | 39 | - GAN 40 | - [Generative adversarial networks- KAKAO BRAIN](https://www.slideshare.net/ssuser77ee21/generative-adversarial-networks-70896091) 41 | ###Project 42 | - Magenta 43 | - [Google Magenta(작곡 딥러닝)](https://tensorflowkorea.wordpress.com/2016/07/11/magentas-paper-reviews/) 44 | - [music-art-and-machine-intelligence](https://tensorflowkorea.wordpress.com/2016/07/17/music-art-and-machine-intelligence-workshop-2016/) 45 | 46 | ### DataSet 47 | - [3D Human Pose DataSet](http://domedb.perception.cs.cmu.edu/dataset.html) 48 | - [google youtube video dataSet](https://research.googleblog.com/2016/09/announcing-youtube-8m-large-and-diverse.html) 49 | - [google image dataSet](https://tensorflowkorea.wordpress.com/2016/10/02/open-images-dataset/) 50 | - [KAIST_Corpus](http://semanticweb.kaist.ac.kr/home/index.php/KAIST_Corpus) 51 | - [Datasets for Machine Learning List](https://docs.google.com/spreadsheets/d/1AQvZ7-Kg0lSZtG1wlgbIsrm90HaTZrJGQMz-uKRRlFw/edit#gid=0) 52 | 53 | ###Posting 54 | - [*텐서플로우(TensorFlow)를 이용해서 DeepDream 알고리즘 구현해보기](http://solarisailab.com/archives/535) 55 | - [*learning-to-communicate](https://openai.com/blog/learning-to-communicate/) 56 | - [*Google Brain’s new super fast and highly accurate AI: the Mixture of Experts Layer.](https://medium.com/@thoszymkowiak/google-brains-new-super-fast-and-highly-accurate-ai-the-mixture-of-experts-layer-dd3972c25663#.3quxaxy3n) 57 | - [Baidu Deep Voice explained: Part 1 — the Inference Pipeline](https://medium.com/athelas/paper-1-baidus-deep-voice-675a323705df#.ki6qilj4b) 58 | - [Nvidia- DL traing kit with Lecun](https://developer.nvidia.com/teaching-kits) 59 | - [Leading the New Era of Machine Intelligence](http://numenta.com/applications/) 60 | - [The Brain Tech to Merge Humans and AI Is Already Being Developed](http://singularityhub.com/2016/12/05/the-brain-tech-to-merge-humans-and-ai-is-already-being-developed/) 61 | - [A top Google researcher talks about increasingly intelligent computers-jeff-dean](http://fortune.com/2016/11/26/google-artificial-intelligence-jeff-dean/) 62 | - [Model based ML](http://mbmlbook.com/index.html) 63 | - [Deep Learning the Stock Market](https://medium.com/@TalPerry/deep-learning-the-stock-market-df853d139e02#.pi425qopy) 64 | - [How the brain recognizes faces](http://news.mit.edu/2016/machine-learning-system-brain-recognizes-faces-1201) 65 | - [Convergent Learning: Do different neural networks learn the same representations?](http://videolectures.net/iclr2016_yosinski_convergent_learning/) 66 | - [뇌의 단기기억](http://www.dongascience.com/news/view/15092) 67 | - 스치고 지나간 사람의 얼굴도 뇌는 기억한다. 68 | 단기 기억 사실도 모두 뇌에 기록된다. 69 | 헬리콥터를 타고 시가지를 한번 돌아보고 70 | 도시 전체의 상세한 그림을 사진을 찍은 듯이 71 | 기억해서 그리는 서번트 기능을 이해할 수 있을 듯. 72 | 일반인도 누구나 한번번 것을 사진을 찍듯이 뇌에 저장한다. 73 | 단지 재생하는 스위치를 켜지 못할 뿐. 74 | “이번 연구는 단기기억은 휴면 상태에 있을 뿐 반복해서 상기시키지 않아도 사라지지 않는다는 사실을 밝혀낸 것”이라며 “단기기억도 얼마든지 재생이 가능하다는 뜻” 75 | - [얀쿤 교수님 !!! - 6가지 기초 AI](https://code.facebook.com/posts/384869298519962/artificial-intelligence-revealed/) 76 | - [CNN 기초-조대협](http://bcho.tistory.com/1149) 77 | - [Plug & Play Generative Networks: Conditional Iterative Generation of Images in Latent Space](http://www.evolvingai.org/ppgn) 78 | - I am very excited to announce our latest paper. It introduces “Plug & Play Generative Networks,” which we believe represents a state of the art generative model* and deep visualization method. What do you think? We’re excited to see what the community does with PPGNs! Note that the below images are synthetic images produced by deep neural networks (a form of AI). 79 | Nguyen A, Yosinski J, Bengio Y, Dosovitskiy A, Clune J (2016) Plug & Play Generative Networks: Conditional Iterative Generation of Images in Latent Space. arXiv 1738978 (submitted). PDF and more available here: http://www.evolvingai.org/ppgn 80 | Thanks to all of the wonderfully talented coauthors, especially lead author Anh Nguyen! 81 | With the following caveats: (1) evaluating generative models must be done qualitatively, as all quantitative approaches are riddled with problems and humans are still the best evaluators even if they are subjective and imperfect, (2) for high-resolution images (~ImageNet size) and in terms of both image quality and diversity at high-res 82 | - [Broca and Wernicke Are Dead – It’s Time to Rewrite the Neurobiology of Language](http://neurosciencenews.com/broca-and-wernicke-are-dead-its-time-to-rewrite-the-neurobiology-of-language/) 83 | - [사진을 애니메이션으로 -This Algorithm Taught Itself to Animate a Still Photo- ](http://motherboard.vice.com/read/researchers-taught-a-machine-how-to-generate-the-next-frames-in-a-video) 84 | - [당뇨성 망막병증 - 구글](https://research.googleblog.com/2016/11/deep-learning-for-detection-of-diabetic.html) 85 | - 오늘 소개해 드릴 논문은 "Development and Validation of a Deep Learning Algorithm for Detection of Diabetic Retinopathy in Retinal Fundus Photographs" (JAMA, http://jamanetwork.com/journals/jama/fullarticle/2588763) 입니다. 86 | 구글의 연구인데, 관련 블로그 내용은 https://research.googleblog.com/…/deep-learning-for-detecti… 입니다. 87 | 이미 지난 구글 I/O 2016에서 피차이 CEO가 구글은 인공지능을 이용해 당뇨 합병증인 당뇨성 망막병증(diabetic retinopathy)을 진단하는 기술을 개발 중이라고 발표했었습니다. 이 논문은 그 결과를 정리한 논문입니다. 뭐.. 한마디로 정리하자면 딥러닝 적용해서 의사보다 더 정확했다!!! 끝 입니다. 88 | inception-v3 기반으로 이미지넷 기반 선학습된 모델을 사용, 당연히 batch normalization 쓰고, 하나의 네트웍에서 여러 binary prediction을 하게 학습, ealry stopping을 쓰고.. 10개의 모델을 앙상블 했음.. 등등 딥러닝을 좀 아시는 분이라면 딥러닝 기술로는 그닥 새로울 것이 없다고 보실 수 있습니다. (그만큼 그 뒤에 숨은 노하우와 노력들은 기술되지 않은 논문입니다... 개인적으로 그 뒤에 얼마나 노력을 했는지가 궁금하지만...) 말씀드렸듯이 개발 중인 기술의 실험 결과를 보이고 실험 분석을 하는데 더 집중한 논문입니다. 89 | 그런데도 불구하고 소개해 드린 것은 .. 제 입장에서 의학 용어가 어려워 귀찮았던 논문이지만 Discussion 부분은 다들 읽어봄직한 내용이였습니다. 90 | 1/ 딥러닝을 이용하면 기존 lesion 기반 특징을 안 쓰고도 높은 성능으로 당뇨성 망막병증을 판별할 수 있었다 91 | 2/ 그러나 좋은 데이터를 많이 가지고 있어야 한다. 92 | -abnormal case에 해당하는 몇만장의 데이터가 필요함 (실험에서는 60000장 정도 넣었을 때, tuning이 saturate함.) 93 | -Tuning and clinical validation set은 multiple grade를 가지고 있어야 함. 94 | 3/ 뉴럴넷은 그냥 판단하고 grade만 말하는데... explicit definition of feature를 말하지 않는다. 95 | -판단에 좋은 특징을 학습할 뿐이지 무슨 의미인지 모른다. 96 | -이 것이 기존에 몰랐던 것일 수도 있고, 무시되 왔던 것일 수도 있지만.. 연구되어야 한다 아니.. 활발히 연구되고 있다. 97 | 4/ 그럼에도 불구하고 모든 안과 검사를 대체하는 것이 아니다. 98 | -이 문구는 딥마인드와 구글의 모든 의료 연구의 마지막에 꼭 붙는 문구입니다. 99 | 개인적으로 3번에서 뉴럴넷이 발견한 특징을 다시 의사 집단에서 연구해서 의미를 찾고, 그것을 다시 뉴럴넷 발전에 쓰고, 이런 선순환이 이미 진행되고 있는 것으로 보인다는게 반갑고요. 또한 이러면서도 FDA 등 다양한 집단과 논의하며 충분히 조심스럽게 접근하고 있다는 느낌입니다. 100 | 저희 나라에도 루닛, VUNO Inc., DeepBio 등 여러 스타트업이 병원가 협업을 하면서 식약청 승인등을 준비하는 것으로 압니다. 단순히 성능의 수치뿐 아니라 현실적으로 의학쪽에서도 뉴럴넷으로 발견된 결과를 받아서 발전하고, 또 그런 인사이트를 공학쪽에서도 받아서 발전하는 결과를 기대해 봅니다. (이미 그러고 있는 걸로 알지만요 ^^) 101 | 102 | - [GRAM: Graph-based Attention Model. A better learning representation ?](https://theinformationageblog.wordpress.com/2016/11/29/gram-graph-based-attention-model-a-better-learning-representation/) 103 | - [Long paper review of Attend, Infer, Repeat: Fast Scene Understanding with Generative Models](https://theinformationageblog.wordpress.com/2016/11/24/long-paper-review-of-attend-infer-repeat-fast-scene-understanding-with-generative-models/) 104 | - [GAN & PixelCNN - New Paper- Korean](https://tensorflow.blog/2016/11/24/gan-pixelcnn/) 105 | - [PixelCNN [1601.06759] Summary-한글](https://tensorflow.blog/2016/11/29/pixelcnn-1601-06759-summary/) 106 | - [Tensorflow and deep learning - without at PhD by Martin Görner](https://www.youtube.com/watch?v=vq2nnJ4g6N0&feature=youtu.be) 107 | - [awesome-deep-vision](https://github.com/kjw0612/awesome-deep-vision) 108 | - [현대적 얼굴 인식](https://medium.com/@ageitgey/machine-learning-is-fun-part-4-modern-face-recognition-with-deep-learning-c3cffc121d78#.m0jnipu5o) 109 | - [Bayesian Deep Learning Part II: Bridging PyMC3 and Lasagne to build a Hierarchical Neural Network](https://www.opendatascience.com/blog/bayesian-deep-learning-part-ii-bridging-pymc3-and-lasagne-to-build-a-hierarchical-neural-network/?utm_source=Open+Data+Science+Newsletter&utm_campaign=d7d409aef5-EMAIL_CAMPAIGN_2016_11_21&utm_medium=email&utm_term=0_2ea92bb125-d7d409aef5-245860601) 110 | - [Understanding Convolutional Neural Networks for NLP](https://www.opendatascience.com/blog/understanding-convolutional-neural-networks-for-nlp/?+Data+Science+Newsletter&utm_term=0_2ea92bb125-d7d409aef5-245860601) 111 | - [Deep Learning AI Made More Rational by MIT](https://edgylabs.com/2016/11/16/deep-learning-ai-human/) 112 | - [Our Brains Have a Basic Algorithm That Enables Our Intelligence](http://neurosciencenews.com/brain-algorithm-intelligence-5562/) 113 | - [NEUROSCIENCE news](http://neurosciencenews.com/neuroscience-topics/neuroscience/) 114 | - [Urban Sound Classification](https://tensorflowkorea.wordpress.com/2016/11/06/urban-sound-classification/) 115 | - [논문리뷰/ 구글, 인공지능 기반 암호화 알고리즘 개발](http://cpuu.postype.com/post/422940/) 116 | - [Attention and Augmented Recurrent Neural Networks](http://distill.pub/2016/augmented-rnns/?utm_content=buffer55654&utm_medium=social&utm_source=twitter.com&utm_campaign=buffer) 117 | - [Random synaptic feedback weights support error backpropagation for deep learning](http://www.nature.com/articles/ncomms13276) 118 | - [deep-learning-papers-reading-roadmap] 119 | - [tensorflow](https://tensorflowkorea.wordpress.com/2016/10/25/deep-learning-papers-reading-roadmap/) 120 | - [github Page](https://github.com/songrotek/Deep-Learning-Papers-Reading-Roadmap) 121 | - [openai-infrastructure-for-deep-learning](https://openai.com/blog/infrastructure-for-deep-learning/) 122 | - [Attention and Augmented Recurrent Neural Networks](http://distill.pub/2016/augmented-rnns/) 123 | - [how-to-run-text-summarization-with-TF](https://medium.com/@surmenok/how-to-run-text-summarization-with-tensorflow-d4472587602d#.4cec2w7t3) 124 | - [introduction-to-deep-learning](http://blog.algorithmia.com/introduction-to-deep-learning-2016/) 125 | - [해커에게 전해들은 머신러닝](https://tensorflowkorea.wordpress.com/2016/10/31/%ED%95%B4%EC%BB%A4%EC%97%90%EA%B2%8C-%EC%A0%84%ED%95%B4%EB%93%A4%EC%9D%80-%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D/) 126 | - [WaveNet: DeepMind’s New Model for Audio](https://tensorflowkorea.wordpress.com/2016/09/09/wavenet-deepminds-new-model-for-audio/) 127 | - [Generating Videos with Scene Dynamics](http://web.mit.edu/vondrick/tinyvideo/) 128 | - [Deep Learning For 이미지 분석 ](https://www.facebook.com/groups/TensorFlowKR/permalink/321214624886269/) 129 | - [Image Completion with Deep Learning in TensorFlow](http://bamos.github.io/2016/08/09/deep-completion/) 130 | - [구현](https://github.com/jazzsaxmafia/Inpainting) 131 | - [Face Auto Gen](https://tensorflowkorea.wordpress.com/2016/08/18/neural-facegrid-by-discgen/) 132 | - [Google opensource new image captioning](https://tensorflowkorea.wordpress.com/2016/09/23/google-opensource-new-image-captioning-model-im2txt/) 133 | - [ConvNet with WebGL](https://tensorflowkorea.wordpress.com/2016/08/18/convnet-with-webgl/) 134 | - deeplearning2016_montreal 135 | - [Video](http://videolectures.net/deeplearning2016_montreal/) 136 | - [AI 온라인 컨퍼런스](http://ai.withthebest.com/) 137 | - [Deep Learing Book Study](https://tensorflowkorea.wordpress.com/2016/09/23/deep-learning-textbook-study-group/) 138 | - [Machine Learning Top 10 Articles ](https://medium.mybridge.co/machine-learning-top-10-articles-for-the-past-month-2f3cb815ffed#.v5pj4aa7o) 139 | - [Beyond Deep Learning – 3rd Generation Neural Nets](http://www.datasciencecentral.com/profiles/blogs/beyond-deep-learning-3rd-generation-neural-nets) 140 | - facebook Object Recognation in Image 141 | - [facebook posting](https://code.facebook.com/posts/561187904071636) 142 | - [tensorflowkorea Po](https://tensorflowkorea.wordpress.com/2016/08/26/facebook-open-source-image-recognition-tools/) 143 | 144 | ###tensorflow 145 | - [distributed-tensorflow](https://tensorflowkorea.wordpress.com/2016/07/17/distributed-tensorflow-design-patterns-and-best-practices/) 146 | 147 | ###Lecture 148 | - [Open Source Deep Learning Curriculum](http://www.deeplearningweekly.com/pages/open_source_deep_learning_curriculum) 149 | - [NLP: Everyday, Analytical & Unusual Uses](http://www.allanalytics.com/document.asp?doc_id=260387) 150 | - [ML Book- By andrew Ag](https://gallery.mailchimp.com/dc3a7ef4d750c0abfc19202a3/files/Machine_Learning_Yearning_V0.5_01.pdf) 151 | - sung kim - https://www.youtube.com/watch?v=BS6O0zOGX4E&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm 152 | - CS231n: [Convolutional Neural Networks for Visual Recognition](http://cs231n.stanford.edu/) / [Video](https://www.youtube.com/watch?v=NfnWJUyUJYU&list=PLkt2uSq6rBVctENoVBg1TpCC7OQi31AlC) /[강의 노트 한글](http://ishuca.tistory.com/category/CS231n) 153 | - Kmooc : 154 | - 경영데이터 마이닝 : http://www.kmooc.kr/courses/course-v1:HYUk+HYUBUS3099k+2016_C1/info 155 | - 인공지능과 기계학습 : http://www.kmooc.kr/courses/course-v1:KAISTk+KCS470+2015_K0201/info 156 | - [Deep Generative Models](https://portal.klewel.com/watch/webcast/deep-learning-tools-and-methods-workshop/talk/6) 157 | - [ICML’15](http://dpkingma.com/?page_id=483) 158 | - [Google I/O Extended Seoul 2016 - Tensorflow 101](https://www.youtube.com/watch?v=7UwAz4Jvvko) 159 | - [Deep Learning for Computer Vision Barcelona 2016 ](http://imatge-upc.github.io/telecombcn-2016-dlcv/) 160 | - [코세라 NLP](https://www.coursera.org/learn/natural-language-processing) 161 | - [아카데믹 토렌트](http://academictorrents.com/) 162 | - [ 163 | creative-applications-of-deep-learning-with-TF](https://www.kadenze.com/courses/creative-applications-of-deep-learning-with-tensorflow/info) 164 | - [reddt- begginer wiki](https://www.reddit.com/r/LearnMachineLearning/wiki/reference) 165 | - EXEM Seminar 166 | - [뇌과학으로 본 인공지능의 현주소와 미래 01](https://www.youtube.com/watch?v=efWSbITntR0) 167 | - [EXEM Seminar / 뇌과학으로 본 인공지능의 현주소와 미래 ](https://www.youtube.com/watch?v=48EsevSvoRw) 168 | 169 | 170 | ###Papers 171 | - [Opening the Black Box of Deep Neural Networks via Information](https://arxiv.org/abs/1703.00810) 172 | - [Fast and Provably Good Seedings for k-Means](https://las.inf.ethz.ch/files/bachem16fast.pdf) 173 | - [Generative Shape Models: Joint Text Recognition and Segmentation with Very Little Training Data](https://arxiv.org/pdf/1611.02788.pdf) 174 | - [Photorealistic Facial Texture Inference Using Deep Neural Networks](https://arxiv.org/abs/1612.00523v1) 175 | - Researcher Hao Li, Shunsuke Saito , Lingyu Wei , Koki Nagano, and Liwen Hu wanted to create super-detailed face models without the need for professional lighting or even a full photo.Face mapping at this level usually requires a series of photos in ideal lighting to make sure you get all the curves,angles, and asymmetries of the face.The researcher relied on an extensive "face database" to make smart inferences on the finer detail of the face.Neural networks create the face by filtering through a network of possible textures before scanning and then blending the pertinent facial features and skin tones. 176 | - [SamepleRNN-ICLR2017-Gen Audio ](https://github.com/soroushmehr/sampleRNN_ICLR2017) 177 | - [Neural Network-based Automatic Image Colorization](http://hi.cs.waseda.ac.jp/~iizuka/projects/colorization/en/) 178 | - [Designing Neural Network Architectures using Reinforcement Learning](https://arxiv.org/abs/1611.02167) 179 | - 오늘 소개시켜드릴 논문은 "Designing Neural Network Architectures using Reinforcement Learning" (Under review as a conference paper at ICLR 2017, https://arxiv.org/abs/1611.02167)입니다. Media Laboratory에서 나온 논문으로.. 제목에서 아시겠지만 제한적이지만, 그동안 딥러닝을 공부하면 늘 하던 질문에 답을 던지려하는 논문입니다. 180 | 딥러닝 관련해서 세미나에 참석해 보면 많은 분들이 던지는 질문 중 하나가 "네트웍을 어떻게 디자인하냐?"였습니다. 벤지오 교수님은.."일단 될 때까지 쌓아보세요~"라고 대답하신 걸 봤고, karpathy는 히어로가 되지 말고 많은 분들이 해 놓으신걸 가져다 쓰시는게 낫다라고도 했던거 같습니다. 181 | 이 논문은 Reinforcement learning을 이용하여 자동적 (제한적인... 자동적)으로 neural network 구조를 디자인해 보자입니다. layer이 디자인 요소를 액션으로 그리고 validation accuracy을 reward로 하는 Q-learning을 통해 neural network 구조를 자동적으로 만들어 주는 구조입니다. 182 | 물론.. 제약사항이 따릅니다. 일단 action이 어떻게 될지 미리 정해 줘야 하기에 layer가 어떻게 구성될지의 관한 방식은 정해져있습니다. 그래서 많은 논문에서 나왔던 창의적인 방법이 들어갈 요소가 나올 수는 없는 구조이고, 그리고 아직 최대 layer 갯수등의 제약 사항이 들어가 줘야 합니다. 그리고 뭐.. 예상하시겠지만 .. 정말 많은 모델이 실험되어야 하는 구조이죠. 183 | 그러나 충분히 재밋는 어프로치이고, 많은 분들이 가능성은 제기했던 방식이지만 이렇게 논문으로 딱 되요!! 라고 보니 반갑습니다. 저도 아침에 잠시 짬내어 대강 훑어본 수준이라 다시 한번 읽어봐야겠네요. 184 | 그런데.. 곧 NIPS 논문도 쏟아지겠지만, ICLR은 작은 학회임에도 재밋는 논문이 많네요. 많은 논문 중 어떤 논문이 오랄섹션에 가게될지 기대되네요. 185 | - [A state of the art generative model : Plug and Play Generative Networks](http://www.evolvingai.org/ppgn) 186 | - I am very excited to announce our latest paper. It introduces “Plug & Play Generative Networks,” which we believe represents a state of the art generative model* and deep visualization method. What do you think? We’re excited to see what the community does with PPGNs! Note that the below images are synthetic images produced by deep neural networks (a form of AI). 187 | Nguyen A, Yosinski J, Bengio Y, Dosovitskiy A, Clune J (2016) Plug & Play Generative Networks: Conditional Iterative Generation of Images in Latent Space. arXiv 1738978 (submitted). PDF and more available here: http://www.evolvingai.org/ppgn 188 | https://arxiv.org/abs/1612.00005 189 | Thanks to all of the wonderfully talented coauthors, especially lead author Anh Nguyen! 190 | With the following caveats: (1) evaluating generative models must be done qualitatively, as all quantitative approaches are riddled with problems and humans are still the best evaluators even if they are subjective and imperfect, (2) for high-resolution images (~ImageNet size) and in terms of both image quality and diversity at high-res 191 | - [QUASI-RECURRENT NEURAL NETWORKS] 192 | - [paper](https://arxiv.org/pdf/1611.01576v1.pdf) 193 | - [영어설명](http://metamind.io/research/new-neural-network-building-block-allows-faster-and-more-accurate-text-understanding/) 194 | - [Deepmind-Neural Machine Translation in Linear Time](https://arxiv.org/pdf/1610.10099v1.pdf) 195 | - WaveNet architecture를 응용하여 구현한 것으로, 두 개의 dilated conv stack을 묶어서 linear time translation을 구현하였습니다. 응용 범위가 상당히 많을 것 같네요. sequence to sequence linear time transformation filter가 필요한 경우에 적용하면 잘 될 것 같습니다. 196 | 예를 들어, deep professional singer(일반인의 노래를 가수처럼 바꿔주는 conditional network) 같은 것도 가능할 것 같고요. :) 197 | 기존의 RNN approach보다 "긴 시간"의 정보를 손실 없이 잘 capture해 낼 수 있기에, 시계열 정보 분석에서도 탁월한 성능을 내지 않을까 추측해 봅니다 198 | - [Twitter-Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network](https://arxiv.org/abs/1609.05158) 199 | - [Image-to-Image Translation with Conditional Adversarial Networks-edge to photo](https://arxiv.org/pdf/1611.07004v1.pdf) 200 | - [Korean](https://tensorflow.blog/2016/11/24/gan-pixelcnn/) 201 | - Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation 202 | - [paper](https://arxiv.org/abs/1609.08144) 203 | - [한국어 설명](http://photohistory.tistory.com/16745) 204 | - [english Desc](http://smerity.com/articles/2016/google_nmt_arch.html) 205 | - [여러가지 언어 한꺼번에 학습](https://arxiv.org/abs/1611.04558) 206 | - GNMT에 대한 또 다른 논문입니다. 구글 번역에서 지원해야 하는 언어쌍이 수백가지가 넘는데, 이걸 하나하나 학습시키려면 데이터 수도 문제고 시간이 오래 걸리겠죠. 207 | 여러 언어를 동시에 번역하도록 학습했더니 한번도 학습에 사용한 적이 없는 언어쌍에 대해서도 번역이 가능했다고 합니다. 208 | - [Zero-Shot Translation with Google’s Multilingual Neural Machine Translation System](https://research.googleblog.com/2016/11/zero-shot-translation-with-googles.html) 209 | - [fast-weights-rnn](https://tensorflowkorea.wordpress.com/2016/10/25/fast-weights-rnn/) 210 | - [Deep Feature Interpolation for Image Content Changes](https://arxiv.org/abs/1611.05507) 211 | - [PVANET: Deep but Lightweight Neural Networks for Real-time Object Detection](https://arxiv.org/abs/1608.08021) 212 | - [imp](https://github.com/sanghoon/pva-faster-rcnn) 213 | - 오늘 AI Korea에 PVANET 논문이 소개되었습니다. 예전에 재밋게 읽었던 논문이고, 1저자이신 김계현 (Kim Kye-Hyeon)님은 Intel Korea에서 현재는 SK T-Brain에 계신 것으로 알고 있습니다. (역시 고급 인력들이 많이 계시는 SK T-Brain이네요. ) 214 | 이 논문을 읽으시면서 참고하실 만한 논문을 소개시켜드릴까 합니다. 좀 오래된 논문인데, Understanding and Improving Convolutional Neural Networks via Concatenated Rectified Linear Units (https://arxiv.org/abs/1603.05201, ICML 2016) 입니다. 유명하신 이홍락 교수님 그룹에서 나온 논문입니다. 이 논문의 핵심 아이디어는 Concatenated rectified linear unit인데, 간단히 설명드리면, conv_1 ~ 3 정도 아래 conv_layer에서 conv_layer의 값을 negate하고, 원래 값과 그 값을 연결하여 ReLU로 보낸다입니다. 215 | 이 말이 무슨 말이냐면.. 논문의 그림에서 확인하실 수 있겠지만, AlexNet과 같은 네트웍의 낮은 레이어 (conv_1~3)정도의 filter들이 서로 opposite한 filter들이 많이 존재한다는 것을 관찰하였습니다. 그래서 그런 opposite한 filter를 학습 및 계산해주는 대신 filter의 activation 값을 negation해 주고 concatenate 시켜서 넘긴다는 아이디어입니다. 그닥 많은 연산이 필요없는 negation 연산을 통해 학습이 많은 opposite한 filter들을 학습할 필요도 없고 계산할 필요도 없어집니다. 216 | PVANET의 디자인에서 가장 눈에 띄는 건 이 Concatenated rectified linear unit와 1x1 convolution 등을 이용하여 Inception 개념을 적용한 거라고 보입니다. 217 | 아.. 얘기를 시작한 김에.. 이홍락 교수님 논문에서 발견한 특징은 낮은 레이어의 conv layer의 filter들이 서로 opposite한 경향이 크다는 것이였습니다. 그런데, 최근 Doubly Convolutional Neural Networks (NIPS 2016, https://arxiv.org/abs/1610.09716) 논문에서는 서로 translation을 하였을 경우의 correlation이 상당히 높은 filter들이 많이 존재한다는 것을 관찰하고 그 특성을 이용할 수 있는 방식으로 Double Convolution이라는 개념을 적용하여 논문을 제출하였습니다. 또한 최근 ASP Vision: Optically Computing the First Layer of Convolutional Neural Networks using Angle Sensitive Pixels (https://arxiv.org/abs/1605.03621v3)란 논문을 읽어보면 각 filter들의 Angle에 대한 논의도 보실 수 있을거 같습니다. 218 | 아무튼 -_- 논문이 소개된걸 다시 소개하러 왔다 헛소리만.. 219 | - [OpenAI-Improved Techniques for Training GANs](https://arxiv.org/pdf/1606.03498v1.pdf) 220 | - [Video Pixel Networks](https://arxiv.org/pdf/1610.00527v1.pdf) 221 | - A New Method to Visualize Deep Neural Networks( Deep NN 시각화 ) - http://arxiv.org/abs/1603.02518v2 222 | - Deep Speech 2(음성인식) - https://arxiv.org/abs/1512.02595 223 | - [Bag of Tricks for Efficient Text Classification-CPU가 더 빠른.](https://arxiv.org/pdf/1607.01759v2.pdf) 224 | - [Multimodal Compact Bilinear Pooling for Visual Question Answering and Visual Grounding](https://arxiv.org/abs/1606.01847) 225 | - [지워진 부분 그리기 Context Encoders: Feature Learning by Inpainting](http://people.eecs.berkeley.edu/~pathak/context_encoder/) 226 | - [Layer Normalization](http://arxiv.org/pdf/1607.06450.pdf) - 배치 노말라이제이션을 변형하여 입력 데이터의 평균과 분산을 이용해 레이어 노말라이제이션을 적용 227 | - https://tensorflowkorea.wordpress.com/2016/07/24/layer-normalization/ 228 | - [Matching Networks for One Shot Learning ](https://arxiv.org/pdf/1606.04080.pdf) 229 | - [정리](https://github.com/karpathy/paper-notes/blob/master/matching_networks.md) 230 | - [학습과 에러전파를 따로-DeepMind Decoupled Neural Interfaces using Synthetic Gradients](https://arxiv.org/pdf/1608.05343.pdf) 231 | - [summary](https://tensorflowkorea.wordpress.com/2016/08/22/decoupled-neural-interfaces-using-synthetic-gradients1608-05343-summary/) 232 | - [Deep mind BLog](https://deepmind.com/blog#decoupled-neural-interfaces-using-synthetic-gradients) 233 | - [summary2](https://tensorflowkorea.wordpress.com/2016/08/31/synthetic-gradient-revisited/) 234 | - [Densely Connected Convolutional Networks](http://arxiv.org/abs/1608.06993) 235 | - 오늘 소개시켜 드릴 논문은 "Densely Connected Convolutional Networks" (http://arxiv.org/abs/1608.06993)입니다. 236 | 일종의 residual network라고 볼 수 있을거 같습니다. 그런데 논문에 나온 그래도, "each layer is directly connected to every other layer in a feed-forward fashion" 모든 레이어가 앞에 나오는 모든 레이어와 직접 연결되어 있습니다. 그래서 이름이 Densely Connected Convolutional Networks (DenseNet) 입니다. 237 | 일단 설명만 들어도 복잡하고 파라미터가 많아질거 같습니다. 그러나 저자들은 이렇게 연결을 많이 해서 생기는 장점때문에 오히려 적은 레이어가 필요하여 생각하는 만큼 오버헤드도 크지 않고 오히려 효율적이라고 하고 있습니다. 그 중 가장 중점이 되는 주장은 skip-connection으로 모든 레이어에 연결되어 있어 feature의 재상용이 증가하고, 그럼으로 파라미터가 줄어든다고 합니다. 238 | 음.. 저자들의 일방적인 주장같지만 어쩌면 일리가 있습니다. Residual Networks are Exponential Ensembles of Relatively Shallow Networks(https://arxiv.org/abs/1605.06431)에 보면 어려운 task를 할 때 resinet을 이루는 Shallow Networks들의 길이가 더 길어지고 쉬운 일을 할 때 좀 짧아진다고 한듯...(기억이 가물..가물) 합니다. 그렇다면 중복이나 비효율성이 있을거고 그것을 줄이는 방법으로 한듯 합니다. 239 | 이렇게 무식해 보이지만 다 연결해서 몇 public set에서는 최고 성능을 찍었습니다. 그러고 보니 최근 이런 식의 skip connection을 늘리는 연구가 많이 진행 되었습니다. 240 | - AdaNet: Adaptive Structural Learning of Artificial Neural Networks (https://arxiv.org/pdf/1607.01097v1.pdf) 241 | - Collaborative Layer-wise Discriminative Learning in Deep Neural Networks (https://arxiv.org/pdf/1607.05440v1.pdf) 242 | AdaNet이나 Collaborative Layer-wise Discriminative Learning 같은 경우는 skip connection을 상황에 맞게 늘리는 것으로 이해했습니다. (물론 제가 맞는지 저도 모른다는거..) 비교할만한 성능이 제시 안 되어 있어 비교는 힘들지만, deep learning이라는 점에서 무식해 보이는 densenet이 오히려 좋을 수 있을거라는 생각이 듭니다. 학습 과정에서 또 알아서 최적화를 해 버릴 수 있다는 이상한 예감이.... 243 | 244 | ###구현 245 | - [Awesome Tensorflow Implementations](https://github.com/TensorFlowKR/awesome_tensorflow_implementations) 246 | - deep-learning-for-chatbots : http://www.wildml.com/2016/07/deep-learning-for-chatbots-2-retrieval-based-model-tensorflow/ 247 | - [Caption Gen, slide Shaer](http://www.slideshare.net/ssuser06e0c5/a-neural-image-caption-generator) 248 | - [Papers implemented By Tensorflow](https://github.com/LeavesBreathe/tensorflow_with_latest_papers) 249 | - [fast waveNet 구현](https://github.com/tomlepaine/fast-wavenet) 250 | - [ML_Practice with TensorFlow-Korean](https://github.com/proauto/ML_Practice) 251 | 252 | 253 | 254 | ###Python & tensorflow & DL FrameWork 255 | - 조대협의 블로그 256 |    - [텐서플로우-#1 자료형의 이해](http://bcho.tistory.com/1150) 257 | - [tiny-dnn-deep learning framework in C++11](https://github.com/tiny-dnn/tiny-dnn) 258 | - [수학 & 딥러닝 블로그](http://blog.theeluwin.kr/) 259 | - [머신 러닝 배우기] 260 | - [aidenswmo-Korean](https://brunch.co.kr/@aidenswmo/2) 261 | - [Machines Can Now Recognize Something After Seeing It Once](https://www.technologyreview.com/s/602779/machines-can-now-recognize-something-after-seeing-it-once/) 262 | - [learning tensorflow](http://learningtensorflow.com/) 263 | - [2](http://theeluwin.kr/) 264 | - [intsatll tensorflow in ubuntu16](http://www.popit.kr/tensorflow-install-ubuntu16/) 265 | - [python tutorial 5hours](https://www.youtube.com/watch?v=emY34tSKXc4) 266 | - [python study by MS](https://mva.microsoft.com/ko/training-courses/python%EC%9D%84-%EC%82%AC%EC%9A%A9%ED%95%9C-%ED%94%84%EB%A1%9C%EA%B7%B8%EB%9E%98%EB%B0%8D-%EC%86%8C%EA%B0%9C-8360?l=CrrhO0O8_6204984382) 267 | - [python 이해하기](http://www.slideshare.net/dahlmoon/python-20160815) 268 | - [딥러닝을 위한 기초 수학](http://www.slideshare.net/theeluwin/ss-69596991) 269 | - [파이썬 class 및 인스턴스 생성 이해하기](http://www.slideshare.net/dahlmoon/array-20160317?from_m_app=ios) 270 | - [Node.js by MS](https://mva.microsoft.com/en-US/training-courses/using-nodejs-with-visual-studio-code-13920?l=nSEpCdzbB_001937557) 271 | - [neural-networks-and-tensorflow-introduction](https://tensorflowkorea.wordpress.com/2016/08/23/dl-with-neural-networks-and-tensorflow-introduction/) 272 | - [R에서 파이썬까지…데이터과학 학습 사이트 8곳](http://www.bloter.net/archives/237013?rccode=lvRc) 273 | - [Open sourcing the Embedding Projector: a tool for visualizing high dimensional data] 274 | - [Google R&D Blog](https://research.googleblog.com/2016/12/open-sourcing-embedding-projector-tool.html?m=1) 275 | - [Paper](https://arxiv.org/pdf/1611.05469v1.pdf) 276 | - [Artificial Intelligence Open Network](http://ai-on.org/projects/) 277 | - [github](https://github.com/AI-ON/ai-on.org) 278 | 279 | --------------------------------------------------------------------------------