├── .github └── ISSUE_TEMPLATE │ ├── article.md │ └── paper.md ├── LICENSE ├── README.md ├── article └── 2019 │ ├── 10 │ ├── A-Recipe-for-Training-Neural-Networks.md │ ├── HEAVY-TAILED-SELF-REGULARIZATION-IN-DEEP-NEURAL-NETWORKS.md │ ├── K-means––聚类时发现异常.md │ ├── XGBoost调优指南.md │ ├── img │ │ ├── 17107504.png │ │ ├── 1go5k0x83p.png │ │ ├── 3chxk7oph9.png │ │ ├── 6ya1a47q7q.png │ │ ├── A-Closer-Look-Image-1024x111.png │ │ ├── ADAM-Moving-Average-Image-1-300x28.png │ │ ├── ADAM-Moving-Average-Image-2-300x19.png │ │ ├── ADPSGD_fig1.jpg │ │ ├── Experiments-Graph-1-1024x199.png │ │ ├── Experiments-Graph-2-1024x494.png │ │ ├── Hierarchical-ADPSGD_fig2.jpg │ │ ├── MitNews.jpg │ │ ├── car.jpg │ │ ├── clip_image002.jpg │ │ ├── clip_image003.png │ │ ├── clip_image004.png │ │ ├── clip_image005.png │ │ ├── clip_image007.png │ │ ├── clip_image009.png │ │ ├── clip_image010.png │ │ ├── data_plot.png │ │ ├── dgkemv074n.png │ │ ├── download-72.png │ │ ├── download-74-1572449613347.png │ │ ├── download-74-1572450569235.png │ │ ├── download-74-1572756567526.png │ │ ├── download-74.png │ │ ├── episodes.png │ │ ├── fig1.jpg │ │ ├── fig2.jpg │ │ ├── fig3.jpg │ │ ├── fig4.jpg │ │ ├── fig5.jpg │ │ ├── fig6.jpg │ │ ├── first_animation--11--1572756708045.gif │ │ ├── first_animation--11-.gif │ │ ├── first_animation--7--1572756583574.gif │ │ ├── first_animation--7-.gif │ │ ├── fourth_animation--18-.gif │ │ ├── frostbite.jpg │ │ ├── latex-image-675.png │ │ ├── mdp.png │ │ ├── model.jpg │ │ ├── model_fit.png │ │ ├── monotone_model_fit.png │ │ ├── montezuma.png │ │ ├── nondiff1.png │ │ ├── nondiff2.png │ │ ├── pg-1571840356518.png │ │ ├── pg-1571844412091.png │ │ ├── pg.png │ │ ├── policy.png │ │ ├── pong.gif │ │ ├── preview.jpeg │ │ ├── rl.png │ │ ├── screen-shot.png │ │ ├── second_animation.gif │ │ ├── sl.png │ │ ├── synthetic_grads_paper-1571920706626.png │ │ ├── synthetic_grads_paper-1571920736616.png │ │ ├── synthetic_grads_paper-1571921126716.png │ │ ├── third_animation.gif │ │ ├── tree-infographic.png │ │ ├── v8zy24qhy5.png │ │ ├── weights.png │ │ └── z6mevy1ygk.gif │ ├── src │ │ └── pg-pong.py │ ├── 什么是MAP.md │ ├── 使用LPCNet的高质量，轻量级和自适应文本语音转换（TTS）.md │ ├── 十分钟的Keras序列到序列学习简介.md │ ├── 学习率呈指数增长？批处理归一化的尺度不变性的含义.md │ ├── 宇宙是随机的吗.md │ ├── 帮助自动驾驶汽车转弯.md │ ├── 建立安全的AI.md │ ├── 机器学习中的单调性约束.md │ ├── 没有反向传播的深度学习.md │ ├── 深层神经网络中的大规模自适应.md │ ├── 深度强化学习Pongs-from-Pixels.md │ ├── 用于语音自动识别的高效分布式深度学习系统.md │ ├── 神经网络中的重新思考或记忆化.md │ ├── 训练神经网络的食谱.md │ ├── 超级计算机分析整个互联网上的网络流量.md │ ├── 进取的机器人学习对象操纵的基础.md │ └── 通过匹配感知特征学习隐式生成模型.md │ ├── 11 │ ├── 2019年机器学习框架的状态.md │ ├── BeautifulSoup.md │ ├── GNES-通用神经弹性搜索.md │ ├── Python2与Python3常用语法区别.md │ ├── Python基础知识点总结.md │ ├── Scrapy.md │ ├── Selenium.md │ ├── img │ │ ├── 0-excel-to-pandas.png │ │ ├── 1226410-20190424112057869-1957699378.png │ │ ├── 1226410-20190424112328960-676305797.png │ │ ├── 1226410-20190511150522593-1814637877.png │ │ ├── 20171210213743273.png │ │ ├── 20180623230012367.png │ │ ├── 20180623232124252.jfif │ │ ├── 20180623232335403.jfif │ │ ├── 2734e2893572476cae59e9d3db8dc900.png │ │ ├── 4B707DCD.png │ │ ├── Fake_model_550px_web.jpg │ │ ├── audience_reactions_700px_web.jpg │ │ ├── b77c02d5843c261d7a10682e2599bb0a.jpg │ │ ├── belkinfig-970x289.jpg │ │ ├── brand_detection_700px_web.jpg │ │ ├── cover2_pinterest_1600px_web-1280x640.jpg │ │ ├── create-numpy-array-1.png │ │ ├── create-numpy-array-ones-zeros-random.png │ │ ├── decoder-only-summarization-1573661034412.png │ │ ├── decoder-only-summarization.png │ │ ├── decoder-only-transformer-translation-1573661249490.png │ │ ├── decoder-only-transformer-translation.png │ │ ├── doppleganger.gif │ │ ├── f7d306fd629084856edaca6a409d37f3.png │ │ ├── gnes-component-overview.svg │ │ ├── gnes-github-banner.png │ │ ├── gpt-2-autoregression-2-1573614820331.gif │ │ ├── gpt-2-autoregression-2.gif │ │ ├── gpt-2-layers-2-1573616688919.png │ │ ├── gpt-2-layers-2.png │ │ ├── gpt-2-output-1573614734927.gif │ │ ├── gpt-2-output-1573614753684.gif │ │ ├── gpt-2-output.gif │ │ ├── gpt-2-simple-output-3-1573662677002.gif │ │ ├── gpt-2-simple-output-3.gif │ │ ├── gpt-2-transformer-xl-bert-3.png │ │ ├── gpt2-117-parameters-1573661414425.png │ │ ├── gpt2-117-parameters.png │ │ ├── gpt2-input-embedding-positional-encoding-3-1573649430303.png │ │ ├── gpt2-input-embedding-positional-encoding-3.png │ │ ├── gpt2-mlp-2-1573661552449.gif │ │ ├── gpt2-mlp-2-1573661636144.gif │ │ ├── gpt2-mlp-2-1573661670244.gif │ │ ├── gpt2-mlp-2-1573661925119.gif │ │ ├── gpt2-mlp-2.gif │ │ ├── gpt2-mlp1-1573661731593.gif │ │ ├── gpt2-mlp1-1573661874676.gif │ │ ├── gpt2-mlp1.gif │ │ ├── gpt2-output-1573662239184.png │ │ ├── gpt2-output-1573662280227.png │ │ ├── gpt2-output-projection-2-1573662325166.png │ │ ├── gpt2-output-projection-2.png │ │ ├── gpt2-output-scores-2-1573662300962.png │ │ ├── gpt2-output-scores-2.png │ │ ├── gpt2-output.png │ │ ├── gpt2-positional-encoding-1573649438713.png │ │ ├── gpt2-positional-encoding.png │ │ ├── gpt2-self-attention-1-1573656789251.png │ │ ├── gpt2-self-attention-1-2-1573662214914.png │ │ ├── gpt2-self-attention-1-2.png │ │ ├── gpt2-self-attention-1.png │ │ ├── gpt2-self-attention-2-1573657043543.png │ │ ├── gpt2-self-attention-2.png │ │ ├── gpt2-self-attention-3-1573657532435.png │ │ ├── gpt2-self-attention-3-1573658225113.png │ │ ├── gpt2-self-attention-3-1573658261905.png │ │ ├── gpt2-self-attention-3-1573658297097.png │ │ ├── gpt2-self-attention-3.png │ │ ├── gpt2-self-attention-example-2-1573652159846.png │ │ ├── gpt2-self-attention-example-2-1573652553238.png │ │ ├── gpt2-self-attention-example-2.png │ │ ├── gpt2-self-attention-merge-heads-1-1573658535624.png │ │ ├── gpt2-self-attention-merge-heads-1-1573658719668.png │ │ ├── gpt2-self-attention-merge-heads-1.png │ │ ├── gpt2-self-attention-multihead-sum-1-1573658503489.png │ │ ├── gpt2-self-attention-multihead-sum-1.png │ │ ├── gpt2-self-attention-project-1-1573660044356.png │ │ ├── gpt2-self-attention-project-1.png │ │ ├── gpt2-self-attention-project-2-1573660075192.png │ │ ├── gpt2-self-attention-project-2.png │ │ ├── gpt2-self-attention-qkv-1-2-1573656438553.png │ │ ├── gpt2-self-attention-qkv-1-2.png │ │ ├── gpt2-self-attention-qkv-2-2-1573656713131.png │ │ ├── gpt2-self-attention-qkv-2-2-1573656747109.png │ │ ├── gpt2-self-attention-qkv-2-2.png │ │ ├── gpt2-self-attention-qkv-3-2-1573656765617.png │ │ ├── gpt2-self-attention-qkv-3-2.png │ │ ├── gpt2-self-attention-scoring-1573658373374.png │ │ ├── gpt2-self-attention-scoring-1573658428819.png │ │ ├── gpt2-self-attention-scoring-2-1573658450917.png │ │ ├── gpt2-self-attention-scoring-2-1573658488429.png │ │ ├── gpt2-self-attention-scoring-2.png │ │ ├── gpt2-self-attention-scoring.png │ │ ├── gpt2-self-attention-split-attention-heads-1-1573658329461.png │ │ ├── gpt2-self-attention-split-attention-heads-1.png │ │ ├── gpt2-self-attention-split-attention-heads-2-1573658346319.png │ │ ├── gpt2-self-attention-split-attention-heads-2.png │ │ ├── gpt2-simple-output-2-1573613413126.gif │ │ ├── gpt2-simple-output-2-1573616708219.gif │ │ ├── gpt2-simple-output-2-1573616777308.gif │ │ ├── gpt2-simple-output-2.gif │ │ ├── gpt2-sizes-1573700354115.png │ │ ├── gpt2-sizes-1573700411252.png │ │ ├── gpt2-sizes-hyperparameters-3.png │ │ ├── gpt2-sizes.png │ │ ├── gpt2-token-embeddings-wte-2-1573662512012.png │ │ ├── gpt2-token-embeddings-wte-2.png │ │ ├── gpt2-transformer-block-vectors-2-1573662492147.png │ │ ├── gpt2-transformer-block-vectors-2.png │ │ ├── gpt2-transformer-block-weights-2-1573661460625.png │ │ ├── gpt2-transformer-block-weights-2-1573661506616.png │ │ ├── gpt2-transformer-block-weights-2.png │ │ ├── gpt2-value-vector-sum-1573662362342.png │ │ ├── gpt2-value-vector-sum.png │ │ ├── gpt2-weights-2-1573661444779.png │ │ ├── gpt2-weights-2.png │ │ ├── image-20191125155814591.png │ │ ├── image-20191127171416162.png │ │ ├── image-20191127171651441.png │ │ ├── install-success.svg │ │ ├── masked-self-attention-2-1573655861100.png │ │ ├── masked-self-attention-2.png │ │ ├── mean-square-error-formula-1573800458467.png │ │ ├── mean-square-error-formula.png │ │ ├── music-representation-example-1573661006566.png │ │ ├── music-representation-example.png │ │ ├── music-transformer-input-representation-2-1573660989349.png │ │ ├── music-transformer-input-representation-2.png │ │ ├── music-transformer-performance-encoding-3-1573661016158.png │ │ ├── music-transformer-performance-encoding-3.png │ │ ├── music-transformer-self-attention-2-1573660952614.png │ │ ├── music-transformer-self-attention-2-1573661294567.png │ │ ├── music-transformer-self-attention-2-1573661371416.png │ │ ├── music-transformer-self-attention-2.png │ │ ├── numpy-3d-array-1573800537348.png │ │ ├── numpy-3d-array-creation-1573800540754.png │ │ ├── numpy-3d-array-creation.png │ │ ├── numpy-3d-array.png │ │ ├── numpy-array-aggregation.png │ │ ├── numpy-array-broadcast.png │ │ ├── numpy-array-create-2d.png │ │ ├── numpy-array-slice.png │ │ ├── numpy-array-subtract-multiply-divide.png │ │ ├── numpy-array.png │ │ ├── numpy-arrays-adding-1.png │ │ ├── numpy-arrays-example-1.png │ │ ├── numpy-audio-1573800670895.png │ │ ├── numpy-audio.png │ │ ├── numpy-color-image-1573800704935.png │ │ ├── numpy-color-image.png │ │ ├── numpy-grayscale-image-1573800688152.png │ │ ├── numpy-grayscale-image.png │ │ ├── numpy-matrix-aggregation-1-1573800487551.png │ │ ├── numpy-matrix-aggregation-1.png │ │ ├── numpy-matrix-aggregation-4-1573800492000.png │ │ ├── numpy-matrix-aggregation-4.png │ │ ├── numpy-matrix-arithmetic-1573800203004.png │ │ ├── numpy-matrix-arithmetic.png │ │ ├── numpy-matrix-broadcast-1573800206678.png │ │ ├── numpy-matrix-broadcast.png │ │ ├── numpy-matrix-dot-product-1-1573800211687.png │ │ ├── numpy-matrix-dot-product-1.png │ │ ├── numpy-matrix-dot-product-2.png │ │ ├── numpy-matrix-indexing-1573800480044.png │ │ ├── numpy-matrix-indexing.png │ │ ├── numpy-matrix-ones-zeros-random.png │ │ ├── numpy-mean-square-error-formula-1573800446345.png │ │ ├── numpy-mean-square-error-formula.png │ │ ├── numpy-mse-1-1573800551744.png │ │ ├── numpy-mse-1.png │ │ ├── numpy-mse-2-1573800572338.png │ │ ├── numpy-mse-2.png │ │ ├── numpy-mse-3-1573800586645.png │ │ ├── numpy-mse-3.png │ │ ├── numpy-mse-4-1573800593852.png │ │ ├── numpy-mse-4.png │ │ ├── numpy-nlp-bert-shape.png │ │ ├── numpy-nlp-embeddings-1573800875535.png │ │ ├── numpy-nlp-embeddings.png │ │ ├── numpy-nlp-ids-1573800870486.png │ │ ├── numpy-nlp-ids.png │ │ ├── numpy-nlp-tokenization-1573800866617.png │ │ ├── numpy-nlp-tokenization.png │ │ ├── numpy-nlp-vocabulary-1573800744026.png │ │ ├── numpy-nlp-vocabulary.png │ │ ├── numpy-reshape-1573800508626.png │ │ ├── numpy-reshape.png │ │ ├── numpy-transpose-1573800499141.png │ │ ├── numpy-transpose.png │ │ ├── o4YBAFsg6cCAZqUqAABNVicChyQ409.png │ │ ├── o4YBAFsg6cCAamUoAABiVtkUmuI329.png │ │ ├── o4YBAFsg6cGACZX4AABpMgc-f0w840.png │ │ ├── o4YBAFsg6cGAe8-pAABO9TQE5MY891.png │ │ ├── o4YBAFsg6cKAOhc7AACOBun76Cc412.png │ │ ├── openAI-GPT-2-3.png │ │ ├── pasted-image-0--6-.png │ │ ├── pasted-image-0--7-.png │ │ ├── photoscoringmodel_700px_web.jpg │ │ ├── pinterest_600px_web.jpg │ │ ├── python-filter.png │ │ ├── python-map.png │ │ ├── python-reduce.png │ │ ├── queries-keys-attention-mask-1573656608234.png │ │ ├── queries-keys-attention-mask.png │ │ ├── ratio_medium-1.png │ │ ├── rightleft-1024x781.png │ │ ├── self-attention-1-1573613413155.png │ │ ├── self-attention-1-1573662122191.png │ │ ├── self-attention-1.png │ │ ├── self-attention-2-1573662095634.png │ │ ├── self-attention-2.png │ │ ├── self-attention-3-2-1573662059788.png │ │ ├── self-attention-3-2.png │ │ ├── self-attention-and-masked-self-attention-1573615292282.png │ │ ├── self-attention-and-masked-self-attention.png │ │ ├── self-attention-example-folders-3-1573653034919.png │ │ ├── self-attention-example-folders-3-1573653076786.png │ │ ├── self-attention-example-folders-3-1573662470725.png │ │ ├── self-attention-example-folders-3.png │ │ ├── self-attention-example-folders-scores-3-1573662389512.png │ │ ├── self-attention-example-folders-scores-3-1573662439368.png │ │ ├── self-attention-example-folders-scores-3.png │ │ ├── self-attention-summary-1573662052367.png │ │ ├── self-attention-summary-1573662154713.png │ │ ├── self-attention-summary.png │ │ ├── sephoraproducttryon_700px_web.jpg │ │ ├── skin360_700px_web.jpg │ │ ├── swiftkey-keyboard-1573612131268.png │ │ ├── swiftkey-keyboard.png │ │ ├── tf-runtime.png │ │ ├── transformer-attention-mask-1573656512681.png │ │ ├── transformer-attention-mask-1573656630539.png │ │ ├── transformer-attention-mask.png │ │ ├── transformer-attention-masked-scores-softmax-1573656471065.png │ │ ├── transformer-attention-masked-scores-softmax-1573656654686.png │ │ ├── transformer-attention-masked-scores-softmax-1573656681337.png │ │ ├── transformer-attention-masked-scores-softmax.png │ │ ├── transformer-decoder-attention-mask-dataset-1573656589914.png │ │ ├── transformer-decoder-attention-mask-dataset-1573656600812.png │ │ ├── transformer-decoder-attention-mask-dataset.png │ │ ├── transformer-decoder-block-2-1573614994816.png │ │ ├── transformer-decoder-block-2.png │ │ ├── transformer-decoder-block-self-attention-2-1573615001452.png │ │ ├── transformer-decoder-block-self-attention-2.png │ │ ├── transformer-decoder-intro-1573616047560.png │ │ ├── transformer-decoder-intro.png │ │ ├── transformer-encoder-block-2-1573614842219.png │ │ ├── transformer-encoder-block-2.png │ │ ├── transformer-encoder-decoder-1573614597067.png │ │ ├── transformer-encoder-decoder.png │ │ ├── unions-1024x781.png │ │ ├── wikipedia-summarization-1573661057869.png │ │ ├── wikipedia-summarization-1573661094497.png │ │ ├── wikipedia-summarization-1573661142282.png │ │ ├── wikipedia-summarization-1573661180826.png │ │ ├── wikipedia-summarization-1573661229235.png │ │ ├── wikipedia-summarization.png │ │ ├── zoom-in-1573655061371.png │ │ └── zoom-in.png │ ├── python数据采集之requests.md │ ├── python数据采集之自动化测试库 selenium.md │ ├── python高级之初识socket网络编程.md │ ├── python高级用法之-迭代器、生成器、装饰器.md │ ├── python高级用法之三大高阶内置函数.md │ ├── 为什么预测需要无监督学习.md │ ├── 分布式机器学习框架综述.md │ ├── 单变量非参数密度模型实现.md │ ├── 可视化简介NumPy和数据表示.md │ ├── 图解GPT-2(可视化Transformer语言模型).md │ ├── 如何使用深度学习的词嵌入层-Keras.md │ ├── 寻找与自己相貌相似的名人.md │ ├── 市场营销中排名前7位的计算机视觉应用.md │ ├── 异常检测算法.md │ ├── 机器学习常用损失函数.md │ ├── 超深网络和神经正切核(NTK).md │ ├── 随机森林参数调优指南.md │ └── 预测人们的驾驶性格.md │ └── 12 │ ├── 2019年对话式AI的10篇重要研究论文.md │ ├── 2019年开始的顶级AI项目和机器学习研究论文.md │ ├── Web开发人员的最佳朋友--AI.md │ ├── img │ ├── 10_HYPE_images_800px_web.jpg │ ├── 10_Learning_convention_700px_web.jpg │ ├── 10_Solving_Rubiks_Cube_800px_web.jpg │ ├── 10_Solving_cube_architecture_800px_web.jpg │ ├── 10_Topical_chat_sample_700px_web.jpg │ ├── 1_Dialogue_history_600px_web.jpg │ ├── 1_EfficientNet_model_800px_web.jpg │ ├── 1_EfficientNet_results_600px_web.jpg │ ├── 1_TRADE_architecture_800px_web.jpg │ ├── 1_Tree_search_in_RL_600px_web.jpg │ ├── 2_Learning_Depth_800px_web.jpg │ ├── 2_Shuffling_sample_800px_web.jpg │ ├── 2_Social_influence_reward_450px_web.jpg │ ├── 3_Framework_overview_600px_web.jpg │ ├── 3_Instruction_600px_web.jpg │ ├── 3_Persuasion_dataset_500px_web.jpg │ ├── 3_Persuastion_classifier_500px_web.jpg │ ├── 4_OpenDialKG_architecture_800px_web.jpg │ ├── 4_OpenDialKG_overview_550px_web.jpg │ ├── 4_Overview_800px_web.jpg │ ├── 4_RAdam_650px_web.jpg │ ├── 5_Distributional_RL_450px_web.jpg │ ├── 5_Dynamic_speaker_model_800px_web.jpg │ ├── 5_Reasoning_RCNN_example_600px_web.jpg │ ├── 5_Reasoning_RCNN_overview_800px_web.jpg │ ├── 5_XLNet_700px_web.jpg │ ├── 6_FIx_train_test_discrepancy_800px_web.jpg │ ├── 6_Regularization_800px_web.jpg │ ├── 7_Dialogue_history_600px_web.jpg │ ├── 7_Guided_meta_policy_search_800px_web.jpg │ ├── 7_Optimizng_diversity_500px_web.jpg │ ├── 7_SinGAN_architecture_800px_web.jpg │ ├── 7_SinGAN_samples_800px_web.jpg │ ├── 7_SpaceFusion_architecture_800px_web.jpg │ ├── 7_TRADE_architecture_800px_web.jpg │ ├── 8_Build_it_break_it_400px_web.jpg │ ├── 8_Fermat_paths_overview_800px_web.jpg │ ├── 8_Local_aggregation_800px_web.jpg │ ├── 8_Local_aggregation_samples_600px_web.jpg │ ├── 9_Change_captioning_sample_700px_web-1575955467933.jpg │ ├── 9_Change_captioning_sample_700px_web.jpg │ ├── 9_DUDA_architecture_800px_web.jpg │ ├── 9_Emergent_tool_600px_web.jpg │ ├── 9_Social_influence_reward_350px_web.jpg │ ├── Abstractive_summarization_450px_web.jpg │ ├── Conversational_AI_700px_web.jpg │ ├── Fig2.png │ ├── Histograms-1577372495033.png │ ├── Histograms.png │ ├── LikelihoodCompare-1577372505121.png │ ├── LikelihoodCompare.png │ ├── Screenshot019-12-06.png │ ├── Screenshot2019-12-06-1.png │ ├── Semantics-1577372500437.png │ ├── Semantics.png │ ├── SenticNet_700px_web.jpg │ ├── clip_image002-1577255290206.jpg │ ├── clip_image002.jpg │ ├── clip_image004-1577255290206.jpg │ ├── clip_image004.jpg │ ├── clip_image006-1577255290206.jpg │ ├── clip_image006.jpg │ ├── clip_image008.jpg │ ├── clip_image010.jpg │ ├── clip_image011.jpg │ ├── clip_image013.jpg │ ├── cover_CV_1600px_web-1280x640.jpg │ ├── cover_RL_1600px_web-1280x640.jpg │ ├── cover_TOP10ConvAI_1600px_web-1280x640.jpg │ ├── cover_TOP10_1600px_web-1280x640.jpg │ ├── image1.png │ ├── image15-1577372488664.gif │ ├── image15.gif │ ├── image2.png │ ├── image3.png │ ├── image5.png │ ├── image7.png │ └── 这个物体识别数据集颠覆了世界上最好的计算机视觉模型.png │ ├── 了解医学影像中的转移学习.md │ ├── 从2019年起10篇关于计算机视觉的前沿研究论文.md │ ├── 医疗保健发展ML的经验教训.md │ ├── 在营销和广告中利用NLP的新方法.md │ ├── 改进机器学习模型中的分布外检测.md │ ├── 百度有一种新的技巧可以教AI语言的含义.md │ ├── 自2019年以来强化学习突破性的研究.md │ ├── 解决数据科学家的不足：消除复杂性的人工智能解决方案.md │ └── 这个物体识别数据集难倒了世界上最好的计算机视觉模型.md ├── gen_list.py └── paper ├── Improving-forecasting-accuracy-of-time-series-data-using-a-new-ARIMA-ANN-hybrid-method-and-empirical-mode-decomposition.md ├── Improving-forecasting-accuracy-of-time-series-data-using-a-new-ARIMA-ANN-hybrid-method-and-empirical-mode-decomposition.pdf └── img ├── 1570549958639.png ├── image_13_0_0.jpg ├── image_14_0_0.jpg ├── image_15_0_0.jpg ├── image_17_0_0.jpg ├── image_18_0_0.jpg ├── image_19_0_0.jpg ├── image_20_0_0.jpg ├── image_21_0_0.jpg ├── image_22_0_0.jpg ├── image_25_0_0.jpg ├── image_9_0_0.jpg ├── linetable_12_0_0.jpg ├── linetable_24_0_0.jpg └── linetable_26_0_0.jpg /.github/ISSUE_TEMPLATE/article.md: -------------------------------------------------------------------------------- 1 | --- 2 | name: Article 3 | about: 技术文章翻译整理的模板 4 | title: "[Article]" 5 | labels: 待整理 6 | assignees: '' 7 | 8 | --- 9 | 10 | **文章(article)：** 11 | - 作者(author)： 12 | - 链接(link)： 13 | -------------------------------------------------------------------------------- /.github/ISSUE_TEMPLATE/paper.md: -------------------------------------------------------------------------------- 1 | --- 2 | name: Paper 3 | about: 论文翻译整理的模板 4 | title: "[Paper]" 5 | labels: 待整理 6 | assignees: '' 7 | 8 | --- 9 | 10 | **论文(paper)：** 11 | - 作者(author)： 12 | - 链接(link)： 13 | -------------------------------------------------------------------------------- /README.md: -------------------------------------------------------------------------------- 1 | 2 | # spark-plan 3 | 星火计划-做AI领域的独家，所有文章旨在技术传播和交流学习，非商业用途。 4 | 5 | 6 | ## 目录 7 | ### 文章 8 | - [A-Recipe-for-Training-Neural-Networks](article/2019/10/A-Recipe-for-Training-Neural-Networks.md) 9 | - [HEAVY-TAILED-SELF-REGULARIZATION-IN-DEEP-NEURAL-NETWORKS](article/2019/10/HEAVY-TAILED-SELF-REGULARIZATION-IN-DEEP-NEURAL-NETWORKS.md) 10 | - [K-means––聚类时发现异常](article/2019/10/K-means––聚类时发现异常.md) 11 | - [XGBoost调优指南](article/2019/10/XGBoost调优指南.md) 12 | - [什么是MAP](article/2019/10/什么是MAP.md) 13 | - [使用LPCNet的高质量，轻量级和自适应文本语音转换（TTS）](article/2019/10/使用LPCNet的高质量，轻量级和自适应文本语音转换（TTS）.md) 14 | - [十分钟的Keras序列到序列学习简介](article/2019/10/十分钟的Keras序列到序列学习简介.md) 15 | - [学习率呈指数增长？批处理归一化的尺度不变性的含义](article/2019/10/学习率呈指数增长？批处理归一化的尺度不变性的含义.md) 16 | - [宇宙是随机的吗](article/2019/10/宇宙是随机的吗.md) 17 | - [帮助自动驾驶汽车转弯](article/2019/10/帮助自动驾驶汽车转弯.md) 18 | - [建立安全的AI](article/2019/10/建立安全的AI.md) 19 | - [机器学习中的单调性约束](article/2019/10/机器学习中的单调性约束.md) 20 | - [没有反向传播的深度学习](article/2019/10/没有反向传播的深度学习.md) 21 | - [深层神经网络中的大规模自适应](article/2019/10/深层神经网络中的大规模自适应.md) 22 | - [深度强化学习Pongs-from-Pixels](article/2019/10/深度强化学习Pongs-from-Pixels.md) 23 | - [用于语音自动识别的高效分布式深度学习系统](article/2019/10/用于语音自动识别的高效分布式深度学习系统.md) 24 | - [神经网络中的重新思考或记忆化](article/2019/10/神经网络中的重新思考或记忆化.md) 25 | - [训练神经网络的食谱](article/2019/10/训练神经网络的食谱.md) 26 | - [超级计算机分析整个互联网上的网络流量](article/2019/10/超级计算机分析整个互联网上的网络流量.md) 27 | - [进取的机器人学习对象操纵的基础](article/2019/10/进取的机器人学习对象操纵的基础.md) 28 | - [通过匹配感知特征学习隐式生成模型](article/2019/10/通过匹配感知特征学习隐式生成模型.md) 29 | - [2019年机器学习框架的状态](article/2019/11/2019年机器学习框架的状态.md) 30 | - [BeautifulSoup](article/2019/11/BeautifulSoup.md) 31 | - [GNES-通用神经弹性搜索](article/2019/11/GNES-通用神经弹性搜索.md) 32 | - [Scrapy](article/2019/11/Scrapy.md) 33 | - [Selenium](article/2019/11/Selenium.md) 34 | - [为什么预测需要无监督学习](article/2019/11/为什么预测需要无监督学习.md) 35 | - [分布式机器学习框架综述](article/2019/11/分布式机器学习框架综述.md) 36 | - [单变量非参数密度模型实现](article/2019/11/单变量非参数密度模型实现.md) 37 | - [可视化简介NumPy和数据表示](article/2019/11/可视化简介NumPy和数据表示.md) 38 | - [图解GPT-2(可视化Transformer语言模型)](article/2019/11/图解GPT-2(可视化Transformer语言模型).md) 39 | - [如何使用深度学习的词嵌入层-Keras](article/2019/11/如何使用深度学习的词嵌入层-Keras.md) 40 | - [寻找与自己相貌相似的名人](article/2019/11/寻找与自己相貌相似的名人.md) 41 | - [市场营销中排名前7位的计算机视觉应用](article/2019/11/市场营销中排名前7位的计算机视觉应用.md) 42 | - [异常检测算法](article/2019/11/异常检测算法.md) 43 | - [机器学习常用损失函数](article/2019/11/机器学习常用损失函数.md) 44 | - [超深网络和神经正切核(NTK)](article/2019/11/超深网络和神经正切核(NTK).md) 45 | - [随机森林参数调优指南](article/2019/11/随机森林参数调优指南.md) 46 | - [2019年开始的顶级AI项目和机器学习研究论文](article/2019/12/2019年开始的顶级AI项目和机器学习研究论文.md) 47 | - [Web开发人员的最佳朋友--AI](article/2019/12/Web开发人员的最佳朋友--AI.md) 48 | - [了解医学影像中的转移学习](article/2019/12/了解医学影像中的转移学习.md) 49 | - [从2019年起10篇关于计算机视觉的前沿研究论文](article/2019/12/从2019年起10篇关于计算机视觉的前沿研究论文.md) 50 | - [医疗保健发展ML的经验教训](article/2019/12/医疗保健发展ML的经验教训.md) 51 | - [自2019年以来强化学习突破性的研究](article/2019/12/自2019年以来强化学习突破性的研究.md) 52 | 53 | ### 论文 54 | - [Improving-forecasting-accuracy-of-time-series-data-using-a-new-ARIMA-ANN-hybrid-method-and-empirical-mode-decomposition](paper/Improving-forecasting-accuracy-of-time-series-data-using-a-new-ARIMA-ANN-hybrid-method-and-empirical-mode-decomposition.md) 55 | 56 | 57 | ## LICENSE 58 | [Apache License](LICENSE) 59 | 60 | ## 目的 61 | > 为了督促自己学习知识，学习英语，翻译整理优质的中英文技术文章或者论文。 62 | 63 | ## 生成目录列表 64 | ```shell 65 | python gen_list.py 66 | ``` 67 | -------------------------------------------------------------------------------- /article/2019/10/K-means––聚类时发现异常.md: -------------------------------------------------------------------------------- 1 | 链接：https://blog.bigml.com/2018/11/21/k-means-finding-anomalies-while-clustering/ 2 | 3 | 作者：佚名 4 | 5 | 翻译：@Zhuo YaZhao 6 | 7 | # K-means– –聚类时发现异常 8 | 9 | 11月4日至5日，BigML加入了哈马德·本·哈利法大学的一部分的卡塔尔计算机研究所 （QCRI），将一台机器学习学校带到卡塔尔多哈！我们很高兴有这个机会与QCRI合作。 10 | 11 | 会议期间，Sanjay Chawla博士讨论了他的与异常k-means-聚类的算法。我们认为使用我们的领域特定语言来实 现它的变体来自动化机器学习工作流程WhizzML将会是一个有趣的练习。 12 | 13 | ## 算法 14 | 15 | k均值算法的通常过程如下。它以一些数据集，一些聚类k和一些预期离群值l开始。它随机选择k个质心， 并根据最接近的质心将数据集的每个点分配给这些质心之一。到目前为止，这就像香草k均值。在香草k均值中， 您现在将找到每个聚类的均值并将其设置为新的质心。在K-指-然而，你先找到升离其指定的质心最远的点， 并从数据集中过滤掉它们。使用剩余的点找到新的质心。通过在进行过程中删除这些点，我们将找到不受异常 值影响的质心，从而获得不同的（最好是更好的）质心。 16 | 17 | 我们已经有了一个实现在BigML k均值，群集资源。但这不是香草k均值。BigML的实现方式不是通过对集群中的 所有点求平均来找到新的质心，而是通过对点进行采样并使用梯度下降方法来更快地工作。BigML还选择了比香草 k均值更好的初始条件。为了避免失去这些好处，我们将使用Chawla的k均值-在核心迭代中使用完整的BigML集群资源。 18 | 19 | 这个WhizzML脚本是我们实现的重点。 20 | 21 | ``` 22 | (define (get-anomalies ds-id filtered-ds k l) 23 | (let (cluster-id (create-and-wait-cluster {"k" k 24 | "dataset" filtered-ds}) 25 | batchcentroid-id (create-and-wait-batchcentroid 26 | {"cluster" cluster-id 27 | "dataset" ds-id 28 | "all_fields" true 29 | "distance" true 30 | "output_dataset" true}) 31 | batchcentroid (fetch batchcentroid-id) 32 | centroid-ds (batchcentroid "output_dataset_resource") 33 | sample-id (create-and-wait-sample centroid-ds) 34 | field-id (((fetch centroid-ds) "objective_field") "id") 35 | anomalies (fetch sample-id {"row_order_by" (str "-" field-id) 36 | "mode" "linear" 37 | "rows" l 38 | "index" true})) 39 | (delete* [batchcentroid-id sample-id]) 40 | {"cluster-id" cluster-id 41 | "centroid-ds" centroid-ds 42 | "instances" ((anomalies "sample") "rows")})) 43 | ``` 44 | 45 | 让我们逐行检查它。除了在算法的每个步骤中删除l个离群值之外，让我们在删除异常之前运行整个k均值序列。 46 | 47 | ``` 48 | cluster-id (create-and-wait-cluster {"k" k "dataset" filtered-ds}) 49 | ``` 50 | 51 | 然后创建带有输出数据集并附加到质心的距离的批处理质心非常容易。 52 | 53 | ``` 54 | batchcentroid-id (create-and-wait-batchcentroid {"cluster" cluster-id 55 | "dataset" ds-id 56 | "all_fields" true 57 | "distance" true 58 | "output_dataset" 59 | true}) 60 | ``` 61 | 62 | 为了获得特定点，我们需要使用BigML示例资源来获得最远的点。 63 | 64 | ``` 65 | sample-id (create-and-wait-sample centroid-ds 66 | ``` 67 | 68 | 现在，我们可以找到与第l个实例关联的距离，然后从我们的原始数据集中过滤出所有大于该距离的点。 69 | 70 | ``` 71 | anomalies (fetch sample-id {"row_order_by" (str "-" field-id) 72 | "mode" "linear" 73 | "rows" l 74 | "index" true})) 75 | ``` 76 | 77 | 我们重复此过程，直到质心稳定为止（通过在算法的后续迭代中在异常值集之间传递Jaccard系数的阈值确定），或者直到达到用户设置的最大迭代次数为止。 78 | 79 | 您可以在GitHub或BigML画廊中找到完整的代码。 80 | 81 | ## 脚本在行动 82 | 83 | 那么，当我们运行此脚本时会发生什么呢？让我们尝试一下红酒质量数据集。这是使用ak的13（使用BigML g-means群集选择）和l的10时的结果。 84 | ![img](img/screen-shot.png) 85 | 我们可以导出集群摘要报告，并将其与具有相同k的原始BigML集群进行比较。正如您可能期望的那样，通过除去外围点，k均值的质心标准偏差的平均值减去两个结果：0.00128与0.00152。 86 | 87 | 我们作为异常值删除的点又如何呢？我们知道它们是否真的异常吗？当通过BigML异常检测器运行wine数据集时，我们可以根据隔离林获得前十大异常。与脚本找到的十个离群值相比，我们 看到有六个共同的实例。这是一个体面的协议，我们已删除了真正的异常值 -------------------------------------------------------------------------------- /article/2019/10/img/17107504.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/17107504.png -------------------------------------------------------------------------------- /article/2019/10/img/1go5k0x83p.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/1go5k0x83p.png -------------------------------------------------------------------------------- /article/2019/10/img/3chxk7oph9.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/3chxk7oph9.png -------------------------------------------------------------------------------- /article/2019/10/img/6ya1a47q7q.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/6ya1a47q7q.png -------------------------------------------------------------------------------- /article/2019/10/img/A-Closer-Look-Image-1024x111.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/A-Closer-Look-Image-1024x111.png -------------------------------------------------------------------------------- /article/2019/10/img/ADAM-Moving-Average-Image-1-300x28.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/ADAM-Moving-Average-Image-1-300x28.png -------------------------------------------------------------------------------- /article/2019/10/img/ADAM-Moving-Average-Image-2-300x19.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/ADAM-Moving-Average-Image-2-300x19.png -------------------------------------------------------------------------------- /article/2019/10/img/ADPSGD_fig1.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/ADPSGD_fig1.jpg -------------------------------------------------------------------------------- /article/2019/10/img/Experiments-Graph-1-1024x199.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/Experiments-Graph-1-1024x199.png -------------------------------------------------------------------------------- /article/2019/10/img/Experiments-Graph-2-1024x494.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/Experiments-Graph-2-1024x494.png -------------------------------------------------------------------------------- /article/2019/10/img/Hierarchical-ADPSGD_fig2.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/Hierarchical-ADPSGD_fig2.jpg -------------------------------------------------------------------------------- /article/2019/10/img/MitNews.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/MitNews.jpg -------------------------------------------------------------------------------- /article/2019/10/img/car.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/car.jpg -------------------------------------------------------------------------------- /article/2019/10/img/clip_image002.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/clip_image002.jpg -------------------------------------------------------------------------------- /article/2019/10/img/clip_image003.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/clip_image003.png -------------------------------------------------------------------------------- /article/2019/10/img/clip_image004.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/clip_image004.png -------------------------------------------------------------------------------- /article/2019/10/img/clip_image005.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/clip_image005.png -------------------------------------------------------------------------------- /article/2019/10/img/clip_image007.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/clip_image007.png -------------------------------------------------------------------------------- /article/2019/10/img/clip_image009.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/clip_image009.png -------------------------------------------------------------------------------- /article/2019/10/img/clip_image010.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/clip_image010.png -------------------------------------------------------------------------------- /article/2019/10/img/data_plot.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/data_plot.png -------------------------------------------------------------------------------- /article/2019/10/img/dgkemv074n.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/dgkemv074n.png -------------------------------------------------------------------------------- /article/2019/10/img/download-72.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/download-72.png -------------------------------------------------------------------------------- /article/2019/10/img/download-74-1572449613347.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/download-74-1572449613347.png -------------------------------------------------------------------------------- /article/2019/10/img/download-74-1572450569235.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/download-74-1572450569235.png -------------------------------------------------------------------------------- /article/2019/10/img/download-74-1572756567526.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/download-74-1572756567526.png -------------------------------------------------------------------------------- /article/2019/10/img/download-74.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/download-74.png -------------------------------------------------------------------------------- /article/2019/10/img/episodes.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/episodes.png -------------------------------------------------------------------------------- /article/2019/10/img/fig1.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/fig1.jpg -------------------------------------------------------------------------------- /article/2019/10/img/fig2.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/fig2.jpg -------------------------------------------------------------------------------- /article/2019/10/img/fig3.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/fig3.jpg -------------------------------------------------------------------------------- /article/2019/10/img/fig4.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/fig4.jpg -------------------------------------------------------------------------------- /article/2019/10/img/fig5.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/fig5.jpg -------------------------------------------------------------------------------- /article/2019/10/img/fig6.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/fig6.jpg -------------------------------------------------------------------------------- /article/2019/10/img/first_animation--11--1572756708045.gif: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/first_animation--11--1572756708045.gif -------------------------------------------------------------------------------- /article/2019/10/img/first_animation--11-.gif: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/first_animation--11-.gif -------------------------------------------------------------------------------- /article/2019/10/img/first_animation--7--1572756583574.gif: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/first_animation--7--1572756583574.gif -------------------------------------------------------------------------------- /article/2019/10/img/first_animation--7-.gif: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/first_animation--7-.gif -------------------------------------------------------------------------------- /article/2019/10/img/fourth_animation--18-.gif: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/fourth_animation--18-.gif -------------------------------------------------------------------------------- /article/2019/10/img/frostbite.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/frostbite.jpg -------------------------------------------------------------------------------- /article/2019/10/img/latex-image-675.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/latex-image-675.png -------------------------------------------------------------------------------- /article/2019/10/img/mdp.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/mdp.png -------------------------------------------------------------------------------- /article/2019/10/img/model.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/model.jpg -------------------------------------------------------------------------------- /article/2019/10/img/model_fit.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/model_fit.png -------------------------------------------------------------------------------- /article/2019/10/img/monotone_model_fit.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/monotone_model_fit.png -------------------------------------------------------------------------------- /article/2019/10/img/montezuma.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/montezuma.png -------------------------------------------------------------------------------- /article/2019/10/img/nondiff1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/nondiff1.png -------------------------------------------------------------------------------- /article/2019/10/img/nondiff2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/nondiff2.png -------------------------------------------------------------------------------- /article/2019/10/img/pg-1571840356518.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/pg-1571840356518.png -------------------------------------------------------------------------------- /article/2019/10/img/pg-1571844412091.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/pg-1571844412091.png -------------------------------------------------------------------------------- /article/2019/10/img/pg.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/pg.png -------------------------------------------------------------------------------- /article/2019/10/img/policy.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/policy.png -------------------------------------------------------------------------------- /article/2019/10/img/pong.gif: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/pong.gif -------------------------------------------------------------------------------- /article/2019/10/img/preview.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/preview.jpeg -------------------------------------------------------------------------------- /article/2019/10/img/rl.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/rl.png -------------------------------------------------------------------------------- /article/2019/10/img/screen-shot.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/screen-shot.png -------------------------------------------------------------------------------- /article/2019/10/img/second_animation.gif: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/second_animation.gif -------------------------------------------------------------------------------- /article/2019/10/img/sl.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/sl.png -------------------------------------------------------------------------------- /article/2019/10/img/synthetic_grads_paper-1571920706626.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/synthetic_grads_paper-1571920706626.png -------------------------------------------------------------------------------- /article/2019/10/img/synthetic_grads_paper-1571920736616.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/synthetic_grads_paper-1571920736616.png -------------------------------------------------------------------------------- /article/2019/10/img/synthetic_grads_paper-1571921126716.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/synthetic_grads_paper-1571921126716.png -------------------------------------------------------------------------------- /article/2019/10/img/third_animation.gif: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/third_animation.gif -------------------------------------------------------------------------------- /article/2019/10/img/tree-infographic.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/tree-infographic.png -------------------------------------------------------------------------------- /article/2019/10/img/v8zy24qhy5.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/v8zy24qhy5.png -------------------------------------------------------------------------------- /article/2019/10/img/weights.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/weights.png -------------------------------------------------------------------------------- /article/2019/10/img/z6mevy1ygk.gif: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/10/img/z6mevy1ygk.gif -------------------------------------------------------------------------------- /article/2019/10/什么是MAP.md: -------------------------------------------------------------------------------- 1 | 作者： Zygmunt Z. | 2012-08-09 | Kaggle, basics 2 | 3 | 链接： http://fastml.com/what-you-wanted-to-know-about-mean-average-precision 4 | 5 | 翻译： Nansen | 2019-10-30 | Cynomys,ML 6 | 7 | # What you wanted to know about Mean Average Precision ? 8 | 9 | 众所周知，如果此间有一群用户以及一些项目（比如电影、歌曲或者某些别的什么活儿之类的），每个用户都将会对对某些题目感兴趣 10 | 因此响应客户需求，我们需要对每个用户推荐一些项目（不妨把客户请求推荐的项目数量设为x） 11 | 之后用户将会对结果通过mean average precisionor （或者简称MAP）, metric对结果进行评估 12 | 确切地说，MAP @ x 就是在让我们为某个用户推荐“一定数量（以下用 x 代替）的项目” 13 | 照应题目，接下来准确地来讲述什么是MAP 14 | 15 | ## 什么是MAP？ 16 | 17 | 首先，我们先对其中的 M 进行剖析，此M既为mean，概括为所有用户的AP（average precisions）的均值， 18 | 将此mean结合Average Precision由此而来Mean Average Precision。 19 | 举个例子，假设我们有1000个用户，我们将每个用户的AP求和，再将这个“和”除以1000个客户量。这就是MAP的由来。 20 | 21 | 其次，我们讨论什么是AP（Average Precision）， 22 | 实际来讲我们没必要完全了解，但是我们需要了解关于AP的以下几点就够了： 23 | >我们最多能为每个用户推荐 x 个项目 24 | >我们为客户提供的推荐应该尽量达到 x 个 25 | >事项顺序非常重要，首要提供相关性最高的推荐，之后才是我们觉得相关性不那么高的推荐 26 | 27 | 因此依照上述条件顺序可以大体上选出x个最好的推荐项目 28 | 29 | 接下来是临一种理解AP（Average Precision）的方式。 30 | 维基百科上说AP（Average Precision）是用来对文件检索进行评分的， 31 | 就好比，我们在谷歌搜索框输入某查找项，它会反馈我们十个相关项， 32 | 对于用户而言，这十个相关项都围绕搜索框内的查找项是最好的 33 | 然而不尽人意的时候总是存在的，比如，其中有五个相关项与查找项相差甚远，那么最好先显示另外五个更精确的相关项。 34 | 如果不按照这样排列，前五个先展示相关性更低的选项，那么相关性高的就得从第六个开始，那这样我们都会觉得不太行。 35 | AP指数就是反应这一现象的。 36 | 37 | 这个名字对我们有误导性；我们更推崇“依次事项的 相关值”一类。 38 | 39 | >此公式为: sum i=1:x of (precision at i * change in recall at i) 40 | 41 | precision at i 是在第一次i个推荐中相关性高的推荐所占的百分比。 42 | 如果在i处的项目是精确的（对每个精确的项目而言都是如此），那么Change in recall at i 是 1/x ，否则是0。 43 | 假设相关项的数目大于或等于x:r>=x。 44 | 如果不正确，则每个精确的i处的recall更改为1/r，而不是1/x。 45 | 46 | 对于感兴趣的人，Ben Hamner为kaggle实现了一系列度量，其中包括各种语言的MAP和AP。 47 | 您可能需要查看一些测试用例（在Matlab中）来检查您对如何计算AP的理解。 48 | >例如 test_case(1:5, [6 4 7 1 2], 2, 0.25); 49 | 50 | 这意味着实际项目是1:5，即[1 2 3 4 5]。我们推荐[6 4 7 1 2]，我们通过交集得出4，1和2为正确项，但是其中依然有一些不正确的联想项。 51 | 它就是AP@2 52 | 所以，事实上只有两个最初的预测是重要的：6和4。 53 | 第一个是错误的，所以precision@1为0。第二个是对的，所以precision@2是0.5。则change in recall分别为0和0.5（即1/x）， 54 | 因此AP@2 = 0 * 0 + 0.5 * 0.5 = 0.25 55 | 56 | -------------------------------------------------------------------------------- /article/2019/10/使用LPCNet的高质量，轻量级和自适应文本语音转换（TTS）.md: -------------------------------------------------------------------------------- 1 | 原文： https://www.ibm.com/blogs/research/2019/09/tts-using-lpcnet/ 2 | 3 | 作者： [Zvi Kons](https://www.ibm.com/blogs/research/author/zvi-kons/), [Slava Shechtman](https://researcher.watson.ibm.com/researcher/view.php?person=il-SLAVA), and [Alex Sorin](https://researcher.watson.ibm.com/researcher/view.php?person=il-SORIN) 4 | 5 | 翻译：[@Chen Quan](https://github.com/chenquan ) 6 | 7 | 8 | 9 | # 使用LPCNet的高质量，轻量级和自适应文本语音转换（TTS） 10 | 11 | 深度学习的最新进展通过更有效地学习说话者的语音和说话方式以及更自然地生成高质量的输出语音，极大地改善了语音合成（TTS）系统的开发。 12 | 13 | 然而，为了产生这种高质量的语音，大多数TTS系统都依赖于大型且复杂的神经网络模型，这些模型难以训练，甚至在利用GPU时也无法进行实时语音合成。 14 | 15 | 为了应对这些挑战，我们的IBM Research AI团队开发了一种基于模块化体系结构的神经语音合成新方法，该方法将三个深度神经网络（DNN）与网络输出的中间信号处理相结合。我们在Interspeech 2019的论文“ [使用LPCNet的高质量，轻量级和自适应TTS](https://arxiv.org/abs/1905.00590) ”中介绍了这项工作。[TTS](https://arxiv.org/abs/1905.00590)体系结构轻巧，可以实时合成高质量的语音。每个网络都学习说话者语音的不同方面，从而可以有效地独立训练每个组件。 16 | 17 | ![图1：TTS系统架构](img/fig1.jpg) 18 | 19 | *图1：TTS系统架构* 20 | 21 | 22 | 23 | 我们方法的另一个优势是，一旦对基础网络进行了训练，即使使用少量的训练数据，也可以轻松地将其适应于新的讲话风格或语音，例如用于品牌和个性化目的。 24 | 25 | 综合过程应用特定于语言的前端模块，该模块将输入文本转换为一系列语言功能。然后依次应用以下三个DNN： 26 | 27 | **1.韵律预测** 28 | 29 | 韵律特征表示为每个TTS单元的二维韵律向量（约为手机[HMM](https://en.wikipedia.org/wiki/Hidden_Markov_model)状态的三分之一），包括该单元的对数持续时间，初始对数间距，最终对数间距和对数能量。这些特征是在训练时学习的，因此可以从合成时前端提取的文本特征中进行预测。韵律非常重要，不仅有助于使语音听起来自然生动，而且在训练或自适应数据中最能代表特定说话者的风格。基于变奏自动编码器（VAE）针对未知说话者进行韵律匹配。有关网络架构的更多详细信息，请参见我们的论文以及[1]。 30 | 31 | ![图2：韵律发生器的训练和再训练](img/fig2.jpg) 32 | 33 | 34 | 35 | *图2：韵律生成器的训练和再训练* 36 | 37 | 38 | 39 | **2.声学特征预测** 40 | 41 | 声学特征向量在短的10毫秒帧处提供语音的频谱表示，从中可以生成实际的音频。声学特征是在训练时学习的，因此可以在合成过程中根据语音标签和韵律对其进行预测。 42 | 43 | ![图3：合成器网络](img/fig3.jpg) 44 | 45 | 46 | 47 | *图3：合成器网络* 48 | 49 | 50 | 51 | 创建的DNN模型代表训练或自适应数据中说话者的声音。该体系结构基于卷积层和循环层，用于提取语音序列和音高模式中的局部上下文和时间相关模式。DNN沿其一阶和二阶导数预测声学特征。随后是最大似然过程和共振峰增强滤波器，有助于生成听起来更好的语音。 52 | 53 | **3.神经声码器** 54 | 55 | 神经声码器负责根据声学特征生成实际语音样本。它针对说话者的自然语音样本及其相应功能进行训练。具体来说，我们是第一个在完全商业化的TTS系统中使用新型，轻便，高质量的神经声码器LPCNet [2]的公司。 56 | 57 | 这种声码器的新颖之处在于它不会尝试直接通过DNN预测复杂的语音信号。相反，DNN仅预测不太复杂的声门残留信号，然后使用LPC滤波器将其转换为最终语音信号。 58 | 59 | ![图4：LPCNet神经声码器](img/fig4.jpg) 60 | 61 | 62 | 63 | *图4：LPCNet神经声码器* 64 | 65 | 66 | 67 | **语音自适应** 68 | 69 | 根据来自目标说话者的少量数据，通过重新训练这三个网络，可以轻松实现对目标说话者的语音适应。在我们的论文中，我们根据语音质量和与目标说话者的相似性介绍了自适应实验的结果。在此[样本页面](http://ibm.biz/IS2019TTS)中，还提供了适用于八种不同VCTK [3]扬声器（四位男性，四位女性）的适应性[样本](http://ibm.biz/IS2019TTS)。 70 | 71 | **听力测试结果** 72 | 73 | 下图显示了听众测试结果。对于质量评估，MOS（平均意见得分）值基于听众对VCTK说话者的许多合成样本和自然样本给出的平均质量分数（1-5）。为了进行相似性评估，向听众提供了成对的样本，并要求他们评估它们之间的相似性（以1-4为标准）。 74 | 75 | 我们使用五分钟，十分钟和二十分钟的目标语音以及目标说话人的自然语音，评估了使用女性/男性自适应语音与合成语音的目标说话人的质量和相似性。 76 | 77 | 测试结果表明，即使语音仅经过5分钟的训练，我们仍可以保持与原始扬声器的高质量和高度相似性。 78 | 79 | ![img](img/fig5.jpg) 80 | 81 | ![图5：质量和相似性听力测试结果](img/fig6.jpg) 82 | 83 | 84 | 85 | *图5：质量和相似性听力测试结果* 86 | 87 | 88 | 89 | 这项工作是由[IBM Watson](https://medium.com/ibm-watson/ibm-watson-text-to-speech-neural-voices-added-to-service-e562106ff9c7)生产的，是新的IBM Watson TTS服务发行版的基础，该服务版本具有升级的高质量语音（在[IBM Watson TTS](https://text-to-speech-demo.ng.bluemix.net/)演示中选择“ V3”语音）。 90 | 91 | *“ [使用LPCNet的高质量，轻量级和自适应TTS](https://arxiv.org/abs/1905.00590) ”的所有作者[对此都](https://arxiv.org/abs/1905.00590)做出了贡献：Zvi Kons，Slava Shechtman，Alex Sorin，Carmel Rabinovitz和Ron Hoory。* 92 | 93 | **参考文献** 94 | 95 | [1] Z. Kons, S. Shechtman, A. Sorin, R. Hoory, C. Rabinovitz and E. Da Silva Morais, “Neural TTS Voice Conversion,” 2018 IEEE Spoken Language Technology Workshop (SLT), Athens, Greece, 2018, pp. 290-296 96 | 97 | [2] J. Valin and J. Skoglund, “LPCNET: Improving Neural Speech Synthesis through Linear Prediction,” ICASSP 2019, Brighton, United Kingdom, 2019, pp. 5891-5895 98 | 99 | [3] Veaux, Christophe; Yamagishi, Junichi; MacDonald, Kirsten. (2017). “CSTR VCTK Corpus: English Multi-speaker Corpus for CSTR Voice Cloning Toolkit”, [sound]. University of Edinburgh. The Centre for Speech Technology Research (CSTR). https://doi.org/10.7488/ds/1994 -------------------------------------------------------------------------------- /article/2019/10/十分钟的Keras序列到序列学习简介.md: -------------------------------------------------------------------------------- 1 | # 十分钟的Keras序列到序列学习简介 2 | 3 | 我经常看到这个问题-如何在Keras中实施RNN序列到序列学习？这是一个简短的介绍。 4 | 5 | 请注意，本文假定您已经对循环网络和Keras有所了解。 6 | 7 | ## 什么是系列学习？ 8 | 9 | 序列到序列学习（Seq2Seq）是关于将模型从一个域（例如英语中的句子）转换为另一域（例如将相同句子翻译为法语的序列）的训练模型。 10 | 11 | -------------------------------------------------------------------------------- /article/2019/10/学习率呈指数增长？批处理归一化的尺度不变性的含义.md: -------------------------------------------------------------------------------- 1 | 昨天，我读到了一篇有趣的文章，内容令人困惑，即在使用批处理归一化训练神经网络时可以使用成倍增长的学习率时间表： 2 | 3 | - 李志远和Sanjeev Arora（2019）[深度学习的指数学习进度表](https://arxiv.org/abs/1910.07454) 4 | 5 | 本文提供了这种可重分属性的理论见解和经验证明。 6 | 7 | ## 尺度不变性 8 | 9 | 这样做的原因归结为以下事实：批量归一化使神经网络的损失函数按比例缩放-按常数缩放权重不会更改批量归一化网络的输出或损失。事实证明，单独使用此属性可能会导致某些出乎意料且可能对优化有用的属性。我将使用2D玩具示例，通过这篇文章来说明尺度不变损失函数的某些属性-以及它们的梯度下降轨迹： 10 | 11 | ![img](img/download-72.png) 12 | 13 | 在这里，我画了一个具有尺度不变性的损失函数。损耗的值仅取决于角度，而不取决于权重向量的大小。从原点向外的沿任何径向线的损耗值是恒定的。尺度不变的简单后果是（论文的引理1） 14 | 15 | 1. 该函数的梯度始终与参数向量的当前值正交，并且 16 | 2. 您离原点越远，渐变的幅度就越小。这可能不太直观，但请考虑函数在原点周围的圆周上的行为。函数是相同的，但是随着半径的增加，将相同的函数拉伸到更大的圆上会变胖，因此其梯度会减小。 17 | 18 | 这是一个有点混乱的颤动图，显示了上面函数的梯度： 19 | 20 | 21 | 22 | ![img](img/download-74-1572756567526.png) 23 | 24 | 25 | 26 | 由于原点周围的梯度会爆炸，所以颤动图很乱。但是您也许可以看到渐变如何变得越来越大-并且保持与值本身垂直。 27 | 28 | 因此，想象一下在这样的损失表面上进行香草梯度下降（没有动量，重量衰减，固定的学习速率）。由于斜率始终垂直于参数的当前值，因此根据毕达哥拉斯定理，参数向量的范数随每次迭代而增加。因此，梯度下降使您远离原点。但是，权重向量不会完全爆炸到无穷大，因为随着权重向量的增长，梯度也会变得越来越小，因此它会在某个点稳定下来。这里是一个梯度下降通道看起来像坐标$开始（ - 0.7，0.7）$： （-0.7，0.7）（-0.7，0.7）： 29 | 30 | ![img](img/first_animation--7--1572756583574.gif) 31 | 32 | 33 | 34 | 实际上，您实际上看不到它，但是优化类型卡在其中，并且不再移动。有趣的是，如果添加权重衰减，会发生什么，这与在权重上添加L2正则化器相同： 35 | 36 | ![first_animation--11-](img/first_animation--11--1572756708045.gif) 37 | 38 | 我们可以看到，一旦轨迹即将陷入局部最小值，权重衰减会将其拉回到原点，该原点就是梯度变大的地方。反过来，这会扰乱轨迹，经常将其推出当前的局部最小值。因此，从某种意义上说，我们可以开始建立直觉，即尺度不变损失函数上的权重衰减充当一种学习速率调整。 39 | 40 | 实际上，本文得出的结论是两件事之间的对等： 41 | 42 | - 体重衰减且学习率恒定，并且 43 | - 没有体重下降，学习率呈指数增长 44 | 45 | 在下面的图中，我显示了学习率呈指数增长的轨迹，该轨迹与我之前显示的随着体重下降而显示的轨迹相等。这没有体重下降，并且它的学习率持续增长： 46 | 47 | ![second_animation](img/second_animation.gif) 48 | 49 | 我们可以看到轨迹爆炸，并且很快超出了此动画的范围。这如何等于重量衰减轨迹？好吧，从损失函数的角度来看，权重向量的大小无关紧要，并且我们只关心从原点观察时的角度。事实证明，如果您查看这些角度，则两个轨迹是相同的。为了说明这一点，我使用定理2.1中的归一化公式将这一轨迹投影回与重量衰减相同的幅度。我得到的确与上面的轨迹非常相似： 50 | 51 | ![third_animation](img/third_animation.gif) 52 | 53 | 一段时间后，轨迹开始以不同的方式工作，我认为这可能是由于我在玩具示例的实现中积累了数字误差。我可能可以解决此问题，但是我不确定是否值得付出努力。作者展示了更多令人信服的经验证据，表明这可以在人们真正想要优化的真实，复杂的神经网络损失中发挥作用。 54 | 55 | 您可以认为我在上面所做的这种重新规范化是“不断缩小”损失情况，以跟上指数爆炸参数。我试图在下面说明这一点： 56 | 57 | ![fourth_animation--18-](img/fourth_animation--18-.gif) 58 | 59 | 在左侧的图中，我显示了具有恒定学习率的原始的，权重下降的梯度下降。在右边的图上，我显示了等效轨迹，学习速率呈指数增长，并且没有权重衰减，并且还根据定理2.1添加了恒定缩放以抵消参数范数的爆炸。我们可以看到，尤其是从最初开始，从原点看，两条路径的行为相同。然后它们的工作方式有所不同，我认为这可能是可以解决的数字精度问题。 60 | 61 | 该论文在动量存在的情况下也表现出类似的效果，如果有兴趣的话，请阅读论文中的细节。 62 | 63 | ## 摘要 64 | 65 | 我认为这种观察非常酷，并且可能会更好地理解Batchnorm和其他权重标准化方案的工作机制。这也解释了为什么权重衰减与权重归一化方案相结合会导致相对稳健的梯度下降方案，其中恒定的学习率效果很好。 -------------------------------------------------------------------------------- /article/2019/10/宇宙是随机的吗.md: -------------------------------------------------------------------------------- 1 | 原文： http://iamtrask.github.io/2017/06/19/randomness/ 2 | 3 | 作者： Andrew Trask 4 | 5 | 翻译：[@Chen Quan](https://github.com/chenquan ) 6 | 7 | 8 | 9 | # 宇宙是随机的吗？ 10 | 11 | > 关于在日益可预测的世界中不可预测性的几点思考... 12 | 13 | **TLDR：** 我最近想知道宇宙是否真的是随机的，我想我会写下一些关于这个问题的想法。请注意，这篇文章更多的是分享我的个人经历，而不是教授技能或工具（与许多其他博客文章不同）。随时在Twitter上与我聊天这些想法，因为我本人仍在研究这些想法，我很想听听您的观点。 14 | 15 | 16 | 17 | 牛津英语词典将随机性定义为“事件缺乏模式或可预测性”。我喜欢这个定义，因为它揭示了“随机性”更多地是关于观察者的预测能力，而不是事件本身。考虑此定义的以下结果： 18 | 19 | **结果：** 两个人可以准确地将同一事件描述为随机程度不同的事件。 20 | 21 | 考虑一下两名气象学家何时试图预测今天下雨的可能性。仅允许一个人（我们称他们为“无知气象学家”）记录下该地区在1900年至2000年之间的降雨频率。第二个人（“智能气象学家”）也被允许提供此信息，但是第二个人也可以知道今天的日期。这两个人认为下雨的可能性非常不同。无知的气象学家会简单地说：“该地区下雨40％的时间，因此今天下雨的可能性为40％”。他/她还能说什么？给定提供的信息，随机度非常高。但是，“智能气象学家”的信息更为丰富。他/她可能会说“现在是旱季，因此今天下雨的机会只有5％”。 22 | 23 | 如果我们要求每位气象学家随着时间的推移继续做出预测。他们每个人都会根据信息的可用性以不同的随机度（较高和较低和较低）进行预测。但是，事件本身并不是或多或少是随机的。相对于单个和其他可用的预测信息而言，它或多或少是随机的。 24 | 25 | 也许这使您感到随机不再是真实的，只是在旁观者眼中。但是，我相信机器学习的上下文为随机性提供了更为精确的定义。在这种情况下，可以将随机性视为衡量“输入”，“目标”和“模型”这3个数据集之间兼容性的一种方法。 26 | 27 | **输入：** 是众所周知的数据。这就是我们将要用来预测其他事情的方法。所有潜在的“原因”都包含在输入中。 28 | 29 | **目标：** 是我们希望预测的数据。我们所说的是随机的，也可能不是随机的。 30 | 31 | **模型：** 此“数据集”只是一组将输入转换为目标的指令。当人做出预测时，这就是人的智力。在计算机中，它是由1和0组成的大序列，它们操作门并代表特定的变换。 32 | 33 | 因此，我们可以将随机性视为这三个数据集之间的兼容程度。如果兼容性高（输入->模型->目标非常可靠），那么随机性就低。 34 | 35 | 既然我们已经确定了我认为是最实用，最常用的随机性定义，那么我想介绍一下随机性的更大版本，我们将其称为 Randomness （大写R）。这种随机性是指在给定无限知识和智慧的情况下，是否可以预测未来事件发生之前（该事件可能存在“模型”数据集）。这种随机性还意味着某物是否由另一物引起。如果不是由原因引起的，而是单纯由自身引起的，则为（大写“ R”） Random。 36 | 37 | ## 宇宙是随机的吗？ 38 | 39 | 简单的答案是，从我们的角度来看，它的随机性正在迅速降低。我们始终能够以更高的准确性预测未来事件。此外，在给定交互作用的情况下预测结果可以使我们对未来有一定程度的控制权（因为我们可以选择可以预测所期望结果的交互作用）。这在农业，医疗保健，金融（大型），政治等各个领域的进步中都发挥着作用。但是，由于我们无法完全预测宇宙，因此它在某种程度上是随机（小写的“ r”）的。 40 | 41 | 宇宙是否为大写“ R”随机是完全不同的问题。但是，我们可以在这个问题上取得一些进展： 42 | 43 | **主张1：** 存在因果关系 44 | 45 | 简而言之，我们可以比随机精度更好地预测事物。因此，某些事物倾向于引起其他事物。我们甚至可以说，除非受到某些不可预测的随机性的影响，否则某些事情绝对会导致其他事情，但是我们甚至不需要这种大胆的主张。简而言之，大部分宇宙可能都是因果关系，因为我们可以比随机精度更好地预测事件。否则，将是极不可能的，这意味着整个历史上导致繁荣与生存的人类创新和智慧的全部只是巧合。有可能，但可能性很小。我们将继续接受因果关系存在于宇宙的观念。 46 | 47 | **声明2：** 宇宙并非*完全*随机。 48 | 49 | 对于宇宙中不是由随机而是由其引起的所有事物，其行为的随机性（小写）是随机或随机对象施加在其上的结果。因此，询问宇宙是否为随机是关于询问其内部是否存在随机对象。这并不是要问*每个*对象是否天生就是随机的，因为因果可以通过仅仅是随机的事物在整个宇宙中传递随机对象的不可预测的行为。 50 | 51 | **主张3：**因为我们可以观察因果关系，所以宇宙最多是随机和因果关系的混合物，并且至少完全由因果关系构成。 52 | 53 | 这使我们成为问题的根源。当我们反复问“是什么原因造成的？” 一遍又一遍，我们到哪里去？好吧，宇宙有四种可能的状态（有限/有限空间/时间） 54 | 55 | - **有限的时间+有限的空间** 如果时间有限，那将是一个开始。如果有一个开始，那么就有一堆随机性开始了宇宙。因此，宇宙中至少存在随机性（尽管不确定性是否仍然存在）。 56 | - **有限时间+无限空间**（见上文） 57 | - **无限时间+有限空间 ** 熵定律确定如果这是我们的宇宙，那么您将不会读这篇博客文章，因为宇宙中的所有能量在无数年前就已经消散到平衡状态。我想对此有相反的说法，但我个人并不认为它们特别有力。我们有大量的经验证据表明能量趋于消散（这可能比宇宙中的任何其他主张都要多的经验证据？）。 58 | - **无限时间+无限空间** 这种状态很有趣，因为从理论上讲，存在无限量的能量（在无限空间内），并且耗散的时间是无限的。因此，虽然我没有坚实的基础说这个宇宙不存在，但我认为我们可以为这个宇宙中的（大写R）随机性提供合理的理由。具体地说，由于在任何给定时间“ t”的宇宙状态本身都是无限的，因此事件的潜在原因是无限的。因此，每个事件都是随机的，因为任何事件都有无限数量的潜在原因。考虑到某些因果关系起着更主要的作用，它可能是非对称的，但是在极限情况下，每个事件都是随机的。 59 | 60 | **结论：** 在宇宙中，存在或具有大写R的随机性是存在的，因为宇宙的所有3种合理配置都需要无原因的事件，并且无因的事件无法预测，因此是随机的。 -------------------------------------------------------------------------------- /article/2019/10/帮助自动驾驶汽车转弯.md: -------------------------------------------------------------------------------- 1 | 原文链接： https://news.mit.edu/2019/helping-autonomous-vehicles-see-around-corners-1028 2 | 3 | 原文作者：Rob Matheson | 麻省理工学院新闻办公室 4 | 5 | 翻译者：Qiang He 6 | 7 | --- 8 | 9 | ​ 标题：**帮助自动驾驶汽车转弯** 10 | 11 | ​ 摘要： 通过检测阴影中的微小变化，新系统可以识别可能引起碰撞的接近物体 12 | ![帮助自动驾驶汽车转弯](img/car.jpg) 13 | 14 | 正文： 为了提高自主系统的安全性，麻省理工学院的工程师开发了一种系统，该系统可以感知地面阴影的微小变化，从而确定拐角处是否有移动物体 . 15 | 16 | 在某天自动驾驶汽车可以使用该系统来避免与另一辆汽车或行人从建筑物拐角处或停放的汽车之间出现的潜在碰撞 。将来，机器人可以在医院走廊上导航，以进行药物治疗或供应，可以使用这个系统来避免撞到人 17 | 18 | 在下周的国际智能机器人与系统会议（iros）上将发表的一篇论文中，研究人员描述了一辆自动驾驶汽车在停车场周围行驶和一个自动轮椅在走廊上导航的成功实验。当探测到接近的车辆并停车时，车载系统比传统的激光雷达（只能探测可见物体）快半秒以上。 19 | 20 | 研究人员说，这看起来似乎不多，但是在快速移动的自动驾驶汽车上却占了几分之一秒 21 | 22 | “对于机器人与其他移动物体或人一起在周围环境中移动的应用，我们的方法可以提前警告机器人有人在拐弯，这样车辆就可以减速，调整路径，并提前做好避免碰撞的准备，”计算机科学和人工智能实验室（CSAIL）和电子工程和计算机科学的安德鲁和埃娜·维特比教授。“最大的梦想是为在街上快速行驶的车辆提供各种各样的‘X光视觉’。” 23 | 24 | 当前，该系统仅在室内设置中进行了测试。在室内，机器人的速度要低得多，光照条件也更加一致，这使得系统更容易检测和分析阴影。 25 | 26 | 与Rus一起发表的论文有：第一作者Felix Naser SM '19，前CSAIL研究人员；CSAIL研究生Alexander Amini；CSAIL博士后Igor Gilitschenski；刚毕业的克里斯蒂娜·廖19岁；丰田研究院的Guy Rosman；麻省理工学院航空与航天专业副教授Sertac Karaman。 27 | 28 | **阴影摄影机的扩展** 29 | 30 | 对于他们的工作，研究人员建立在他们称为“ ShadowCam”的系统上，该系统使用计算机视觉技术来检测和分类地面阴影的变化。麻省理工学院的教授威廉·弗里曼（William Freeman）和安东尼奥·托拉尔巴（Antonio Torralba）并非IROS论文的合著者，他们合作开发了该系统的早期版本，该版本在2017年和2018年的会议上进行了介绍。 31 | 32 | 对于输入，ShadowCam使用来自摄像机的视频帧序列，这些摄像机针对特定区域，例如拐角处的地板。它可以检测不同图像之间光强度随时间的变化，这可能表明某些物体在移开或靠近。这些更改中的某些更改可能很难检测到，或者用肉眼看不见，并且可以由对象和环境的各种属性确定。ShadowCam计算该信息，并将每个图像分类为包含静止的对象或动态的运动对象。如果它变成动态图像，它会做出相应的反应。 33 | 34 | 使ShadowCam适应自动驾驶汽车需要进一步发展。例如，早期版本依赖于用称为“ AprilTags”的增强现实标签来衬砌区域，该标签类似于简化的QR码。机器人扫描AprilTags来检测和计算相对于标签的精确3D位置和方向。ShadowCam将标签用作环境的特征，以在可能包含阴影的特定像素补丁上归零。但是，使用AprilTags修改现实环境是不切实际的。 35 | 36 | 研究人员开发了一种结合了图像配准和新的视觉测距技术的新颖方法。图像配准通常在计算机视觉中使用，本质上会覆盖多个图像，以揭示图像中的变化。例如，医学图像配准与医学扫描重叠，以比较和分析解剖差异。 37 | 38 | 火星漫游者使用的视觉测距法通过分析图像序列中的姿势和几何形状来实时估算相机的运动。研究人员专门采用“直接稀疏测距法”（DSO），它可以在类似于AprilTags捕获的环境中计算特征点。本质上，DSO在3D点云上绘制环境的特征，然后计算机视觉管道仅选择位于感兴趣区域（例如拐角处的地板）的特征。 39 | 40 | 由于ShadowCam会获取感兴趣区域的输入图像序列，因此它使用DSO图像配准方法来覆盖机器人同一视点上的所有图像。即使机器人在移动，它也可以将阴影精确定位在相同的像素点上，以帮助检测图像之间的细微偏差。 41 | 42 | 接下来是信号放大，这是第一篇论文中介绍的技术。可能包含阴影的像素的颜色增强，从而降低了信噪比。这使得来自阴影变化的极其微弱的信号更容易被检测到。如果增强后的信号达到某个阈值（部分基于其与附近其他阴影的偏离程度），ShadowCam会将图像分类为“动态”。根据该信号的强度，系统可能会告诉机器人减速或停止。 43 | 44 | 纳瑟说：“检测到该信号时，您应该格外小心。这可能是某些人从拐角处跑来跑去的阴影或停着的汽车，因此自动驾驶汽车会减速或完全停止 45 | 46 | **无标签测试** 47 | 48 | 在一项测试中，研究人员使用AprilTags和新的基于DSO的方法评估了系统在对移动或静止物体进行分类方面的性能。当人类将拐角变成轮椅的路径时，自动轮椅转向各个走廊的拐角。两种方法均达到了70％的相同分类精度，这表明不再需要AprilTags。 49 | 50 | 在一项单独的测试中，研究人员在停车场的自动驾驶汽车中安装了ShadowCam，该汽车的前大灯被关闭，模仿了夜间驾驶条件。他们将汽车检测时间与LiDAR进行了比较。在一个示例场景中，ShadowCam检测到汽车绕柱转弯的速度比LiDAR快0.72秒。此外，由于研究人员已针对ShadowCam专门针对车库的照明条件进行了调整，因此该系统的分类精度约为86％。 51 | 52 | 接下来，研究人员正在进一步开发该系统，以在不同的室内和室外照明条件下工作。将来，可能还会有一些方法可以加快系统的阴影检测速度，并自动为阴影感应标注目标区域的过程。 53 | 54 | -------------------------------------------------------------------------------- /article/2019/10/机器学习中的单调性约束.md: -------------------------------------------------------------------------------- 1 | 原文： http://blog.datadive.net/monotonicity-constraints-in-machine-learning/ 2 | 3 | 作者：佚名 4 | 5 | 翻译：Zhuo YaZhao 6 | 7 | # 机器学习中的单调性约束 8 | 9 | 在实际的机器学习和数据科学任务中，通常使用ML模型来量化两个或多个值之间的全局语义上有意义的关系。例如，一家连锁酒店可能希望使用ML来优化其定价策略，并使用一种模型来估计以给定的价格和一周中的某天预订房间的可能性。对于这样的关系，假设在所有其他条件相同的情况下，用户更喜欢便宜的价格，因此在更低的价格下需求就更高。但是，很容易发生的是，在构建模型时，数据科学家发现该模型的行为异常：例如，该模型预测，在周二，客户宁愿为房间支付110美元，而不是100美元！ 10 | 11 | 通常，从业人员会忽略这种约束，尤其是在使用非线性模型（例如随机森林，梯度提升树或神经网络）时。虽然单调约束一直是学术研究的主题（请参阅有关基于树的方法的单调约束的调查论文），但图书馆缺乏支持，这使得从业人员很难解决该问题。 12 | 13 | 幸运的是，近年来，各种ML库在为模型设置单调性约束方面取得了很大进展，其中包括LightGBM和XGBoost这两个最流行的梯度提升树库。单调性约束也已内置到Tensorflow Lattice中，该库实现了一种用于创建插值查找表的新颖方法。 14 | 15 | ## LighGBM和XGBoost中的单调性约束 16 | 17 | 对于基于树的方法（决策树，随机森林，梯度提升树），可以在模型学习阶段通过不对会破坏单调性约束的单调特征创建拆分来强制单调性。 在下面的示例中，让我们在玩具数据集上使用LightGBM训练模型，在该数据集上我们知道X和Y之间的关系是单调的（但有噪声），并比较默认模型和单调模型。 18 | 19 | ```python 20 | import numpy as np 21 | size = 100 22 | x = np.linspace(0, 10, size) 23 | y = x**2 + 10 - (20 * np.random.random(size)) 24 | ``` 25 | 26 | ![img](img/data_plot.png) 27 | 28 | 让我们在此数据上拟合拟合梯度提升模型，将其设置min_child_samples为5。 29 | 30 | ```Python 31 | import lightgbm as lgb 32 | overfit_model = lgb.LGBMRegressor(silent=False, min_child_samples=5) 33 | overfit_model.fit(x.reshape(-1,1), y) 34 | 35 | #predicted output from the model from the same input 36 | prediction = overfit_model.predict(x.reshape(-1,1)) 37 | ``` 38 | 39 | 该模型将略微过拟合（由于较小min_child_samples），这可以通过将X的值与Y的预测值作图来看出：红线并不是我们想要的单调性。 40 | 41 | 由于我们知道X和Y之间的关系应该是单调的，因此可以在指定模型时设置此约束。 42 | 43 | ![img](img/model_fit.png) 44 | 45 | ```python 46 | monotone_model = lgb.LGBMRegressor(min_child_samples=5, 47 | monotone_constraints="1") 48 | monotone_model.fit(x.reshape(-1,1), y) 49 | ``` 50 | 51 | 参数monotone_constraints =“ 1”表示输出应单调递增wrt。第一个功能（在我们的情况下恰好是唯一的功能）。在训练了单调模型之后，我们可以看到该关系现在是严格单调的。 52 | 53 | ![img](img/monotone_model_fit.png) 54 | 55 | 而且，如果我们检查模型的性能，我们可以看到，不仅单调约束提供了更自然的拟合，而且模型的泛化也更好（如预期的那样）。通过测量新测试数据的均方误差，我们发现单调模型的误差较小。 56 | 57 | ```python 58 | from sklearn.metrics import mean_squared_error as mse 59 | size = 1000000 60 | x = np.linspace(0, 10, size) 61 | y = x**2 -10 + (20 * np.random.random(size)) 62 | 63 | print ("Default model mse", mse(y, overfit_model.predict(x.reshape(-1,1)))) 64 | print ("Monotone model mse", mse(y, monotone_model.predict(x.reshape(-1,1)))) 65 | 66 | Default model mse 37.61501106522855 67 | Monotone model mse 32.283051723268265 68 | ``` 69 | 70 | 其他强制单调性的方法 基于树的方法不是在数据中设置单调性约束的唯一选择。该领域的最新进展是Tensorflow Lattice，它实现了基于格的模型，该模型本质上是内插的查找表，可以近似化数据中的任意输入-输出关系，并且可以选择是单调的。Tensorflow Github中有一个详尽的教程。 71 | 72 | 如果已经给出曲线，则可以使用数据splinefun来将单调样条曲线拟合到数据上。 73 | -------------------------------------------------------------------------------- /article/2019/10/深层神经网络中的大规模自适应.md: -------------------------------------------------------------------------------- 1 | 原文：https://calculatedcontent.com/2019/04/01/sf-bay-acm-talk-heavy-tailed-self-regularization-in-deep-neural-networks/,[md](HEAVY-TAILED-SELF-REGULARIZATION-IN-DEEP-NEURAL-NETWORKS.md) 2 | 3 | 作者： [**Charles H Martin, PhD**](https://calculatedcontent.com/author/charlesmartin14/) 4 | 5 | 翻译：[muzhoubai](https://github.com/muzhoubai) 6 | 7 | # SF BAY ACM TALK：深层神经网络中的大规模自调整 8 | 9 | 我的协作者在当地的旧金山湾ACMMeetup上就我们的研究发表了出色的工作。 10 | 11 | Michael W. Mahoney加州大学伯克利分校 12 | 13 | 随机矩阵理论（RMT）用于分析深度神经网络（DNN）的权重矩阵，包括生产质量，预训练模型和从头开始训练的较小模型。实证和理论结果清楚地表明，DNN训练过程本身隐式地实现了一种自我调节的形式，隐式地雕刻了更加规范化的能量或惩罚态势。特别是，即使在没有外生指定显式正则化的传统形式的情况下，DNN层矩阵的经验谱密度（ESD）也会显示传统规则化统计模型的签名。基于RMT的相对较新的结果，最引人注目的是将其扩展到重尾矩阵的通用性类别，并将其应用于这些经验结果，我们开发了一种理论来确定5 + 1训练阶段，这对应于隐式自训练量的增加正则化。对于较小和/或较旧的DNN，这种隐式自正则化就像传统的Tikhonov正则化一样，因为似乎存在“大小尺度”，将信号与噪声分开。但是，对于最先进的DNN，我们确定了一种重尾自规则化的新形式，类似于无序系统的统计物理学中看到的自组织。这种隐式的自我调节可能在很大程度上取决于训练过程的许多过程。特别是，通过利用泛化差距现象，我们证明了可以通过更改批处理大小来使一个小模型展示训练的所有5 + 1阶段。这表明，在所有其他条件都相同的情况下，具有较大批处理量的DNN优化会导致隐式正则化模型的欠完善，并为泛化差距现象提供了解释。与Calculation Consulting，Inc.的Charles Martin共同合作。 14 | 15 | 简历：https://www.stat.berkeley.edu/~mmahoney/ 16 | 17 | Michael W. Mahoney在统计局的UCB和国际计算机科学研究所（ICSI）中。他从事现代大规模数据分析的算法和统计方面的工作。他最近的大部分研究都集中在大规模机器学习上，包括随机矩阵算法和随机数值线性代数，用于在大型信息图中提取结构的几何网络分析工具，可扩展的隐式正则化方法以及在遗传学，天文学，医学成像中的应用。 ，社交网络分析和互联网数据分析。他在耶鲁大学获得博士学位，主修计算统计力学。他曾在耶鲁大学数学系，雅虎研究部和斯坦福大学数学系任教。他是统计与应用数学科学研究所（SAMSI）的国家顾问委员会成员，还是国家研究委员会海量数据分析委员会成员。他联合组织了大数据分析理论基础的西蒙斯研究所（Simons Institute）2013年秋季计划，并主持了两年一次的MMDS现代海量数据集算法研讨会。他目前是UC Berkeley的NSF / TRIPODS资助的FODA（数据分析基金会）研究所的首席PI。他拥有在Yahoo Research和Vieu Labs，Inc.的首席数据科学家的多项专利，Vieu Labs，Inc.是一家为数十亿用户重新设计消费视频的初创公司。 18 | 19 | 有关更多信息，请访问https://www.stat.berkeley.edu/~mmahoney/ 20 | 21 | 论文的长版（作为演讲的基础）：https://arxiv.org/abs/1810.01075http://www.meetup.com/SF-Bay-ACM/http://www.sfbayacm.org / -------------------------------------------------------------------------------- /article/2019/10/用于语音自动识别的高效分布式深度学习系统.md: -------------------------------------------------------------------------------- 1 | 原文：https://www.ibm.com/blogs/research/2019/10/asr-deep-learning/ 2 | 3 | 作者：[Wei Zhang](https://www.ibm.com/blogs/research/author/weizhang/), [Xiaodong Cui](https://researcher.watson.ibm.com/researcher/view.php?person=us-cuix), and [Brian Kingsbury](https://researcher.watson.ibm.com/researcher/view.php?person=us-bedk) 4 | 5 | 翻译：[@Chen Quan](https://github.com/chenquan ) 6 | 7 | 8 | 9 | # 用于语音自动识别的高效分布式深度学习系统 10 | 11 | 由于使用了大量的训练数据，表达模型和强大的计算能力，基于深度学习的自动语音识别（ASR）最近取得了长足的进步。因此，有效的分布式学习策略对于训练具有深层架构的声学模型至关重要。 12 | 13 | 在我们今年的[ICASSP](https://venturebeat.com/2019/04/10/new-ibm-technique-cuts-ai-speech-recognition-training-time-from-a-week-to-11-hours/) [1]中发表的先前工作中，我们使用了分布式训练方法–异步分散并行随机梯度下降（ADPSGD）–成功地将32个LSTM深层声学模型的训练时间从一周缩短到了11.5小时，在32拥有2,000小时Switchboard语料库的识别精度不会降低的NVIDIA V100 GPU，这是语音社区中建立良好的数据集，用于对ASR性能进行基准测试。在今年的INTERSPEECH [2]中最近发表的[一篇论文](https://www.isca-speech.org/archive/Interspeech_2019/pdfs/2700.pdf)中，我们能够使用64个NVIDIA V100 GPU将ADPSGD的效率进一步提高，将训练时间从11.5小时减少到5.2小时。 14 | 15 | ![图1. ADPSGD以比同步集中式SGD大得多的批处理大小收敛。](img/ADPSGD_fig1.jpg) 16 | 17 | 图1. ADPSGD以比同步集中式SGD大得多的批处理大小收敛。 18 | 19 | 首先，大批量生产对于将分布式训练扩展到大量学习至关重要。我们观察到，与同步集中式并行SGD（SCPSGD）相比，ADPSGD可以允许批处理量大得多且损失收敛性好。图1显示，ADPSGD可以以多达12,288个样本的批次大小收敛，损失接近单GPU基线的损失。相反，SCPSGD最多只能聚合4,096个样本。大于4,096的批量可能会导致损失显着降低。 20 | 21 | 尽管仍在发展一种严格的理论来解释这种现象，但我们推测，由于SCPSGD是ADPSGD的特例，所以ADPSGD中仅相邻学习者之间的本地模型平均等同于SCPSGD中全局模型平均的噪声扰动。这种噪声干扰可能会提供在SCPPSD中无法使用ADPSGD中使用较大批次大小的机会。当向大量学习者扩展分布式培训时，此属性为ADPSGD提供了很大的优势。 22 | 23 | 其次，为了提高同一节点上的通信效率，同时还减少节点之间的主内存流量和CPU压力，我们设计了图2所示的分层ADPSGD体系结构（H-ADPSGD）。同一计算节点上的学习者使用基于同步环的全约简实现（Sync-Ring），通过NVIDIA NCCL构造超级学习者。然后，超级学习者在ADPSGD（ADPSGD-Ring）下形成另一个环。此外，由于GPU上的梯度计算与ADPSGD通信重叠，因此该设计还显着提高了分布式训练中的计算/通信比率。 24 | 25 | ![图2分层ADPSGD系统架构](img/Hierarchical-ADPSGD_fig2.jpg) 26 | 27 | 图2分层ADPSGD系统架构 28 | 29 | 使用提议的H-ADPSGD进行LSTM声学模型的分布式训练是在一个群集上进行的，该群集具有八个节点，这些节点通过100 Gbit/s以太网连接。每个节点具有八个NVIDIA V100 GPU。每个GPU上的批处理大小为128，这使全局批处理大小为8,192。该模型经过了16个时期的训练，对于总机任务而言，WER为7.6％，对于Callhome任务而言，为13.2％WER。 30 | 31 | 虽然在单个V100 GPU上训练模型大约需要一个星期，而在ICASSP论文中[1]在32个NVIDIA V100 GPU上使用ADPSGD训练模型需要11.5小时，但在64个NVIDIA V100 GPU上的H-ADPSGD下训练只花费了5.2小时。总体而言，H-ADPSGD可使速度提高40倍，而不会降低精度。这也标志着我们的ICASSP论文[1]减少了50％的训练时间。 32 | 33 | 据我们所知，这是首次证明异步分布式算法在大批量处理中具有比大规模深度学习模型的同步方法更好的伸缩性。到目前为止，5.2小时是最快的培训时间，可以达到2,000小时的Switchboard数据集达到此识别精度水平。 34 | 35 | 36 | 37 | [1] W. Zhang, X. Cui, U. Finkler, B. Kingsbury, G. Saon, D. Kung and M. Picheny, “Distributed Deep Learning Strategies For Automatic Speech Recognition,” ICASSP, Brighton, United Kingdom, May, 2019, pp. 5706-5710 (https://arxiv.org/abs/1904.04956) 38 | 39 | [2] W. Zhang, X. Cui, U. Finkler, G. Saon, A. Kayi, A. Buyuktosunoglu, B. Kingsbury, D. Kung and M. Picheny, “A Highly Efficient Distributed Deep Learning System For Automatic Speech Recognition,” INTERSPEECH, Graz, Austria, September, 2019, pp. 2628-2632 (https://arxiv.org/abs/1907.05701) 40 | -------------------------------------------------------------------------------- /article/2019/10/超级计算机分析整个互联网上的网络流量.md: -------------------------------------------------------------------------------- 1 | 原文链接: https://news.mit.edu/2019/supercomputer-analyzes-web-traffic-across-entire-internet-1028 2 | 3 | 原作者： Rob Matheson | 麻省理工学院新闻办公室 4 | 5 | 翻译整理者：Qiang He 6 | 7 | --- 8 | ![捕获特定日期的全球Web流量](img/model.jpg) 9 | 10 | ### 超级计算机分析整个互联网上的网络流量 11 | 12 | 摘要:对网络流量进行建模可以帮助网络安全，计算基础架构设计，Internet策略等。 13 | 14 | 时间: 2019年10月27日 15 | 16 | 内容：麻省理工学院的研究人员使用超级计算系统开发了一个模型，该模型可以捕获特定日期世界各地的网络流量，可以将其用作互联网研究和许多其他应用程序的度量工具。 17 | 18 | 研究人员说，如此大规模地了解网络流量模式，有助于了解互联网政策，识别和防止中断，防御网络攻击以及设计更高效的计算基础架构。在最近的IEEE高性能极限计算会议上发表了一篇描述该方法的论文。 19 | 20 | 对于他们的工作，研究人员收集了最大的可公开访问的互联网流量数据集，其中包括在过去几年内在全球不同地点交换的500亿个数据包。 21 | 22 | 他们通过一个新的“神经网络”管道运行数据，该管道在MIT SuperCloud的10,000个处理器上运行，该系统结合了MIT林肯实验室和研究所的计算资源。该管道自动训练了一个模型，该模型捕获了数据集中所有链接的关系-从常见的ping到Google和Facebook之类的巨头，再到罕见的仅短暂连接但似乎对网络流量有影响的链接。 23 | 24 | 该模型可以获取任何庞大的网络数据集，并生成一些有关网络中所有连接如何相互影响的统计度量。这可以用来揭示有关点对点文件共享、恶意IP地址和垃圾邮件行为、关键扇区中攻击的分布以及流量瓶颈的见解，以便更好地分配计算资源并保持数据流动。 25 | 26 | 从概念上讲，这项工作类似于测量宇宙微波背景，即围绕宇宙传播的几乎均匀的无线电波，这是研究外层空间现象的重要信息来源。麻省理工学院林肯实验室超级计算中心研究员、天文学家杰里米·凯普纳（Jeremy Kepner）说：“我们建立了一个精确的模型，用来测量互联网虚拟宇宙的背景。”如果要检测任何差异或异常，必须有一个良好的背景模型 27 | 28 | 与凯普纳一起发表论文的有：日本互联网倡议组织的赵健二郎，圣地亚哥加州大学应用互联网数据分析中心的kc克拉菲，林肯实验室超级计算中心的vijay gadepally和peter michaleas，麻省理工学院地球系的研究员lauren milechin，大气和行星科学。 29 | 30 | **分解数据** 31 | 32 | 在互联网研究中，专家研究网络流量异常，这些异常可能表示例如网络威胁。为此，它有助于首先了解正常流量的情况。但是捕获这些仍然具有挑战性。传统的“流量分析”模型只能分析受位置限制的来源与目的地之间交换的数据包的小样本。这降低了模型的准确性。 33 | 34 | 研究人员并没有特别想解决这个流量分析问题。但是他们一直在开发可以在MIT SuperCloud上使用的新技术，以处理大量的网络矩阵。互联网流量是完美的测试案例。 35 | 36 | 网络通常以图的形式进行研究，参与者以节点表示，链接表示节点之间的连接。随着互联网流量的增加，节点的大小和位置也有所不同。大型超级节是流行的枢纽，例如Google或Facebook。叶节点从该超级节点展开，并且彼此之间以及与该超级节点具有多个连接。隔离节点和链接位于超级节点和叶节点的“核心”之外，它们之间很少连接。 37 | 38 | 捕获这些图的全部范围对于传统模型是不可行的。Kepner说：“如果没有超级计算机的访问，就无法触摸这些数据。” 39 | 40 | 麻省理工学院的研究人员与由几所日本大学建立的广泛集成分布式环境（WIDE）项目以及位于加利福尼亚的应用互联网数据分析中心（CAIDA）合作，捕获了全球最大的互联网流量数据包捕获数据集。匿名数据集可追溯到2015年，在日本和美国的不同地点，随机日期内，消费者与各种应用和服务之间包含近500亿个唯一的来源和目标数据点。 41 | 42 | 在他们根据该数据训练任何模型之前，他们需要进行一些广泛的预处理。为此，他们利用了他们先前创建的称为动态分布式维度数据模式（D4M）的软件，该软件使用一些平均技术来有效地计算和分类“超稀疏数据”，该数据包含比数据点更多的空白空间。研究人员将数据分解为10,000个MIT SuperCloud处理器中约100,000个数据包的单位。这产生了源与目的地之间数十亿行和列的交互的更紧凑矩阵。 43 | 44 | **捕获异常值** 45 | 46 | 但是此稀疏数据集中的绝大多数单元仍然为空。为了处理矩阵，团队在相同的10,000个核上运行了神经网络。在幕后，反复试验技术开始将模型拟合到整个数据中，从而创建了潜在准确模型的概率分布。 47 | 48 | 然后，它使用改进的纠错技术进一步细化每个模型的参数，以捕获尽可能多的数据。传统上，机器学习中的纠错技术会试图降低任何外围数据的重要性，以使模型符合正态概率分布，从而使模型整体上更精确。但是研究人员使用了一些数学技巧来确保模型仍然看到所有外围数据（例如，隔离的链接）对整体测量而言都是重要的。 49 | 50 | 最后，神经网络本质上生成了一个仅包含两个参数的简单模型，该模型描述了互联网流量数据集，“从真正流行的节点到孤立的节点，以及介于两者之间的所有信息的完整频谱，” Kepner说。 51 | 52 | 现在，研究人员正在与科学界联系，以寻找该模型的下一个应用程序。例如，专家可以检查研究人员在实验中发现的孤立链接的重要性，这种链接很少，但似乎会影响核心节点中的网络流量。 53 | 54 | 除了互联网之外，神经网络管道还可用于分析任何超稀疏网络，例如生物和社会网络。开普纳说：“对于想要建立更强大的网络或检测网络异常的人们来说，我们现在为科学界提供了一个了不起的工具。” “这些异常可能只是用户行为的正常行为，也可能是人们在做您不想要的事情。” 55 | 56 | **主题**：研究 EAPS 林肯实验室 科学学院计算机科学与技术 57 | 58 | ​ 算法 人工智能 机器学习 数据 超级计算 Internet 网络安全 59 | 60 | ​ 61 | 62 | ​ 63 | -------------------------------------------------------------------------------- /article/2019/10/进取的机器人学习对象操纵的基础.md: -------------------------------------------------------------------------------- 1 | 原文链接： https://news.mit.edu/2019/pushy-robots-learn-fundamentals-object-manipulation-1022 2 | 3 | 原文作者： Rob Matheson 4 | 5 | 翻译人： HeQiang 6 | 7 | ------ 8 | 9 | ![编译新型Omnipush数据集的关键是构建模块化对象](img/MitNews.jpg) 10 | 11 | 编译新型Omnipush数据集的关键是构建模块化对象 12 | 13 | **进取的机器人学习对象操纵的基础** 14 | 15 | *摘要：系统从新颖的数据集中“学习”，该数据集捕获被推动对象的运动方式，以改善其与新对象的物理交互。* 16 | 17 | 18 | 19 | 20 | 麻省理工学院的研究人员已经汇编了一个数据集，该数据集捕获了物理上推动数百个不同对象的机器人系统的详细行为。研究人员可以使用数据集（同类中规模最大，种类最多的数据）训练机器人，以“学习”推动动力学，这对于许多复杂的对象操纵任务（包括重新定向和检查对象以及整齐的场景）都是至关重要的。 21 | 22 | 为了捕获数据，研究人员设计了一个自动化系统，该系统包括具有精确控制的工业机械手，3D运动跟踪系统，深度和传统相机以及将所有东西缝合在一起的软件。手臂推着模块化的物体，可以调整它们的重量，形状和质量分布。对于每次推动，系统都会捕获这些特征如何影响机器人的推动。 23 | 24 | 名为“ Omnipush”的数据集包含250个对象的250个不同的推送，总计大约62,500次唯一推送。例如，研究人员已经在使用它来构建模型，以帮助机器人预测物体在被推动时会降落在何处。 25 | 26 | 机械工程学系（MechE）的研究生，第一篇描述Omnipush的论文的作者Maria Bauza说：“我们需要大量丰富的数据来确保我们的机器人能够学习。”智能机器人和系统。“在这里，我们正在从真实的机器人系统中收集数据，并且[对象]足够多以捕获丰富的推动现象。这对于帮助机器人理解推动的工作方式以及将这些信息转换为现实世界中的其他类似对象非常重要。” 27 | 28 | 与Bauza一天撰写论文的论文包括：Ferran Alet和Lin Yen-Chen Lin，计算机科学与人工智能实验室和电气工程与计算机科学系（EECS）的研究生；工程学院卓越教学教授Tomas Lozano-Perez；Leslie P. Kaelbling，松下计算机科学与工程系教授；EECS助理教授Phillip Isola；以及MechE副教授Alberto Rodriguez。 29 | 30 | 31 | 32 | 多样化的数据 33 | 34 | 35 | 36 | 为什么要专注于推动行为？Rodriguez解释说，建模涉及物体和表面之间摩擦的推动动力学，对于更高级别的机器人任务至关重要。考虑一下通过视觉和技术会玩Jenga是一种令人印象深刻的机器人，这是Rodriguez最近合作设计的。“机器人正在执行一项复杂的任务，但是驱动该任务的机制的核心仍然是推动，例如块之间的摩擦会影响的物体的运动，” Rodriguez说。 37 | 38 | Omnipush建立在Rodriguez，Bauza和其他研究人员在操纵与机制实验室（MCube）中建立的类似数据集的基础上，该数据集仅捕获了10个对象上的推入数据。在2016年将数据集公开后，他们收集了研究人员的反馈。一种抱怨是缺乏对象多样性：在数据集上受过训练的机器人努力地将信息推广到新的对象上。也没有视频，这对于计算机视觉，视频预测和其他任务很重要。 39 | 40 | 对于他们的新数据集，研究人员利用工业机器人手臂精确控制推进器（基本上是垂直钢棒）的速度和位置。当手臂推动物体时，将在电影，虚拟现实和研究中使用的“ Vicon”运动跟踪系统跟随物体。还有一个RGB-D摄像机，可将深度信息添加到捕获的视频中。 41 | 42 | 关键是构建模块化对象。由铝制成的均匀的中央部件看起来像四角星，重约100克。每个中心部分的中心和点都包含标记，因此Vicon系统可以在1毫米内检测到其姿势。 43 | 44 | 可以将四个形状较小的零件（凹形，三角形，矩形和圆形）磁性连接到中央零件的任何一侧。每块重量在31到94克之间，但是额外的重量（从60到150克不等）可以掉入这些块的小孔中。所有类似拼图的物体在水平和垂直方向都对齐，这有助于模拟形状和质量分布相同的单个物体的摩擦。不同侧面，重量和质量分布的所有组合增加了250个唯一对象。 45 | 46 | 每次推动时，手臂会自动移动到距对象几厘米的随机位置。然后，它选择一个随机方向并将对象推一秒钟。从停止的地方开始，然后选择另一个随机方向，并重复该过程250次。每次推送都会记录对象和RGB-D视频的姿势，这些姿势可用于各种视频预测目的。每天花费12个小时来收集数据，耗时两个星期，总计超过150个小时。仅在手动重新配置对象时才需要人工干预。 47 | 48 | 这些对象并没有专门模仿任何现实生活中的物品。取而代之的是，它们旨在捕获现实世界对象预期的“运动学”和“质量不对称性”的多样性，从而模拟现实世界对象运动的物理过程。然后，机器人可以将质量分布不均匀的Omnipush对象的物理模型外推到重量分布不均相似的任何现实世界对象。 49 | 50 | 想象一下，推桌子时要用四只腿，其中最大的重量超过了一只腿。推桌子时，您会看到它在沉重的腿上旋转，必须重新调整。罗德里格斯说，了解质量分布及其对推动结果的影响是机器人可以从这组对象中学到的东西。 51 | 52 | 推动新研究 53 | 54 | 在一个实验中，研究人员使用Omnipush训练了一个模型，以预测被推物体的最终姿势，只给出推入的初始姿势和描述。他们在150个Omnipush物体上训练了模型，并在物体伸出的部分上对其进行了测试。结果表明，经Omnipush训练的模型的准确度是在一些相似数据集上训练的模型的两倍。在他们的论文中，研究人员还记录了其他研究人员可以用来比较的准确性基准。 55 | 56 | “机器人问，'如果我执行此操作，则对象将在此帧中的什么位置？' 然后，它选择使物体达到所需位置的可能性最大化的动作。” Bauza说。“它通过首先想象图像在按下后将如何变化来决定如何移动对象。” 57 | 58 | 卡内基梅隆大学计算机科学和机器人学教授Matthew T. Mason说：“ Omnipush包括对象运动的精确测量以及视觉数据，用于机器人与对象之间的重要相互作用。” “机器人研究人员可以使用这些数据来开发和测试新的机器人学习方法……这将推动机器人操纵技术的不断发展。” 59 | -------------------------------------------------------------------------------- /article/2019/10/通过匹配感知特征学习隐式生成模型.md: -------------------------------------------------------------------------------- 1 | 原文： https://www.ibm.com/blogs/research/2019/10/learning-implicit-generative-models/ 2 | 3 | 作者： [Inkit Padhi](https://www.ibm.com/blogs/research/author/inkit-padhi/) and [Youssef Mroueh](https://www.ibm.com/blogs/research/author/youssef-mroueh/) 4 | 5 | 翻译：[@Chen Quan](https://github.com/chenquan ) 6 | 7 | 8 | 9 | **通过匹配感知特征学习隐式生成模型** 10 | 11 | 计算机视觉社区在通过大型数据集上的预训练模型训练深度卷积神经网络（DCNN）方面取得了成功，从而在对象检测，样式转换，视频识别和超分辨率方面实现了最新的性能。这些功能被称为感知功能（PF），可用于通过微调或转移学习来解决其他问题。但是，存在一个子问题，这些PF的丰富程度未得到充分探讨：隐含的生成模型。 12 | 13 | 我们可以使用PF来学习隐式生成模型吗？我们在10月31日上午9:18在韩国首尔举行的[ICCV 2019上](http://iccv2019.thecvf.com/)以口头报告的形式介绍了“ [通过匹配感知特征学习隐式生成模型](https://arxiv.org/abs/1904.02762) ”这一问题，我们试图回答这个问题。（地点：口头3.1A ，D1厅）。该代码可在GitHub上找到：[https](https://github.com/IBM/gfmn)：[//github.com/IBM/gfmn](https://github.com/IBM/gfmn)。 14 | 15 | 16 | 17 | 特别是，我们提出了一种新的“矩匹配”方法，该方法通过匹配从预训练卷积神经网络提取的PF的统计信息来学习隐式生成模型。我们称此框架为生成特征匹配网络（GFMN），该框架通过匹配从预训练的DCNN的所有卷积层提取的均值和协方差统计信息来学习隐式生成模型。 18 | 19 | 基于最大平均差异（MMD）的方法通过将两个分布嵌入到无限维映射中来捕获它们之间的差异。定义内核（或相似性度量）以区分真实样本和机器生成的样本具有挑战性。现有解决方案之一涉及使用对抗训练来在线学习内核功能。但是，对抗训练涉及最小-最大优化训练，这可能导致不稳定。我们提出的方法通过以下方式克服了现有最小-最大策略的缺点： 20 | 21 | 1. 非对抗性：不应对最小-最大优化的挑战 22 | 2. 感知特征（PF）和固定特征匹配：不涉及内核功能的在线学习，而是利用感知特征的丰富性及其区分真实数据和机器生成数据的能力 23 | 3. 可扩展：涉及基于ADAM的移动平均线；容纳较小的批量 24 | 25 | **近距离观察** 26 | 27 | 28 | 29 | ![img](img/A-Closer-Look-Image-1024x111.png) 30 | 31 | E = Pre-trained Feature Extractor (PF) 32 | 33 | 𝓏**i**= Noise Signal 34 | 35 | μ jp-data = Features Mean of Real Data 36 | 37 | X̂i = Generated Image = G(zi,q) 38 | 39 | 40 | 41 | 为了训练GFMN，我们使用从正态分布采样的噪声矢量，并将其传递给神经网络生成器。我们获取这些生成图像的PF，并尝试将其统计信息（均值/方差）与实际训练数据统计信息进行匹配。由于GPU可扩展性问题，我们仅匹配对角协方差，而不是完全协方差。可以在训练开始之前预先计算训练数据的统计信息。 42 | 43 | **ADAM移动平均线** 44 | 45 | 为了更好地估计生成图像的统计量，我们需要一个大的小批量。有限的GPU功能很难做到这一点。为了解决这个问题，我们对真实图像和生成图像应用了统计之间差异的移动平均值（MA）。 46 | 47 | ![img](img/ADAM-Moving-Average-Image-1-300x28.png) 48 | 49 | Vj =第j层统计差异的移动平均值 50 | 51 | 在训练期间，我们还可以借助ADAM优化器优化MAs损失值来估计更好的MA。 52 | 53 | ![img](img/ADAM-Moving-Average-Image-2-300x19.png) 54 | 55 | 56 | 57 | **特征提取器的类型** 58 | 59 | 为了研究PF的丰富度对学习隐式生成模型的影响，我们主要尝试了两个特征提取器： 60 | 61 | 1. 来自自动编码器的PF：在这里，我们训练一个自动编码器，其中解码器具有与生成器相似的签名（DCGAN）。经过训练后，我们将编码器用作特征提取器。 62 | 63 | i）编码器：DCGAN鉴别器/ VGG19 64 | 65 | ii）解码器：DCGAN / ResNet 66 | 67 | 2. 分类器中的PF：我们使用各种DCNN模型（VGG19-Resnet18）在大型数据集上进行有监督的预训练，并将其用作特征提取器。由于任务的性质，这些特征似乎比自动编码器提取的特征更丰富的信息。 68 | 69 | **实验** 70 | 71 | 我们在CIFAR10数据集上使用预先训练的自动编码器或跨域分类器作为特征提取器对GFMN-进行了基准测试。根据两个指标评估生成的图像：初始分数IS（越高越好）和Fchetchet初始距离FID（越低越好）。当我们使用预训练的VGG19和Resnet18中的PF以及类似于Resnet的Generator架构时，我们将获得最佳性能。 72 | 73 | ![生成模型](img/Experiments-Graph-1-1024x199.png) 74 | 75 | 此外，我们还在CIFAR10和STL10上针对各种现有的对抗和非对抗生成模型对GFMN进行了基准测试。GFMN与大多数方法（包括最新的频谱GAN（SN-GAN））相比具有可比性或更好。 76 | 77 | ![生成模型](img/Experiments-Graph-2-1024x494.png) -------------------------------------------------------------------------------- /article/2019/11/GNES-通用神经弹性搜索.md: -------------------------------------------------------------------------------- 1 | *作者：[Quan Chen](https://github.com/chenquan)* 2 | 3 | 4 | 5 | # GNES-通用神经弹性搜索 6 | 7 | 8 | 9 | 还在为生产环境部署神经网络模型感觉到麻烦吗？`GNES`可以帮你解决高效,快速帮你实现一个可扩展,微服务化的云端部署方案. 10 | 11 | 12 | 13 | ![GNES通用神经弹性搜索，韩晓制作的徽标](img/gnes-github-banner.png) 14 | 15 | > GNES [ *jee-nes* ]是基于深度神经网络的云原生语义搜索系统。它允许对文本到文本，图像到图像，视频到视频以及任何内容形式进行大规模索引和语义搜索。 16 | 17 | 18 | 19 | GNES可以对**文本到文本**，**图像到图像**，**视频到视频**以及*任何对任何*内容形式进行大规模索引和语义搜索。 20 | 21 | | ☁️云原生和弹性 | 🐣易于使用 | 🔬最先进的 | 22 | | ------------------------------------------------------------ | ------------------------------------------------------------ | ------------------------------------------------------------ | 23 | | GNES是*全微服务*！编码器，索引器，预处理器和路由器都在各自的容器中运行。它们通过版本化的API进行通信，并在Docker Swarm / Kubernetes等的编排下进行协作。扩展，负载平衡，自动恢复，它们在GNES中已上市。 | 部署仅切换VGG中的一层的更改需要多长时间？在GNES中，这只是YAML文件中的一行更改。我们将编码和索引逻辑抽象为YAML配置，这样您就可以更改或堆叠编码器和索引器，甚至无需接触代码库。 | 利用快速发展的AI / ML / NLP / CV社区，我们可以从同类最佳的深度学习模型中学习，并将它们插入GNES，以确保您始终享受最先进的性能。 | 24 | | 🌌通用和通用 | 📦建模为插件 | 💯最佳实践 | 25 | | 搜索文字，图像甚至是短片？使用Python / C / Java / Go / HTTP作为客户端？不管您使用哪种内容形式或使用哪种语言，GNES都可以处理所有内容。 | 如果内置模型不满足您的要求，只需使用[GNES Hub](https://github.com/gnes-ai/hub)构建您自己的[模型](https://github.com/gnes-ai/hub)。将模型打包为Docker容器并将其用作插件。 | 我们乐于向社区学习最佳实践，从而帮助我们的GNES达到更高的可用性，弹性，性能和耐用性水平。如果您有任何想法或建议，请随时贡献。 | 26 | 27 | 28 | 29 | ## 总览 30 | 31 | ![gnes-component-overview](img/gnes-component-overview.svg) 32 | 33 | ## 安装GNES 34 | 35 | 有两种获取GNES的方法，既可以作为Docker映像，也可以作为PyPi包。**对于云服务用户，我们强烈建议通过Docker使用GNES**。 36 | 37 | ### 将GNES作为Docker容器运行 38 | 39 | ```shell 40 | docker run gnes/gnes:latest-alpine 41 | ``` 42 | 43 | 44 | 45 | ### 通过`pip`安装GNES 46 | 47 | You can also install GNES as a *Python3* package via: 48 | 49 | ```shell 50 | pip install gnes 51 | ``` 52 | 53 | ![成功安装GNES](img/install-success.svg) -------------------------------------------------------------------------------- /article/2019/11/Python2与Python3常用语法区别.md: -------------------------------------------------------------------------------- 1 | 2 | # Python2与Python3常用语法区别 3 | ## print函数 4 | Python 2中print是语句（statement），Python 3中print则变成了函数。在Python 3中调用print需要加上括号， 5 | 不加括号会报SyntaxError。Python 2.6与Python 2.7部分地支持这种形式的print语法。在Python 2.6与Python 6 | 2.7里面，以下三种形式是等价的： 7 | 8 | print "123" 9 | print ("123") #注意print后面有个空格 10 | print("123") #print()不能带有任何其它参数 11 | # 然而，Python 2.6实际已经支持新的print()语法： 12 | from __future__ import print_function 13 | print("123", "456", sep=', ') 14 | 15 | ## Unicode 16 | Python 2有两种字符串类型：str和unicode，Python 3中的字符串默认就是Unicode，Python 3中的str相当于Python 2 17 | 中的unicode。在Python 2中，如果代码中包含非英文字符，需要在代码文件的最开始声明编码，如下： 18 | 19 | # -*- coding: utf-8 -*- 20 | 由于 Python3.X 源码文件默认使用utf-8编码，这就使得以下代码是合法的： 21 | 22 | >>> 你好 = 'hello' 23 | >>>print(你好) 24 | hello 25 | Python 2.x： 26 | 27 | >>> str = "我爱北京天安门" 28 | >>> str 29 | '\xe6\x88\x91\xe7\x88\xb1\xe5\x8c\x97\xe4\xba\xac\xe5\xa4\xa9\xe5\xae\x89\xe9\x97\xa8' 30 | >>> str = u"我爱北京天安门" 31 | >>> str 32 | u'\u6211\u7231\u5317\u4eac\u5929\u5b89\u95e8' 33 | 34 | Python 3.x： 35 | 36 | >>> str = "我爱北京天安门" 37 | >>> str 38 | '我爱北京天安门' 39 | ## 除法运算 40 | Python中的除法较其它语言显得非常高端，有套很复杂的规则。Python中的除法有两个运算符，/和//。 41 | 42 | 首先来说/除法:在python 2.x中/除法就跟我们熟悉的大多数语言，比如Java啊C啊差不多，整数相除的结果是一个整数， 43 | 把小数部分完全忽略掉，浮点数除法会保留小数点的部分得到一个浮点数的结果。在python 3.x中/除法不再这么做了， 44 | 对于整数之间的相除，结果也会是浮点数。 45 | Python 2.x： 46 | 47 | >>> 1 / 2 48 | >>> 1.0 / 2.0 49 | 50 | Python 3.x： 51 | 52 | >>> 1/2 53 | 54 | 而对于//除法，这种除法叫做floor除法，会对除法的结果自动进行一个floor操作，在python 2.x和python 3.x 55 | 中是一致的。 56 | Python 2.x/Python 3.x相同： 57 | 58 | >>> -1 // 2 59 | -1 60 | ## 异常处理 61 | 在 Python 3 中处理异常也轻微的改变了，在 Python 3 中我们现在使用 as 作为关键词。捕获异常的语法由 except exc, var 改为 except exc as var。使用语法except (exc1, exc2) as var可以同时捕获多种类别的异常。 62 | 63 | Python 2.x： 64 | 65 | try: 66 | 1/0 67 | except ZeroDivisionError, e: 68 | print str(e) 69 | Python 3.x(此种方式python 2.x也可用，python 3.x必须带as)： 70 | 71 | try: 72 | 1/0 73 | except ZeroDivisionError as e: 74 | print str(e) 75 | ## xrange 76 | 在 Python 2 中 xrange() 创建迭代对象的用法是非常流行的。比如： for 循环或者是列表/集合/字典推导式。 77 | 这个表现十分像生成器（比如。"惰性求值"）。但是这个 xrange-iterable 是无穷的，意味着你可以无限遍历。 78 | 由于它的惰性求值，如果你不得仅仅不遍历它一次，xrange() 函数 比 range() 更快（比如 for 循环）。 79 | 尽管如此，对比迭代一次，不建议你重复迭代多次，因为生成器每次都从头开始。在 Python 3 中，range() 80 | 是像 xrange() 那样实现以至于一个专门的 xrange() 函数都不再存在（在 Python 3 中 xrange() 81 | 会抛出命名异常）。简单来说就是：Python 2中有 range 和 xrange 两个方法。其区别在于，range返回一个list， 82 | 在被调用的时候即返回整个序列；xrange返回一个iterator，在每次循环中生成序列的下一个数字。 83 | Python 3中不再支持 xrange 方法，Python 3中的 range 方法就相当于 Python 2中的 xrange 方法。 84 | ## map、filter 和 reduce 85 | 这三个函数号称是函数式编程的代表。在 Python3.x 和 Python2.x 中也有了很大的差异。首先我们先简单的在 86 | Python2.x 的交互下输入 map 和 filter,看到它们两者的类型是 built-in function(内置函数)： 87 | 88 | >>> map 89 | 90 | >>> filter 91 | 92 | >>> 93 | 94 | 但是在Python 3.x中它们却不是这个样子了： 95 | 96 | >>> map 97 | 98 | >>> map(print,[1,2,3]) 99 | 100 | >>> filter 101 | 102 | >>> filter(lambda x:x % 2 == 0, range(10)) 103 | 104 | >>> 105 | 首先它们从函数变成了类，其次，它们的返回结果也从当初的列表成了一个可迭代的对象, 我们尝试用 next 函数来进行手工迭代， 106 | 对于比较高端的 reduce 函数，它在 Python 3.x 中已经不属于 built-in 了，被挪到 functools 模块当中。 107 | ## raw_input()和input() 108 | 在python2.x中raw_input()和input( )，两个函数都存在，其中区别为： 109 | 110 | raw_input()---将所有输入作为字符串看待，返回字符串类型 111 | 112 | input()---只能接收"数字"的输入，在对待纯数字输入时具有自己的特性，它返回所输入的数字的类型（int, float ） 113 | 114 | 在python3.x中raw_input()和input( )进行了整合，去除了raw_input()，仅保留了input()函数， 115 | 其接收任意任性输入，将所有输入默认为字符串处理，并返回字符串类型。 116 | ## 数据类型 117 | Python3.x去除了long类型，现在只有一种整型——int，但它的行为就像Python2.x版本的long 118 | 119 | 新增了bytes类型，对应于2.X版本的八位串，定义一个bytes字面量的方法如下 120 | 121 | >>> b = b'china' 122 | >>> type(b) 123 | 124 | str对象和bytes对象可以使用.encode() (str -> bytes) or .decode() (bytes -> str)方法相互转化。 125 | >>> s = b.decode() 126 | >>> s 127 | 'china' 128 | >>> b1 = s.encode() 129 | >>> b1 130 | b'china' 131 | 132 | dict的.keys()、.items 和.values()方法返回迭代器，而之前的iterkeys()等函数都被废弃。 133 | 同时去掉的还有 dict.has_key()，用 in替代它吧 。 134 | 135 | 原文链接：https://www.jb51.net/article/159848.htm -------------------------------------------------------------------------------- /article/2019/11/img/0-excel-to-pandas.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/0-excel-to-pandas.png -------------------------------------------------------------------------------- /article/2019/11/img/1226410-20190424112057869-1957699378.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/1226410-20190424112057869-1957699378.png -------------------------------------------------------------------------------- /article/2019/11/img/1226410-20190424112328960-676305797.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/1226410-20190424112328960-676305797.png -------------------------------------------------------------------------------- /article/2019/11/img/1226410-20190511150522593-1814637877.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/1226410-20190511150522593-1814637877.png -------------------------------------------------------------------------------- /article/2019/11/img/20171210213743273.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/20171210213743273.png -------------------------------------------------------------------------------- /article/2019/11/img/20180623230012367.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/20180623230012367.png -------------------------------------------------------------------------------- /article/2019/11/img/20180623232124252.jfif: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/20180623232124252.jfif -------------------------------------------------------------------------------- /article/2019/11/img/20180623232335403.jfif: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/20180623232335403.jfif -------------------------------------------------------------------------------- /article/2019/11/img/2734e2893572476cae59e9d3db8dc900.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/2734e2893572476cae59e9d3db8dc900.png -------------------------------------------------------------------------------- /article/2019/11/img/4B707DCD.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/4B707DCD.png -------------------------------------------------------------------------------- /article/2019/11/img/Fake_model_550px_web.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/Fake_model_550px_web.jpg -------------------------------------------------------------------------------- /article/2019/11/img/audience_reactions_700px_web.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/audience_reactions_700px_web.jpg -------------------------------------------------------------------------------- /article/2019/11/img/b77c02d5843c261d7a10682e2599bb0a.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/b77c02d5843c261d7a10682e2599bb0a.jpg -------------------------------------------------------------------------------- /article/2019/11/img/belkinfig-970x289.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/belkinfig-970x289.jpg -------------------------------------------------------------------------------- /article/2019/11/img/brand_detection_700px_web.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/brand_detection_700px_web.jpg -------------------------------------------------------------------------------- /article/2019/11/img/cover2_pinterest_1600px_web-1280x640.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/cover2_pinterest_1600px_web-1280x640.jpg -------------------------------------------------------------------------------- /article/2019/11/img/create-numpy-array-1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/create-numpy-array-1.png -------------------------------------------------------------------------------- /article/2019/11/img/create-numpy-array-ones-zeros-random.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/create-numpy-array-ones-zeros-random.png -------------------------------------------------------------------------------- /article/2019/11/img/decoder-only-summarization-1573661034412.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/decoder-only-summarization-1573661034412.png -------------------------------------------------------------------------------- /article/2019/11/img/decoder-only-summarization.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/decoder-only-summarization.png -------------------------------------------------------------------------------- /article/2019/11/img/decoder-only-transformer-translation-1573661249490.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/decoder-only-transformer-translation-1573661249490.png -------------------------------------------------------------------------------- /article/2019/11/img/decoder-only-transformer-translation.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/decoder-only-transformer-translation.png -------------------------------------------------------------------------------- /article/2019/11/img/doppleganger.gif: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/doppleganger.gif -------------------------------------------------------------------------------- /article/2019/11/img/f7d306fd629084856edaca6a409d37f3.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/f7d306fd629084856edaca6a409d37f3.png -------------------------------------------------------------------------------- /article/2019/11/img/gnes-github-banner.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gnes-github-banner.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt-2-autoregression-2-1573614820331.gif: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt-2-autoregression-2-1573614820331.gif -------------------------------------------------------------------------------- /article/2019/11/img/gpt-2-autoregression-2.gif: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt-2-autoregression-2.gif -------------------------------------------------------------------------------- /article/2019/11/img/gpt-2-layers-2-1573616688919.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt-2-layers-2-1573616688919.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt-2-layers-2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt-2-layers-2.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt-2-output-1573614734927.gif: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt-2-output-1573614734927.gif -------------------------------------------------------------------------------- /article/2019/11/img/gpt-2-output-1573614753684.gif: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt-2-output-1573614753684.gif -------------------------------------------------------------------------------- /article/2019/11/img/gpt-2-output.gif: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt-2-output.gif -------------------------------------------------------------------------------- /article/2019/11/img/gpt-2-simple-output-3-1573662677002.gif: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt-2-simple-output-3-1573662677002.gif -------------------------------------------------------------------------------- /article/2019/11/img/gpt-2-simple-output-3.gif: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt-2-simple-output-3.gif -------------------------------------------------------------------------------- /article/2019/11/img/gpt-2-transformer-xl-bert-3.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt-2-transformer-xl-bert-3.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-117-parameters-1573661414425.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-117-parameters-1573661414425.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-117-parameters.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-117-parameters.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-input-embedding-positional-encoding-3-1573649430303.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-input-embedding-positional-encoding-3-1573649430303.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-input-embedding-positional-encoding-3.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-input-embedding-positional-encoding-3.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-mlp-2-1573661552449.gif: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-mlp-2-1573661552449.gif -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-mlp-2-1573661636144.gif: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-mlp-2-1573661636144.gif -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-mlp-2-1573661670244.gif: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-mlp-2-1573661670244.gif -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-mlp-2-1573661925119.gif: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-mlp-2-1573661925119.gif -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-mlp-2.gif: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-mlp-2.gif -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-mlp1-1573661731593.gif: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-mlp1-1573661731593.gif -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-mlp1-1573661874676.gif: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-mlp1-1573661874676.gif -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-mlp1.gif: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-mlp1.gif -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-output-1573662239184.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-output-1573662239184.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-output-1573662280227.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-output-1573662280227.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-output-projection-2-1573662325166.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-output-projection-2-1573662325166.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-output-projection-2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-output-projection-2.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-output-scores-2-1573662300962.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-output-scores-2-1573662300962.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-output-scores-2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-output-scores-2.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-output.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-output.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-positional-encoding-1573649438713.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-positional-encoding-1573649438713.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-positional-encoding.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-positional-encoding.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-self-attention-1-1573656789251.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-self-attention-1-1573656789251.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-self-attention-1-2-1573662214914.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-self-attention-1-2-1573662214914.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-self-attention-1-2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-self-attention-1-2.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-self-attention-1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-self-attention-1.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-self-attention-2-1573657043543.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-self-attention-2-1573657043543.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-self-attention-2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-self-attention-2.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-self-attention-3-1573657532435.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-self-attention-3-1573657532435.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-self-attention-3-1573658225113.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-self-attention-3-1573658225113.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-self-attention-3-1573658261905.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-self-attention-3-1573658261905.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-self-attention-3-1573658297097.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-self-attention-3-1573658297097.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-self-attention-3.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-self-attention-3.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-self-attention-example-2-1573652159846.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-self-attention-example-2-1573652159846.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-self-attention-example-2-1573652553238.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-self-attention-example-2-1573652553238.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-self-attention-example-2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-self-attention-example-2.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-self-attention-merge-heads-1-1573658535624.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-self-attention-merge-heads-1-1573658535624.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-self-attention-merge-heads-1-1573658719668.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-self-attention-merge-heads-1-1573658719668.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-self-attention-merge-heads-1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-self-attention-merge-heads-1.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-self-attention-multihead-sum-1-1573658503489.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-self-attention-multihead-sum-1-1573658503489.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-self-attention-multihead-sum-1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-self-attention-multihead-sum-1.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-self-attention-project-1-1573660044356.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-self-attention-project-1-1573660044356.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-self-attention-project-1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-self-attention-project-1.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-self-attention-project-2-1573660075192.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-self-attention-project-2-1573660075192.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-self-attention-project-2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-self-attention-project-2.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-self-attention-qkv-1-2-1573656438553.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-self-attention-qkv-1-2-1573656438553.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-self-attention-qkv-1-2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-self-attention-qkv-1-2.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-self-attention-qkv-2-2-1573656713131.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-self-attention-qkv-2-2-1573656713131.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-self-attention-qkv-2-2-1573656747109.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-self-attention-qkv-2-2-1573656747109.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-self-attention-qkv-2-2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-self-attention-qkv-2-2.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-self-attention-qkv-3-2-1573656765617.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-self-attention-qkv-3-2-1573656765617.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-self-attention-qkv-3-2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-self-attention-qkv-3-2.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-self-attention-scoring-1573658373374.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-self-attention-scoring-1573658373374.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-self-attention-scoring-1573658428819.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-self-attention-scoring-1573658428819.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-self-attention-scoring-2-1573658450917.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-self-attention-scoring-2-1573658450917.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-self-attention-scoring-2-1573658488429.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-self-attention-scoring-2-1573658488429.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-self-attention-scoring-2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-self-attention-scoring-2.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-self-attention-scoring.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-self-attention-scoring.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-self-attention-split-attention-heads-1-1573658329461.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-self-attention-split-attention-heads-1-1573658329461.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-self-attention-split-attention-heads-1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-self-attention-split-attention-heads-1.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-self-attention-split-attention-heads-2-1573658346319.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-self-attention-split-attention-heads-2-1573658346319.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-self-attention-split-attention-heads-2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-self-attention-split-attention-heads-2.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-simple-output-2-1573613413126.gif: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-simple-output-2-1573613413126.gif -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-simple-output-2-1573616708219.gif: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-simple-output-2-1573616708219.gif -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-simple-output-2-1573616777308.gif: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-simple-output-2-1573616777308.gif -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-simple-output-2.gif: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-simple-output-2.gif -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-sizes-1573700354115.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-sizes-1573700354115.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-sizes-1573700411252.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-sizes-1573700411252.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-sizes-hyperparameters-3.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-sizes-hyperparameters-3.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-sizes.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-sizes.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-token-embeddings-wte-2-1573662512012.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-token-embeddings-wte-2-1573662512012.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-token-embeddings-wte-2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-token-embeddings-wte-2.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-transformer-block-vectors-2-1573662492147.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-transformer-block-vectors-2-1573662492147.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-transformer-block-vectors-2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-transformer-block-vectors-2.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-transformer-block-weights-2-1573661460625.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-transformer-block-weights-2-1573661460625.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-transformer-block-weights-2-1573661506616.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-transformer-block-weights-2-1573661506616.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-transformer-block-weights-2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-transformer-block-weights-2.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-value-vector-sum-1573662362342.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-value-vector-sum-1573662362342.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-value-vector-sum.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-value-vector-sum.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-weights-2-1573661444779.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-weights-2-1573661444779.png -------------------------------------------------------------------------------- /article/2019/11/img/gpt2-weights-2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/gpt2-weights-2.png -------------------------------------------------------------------------------- /article/2019/11/img/image-20191125155814591.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/image-20191125155814591.png -------------------------------------------------------------------------------- /article/2019/11/img/image-20191127171416162.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/image-20191127171416162.png -------------------------------------------------------------------------------- /article/2019/11/img/image-20191127171651441.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/image-20191127171651441.png -------------------------------------------------------------------------------- /article/2019/11/img/masked-self-attention-2-1573655861100.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/masked-self-attention-2-1573655861100.png -------------------------------------------------------------------------------- /article/2019/11/img/masked-self-attention-2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/masked-self-attention-2.png -------------------------------------------------------------------------------- /article/2019/11/img/mean-square-error-formula-1573800458467.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/mean-square-error-formula-1573800458467.png -------------------------------------------------------------------------------- /article/2019/11/img/mean-square-error-formula.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/mean-square-error-formula.png -------------------------------------------------------------------------------- /article/2019/11/img/music-representation-example-1573661006566.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/music-representation-example-1573661006566.png -------------------------------------------------------------------------------- /article/2019/11/img/music-representation-example.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/music-representation-example.png -------------------------------------------------------------------------------- /article/2019/11/img/music-transformer-input-representation-2-1573660989349.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/music-transformer-input-representation-2-1573660989349.png -------------------------------------------------------------------------------- /article/2019/11/img/music-transformer-input-representation-2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/music-transformer-input-representation-2.png -------------------------------------------------------------------------------- /article/2019/11/img/music-transformer-performance-encoding-3-1573661016158.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/music-transformer-performance-encoding-3-1573661016158.png -------------------------------------------------------------------------------- /article/2019/11/img/music-transformer-performance-encoding-3.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/music-transformer-performance-encoding-3.png -------------------------------------------------------------------------------- /article/2019/11/img/music-transformer-self-attention-2-1573660952614.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/music-transformer-self-attention-2-1573660952614.png -------------------------------------------------------------------------------- /article/2019/11/img/music-transformer-self-attention-2-1573661294567.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/music-transformer-self-attention-2-1573661294567.png -------------------------------------------------------------------------------- /article/2019/11/img/music-transformer-self-attention-2-1573661371416.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/music-transformer-self-attention-2-1573661371416.png -------------------------------------------------------------------------------- /article/2019/11/img/music-transformer-self-attention-2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/music-transformer-self-attention-2.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-3d-array-1573800537348.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-3d-array-1573800537348.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-3d-array-creation-1573800540754.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-3d-array-creation-1573800540754.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-3d-array-creation.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-3d-array-creation.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-3d-array.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-3d-array.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-array-aggregation.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-array-aggregation.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-array-broadcast.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-array-broadcast.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-array-create-2d.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-array-create-2d.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-array-slice.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-array-slice.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-array-subtract-multiply-divide.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-array-subtract-multiply-divide.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-array.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-array.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-arrays-adding-1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-arrays-adding-1.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-arrays-example-1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-arrays-example-1.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-audio-1573800670895.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-audio-1573800670895.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-audio.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-audio.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-color-image-1573800704935.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-color-image-1573800704935.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-color-image.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-color-image.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-grayscale-image-1573800688152.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-grayscale-image-1573800688152.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-grayscale-image.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-grayscale-image.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-matrix-aggregation-1-1573800487551.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-matrix-aggregation-1-1573800487551.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-matrix-aggregation-1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-matrix-aggregation-1.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-matrix-aggregation-4-1573800492000.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-matrix-aggregation-4-1573800492000.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-matrix-aggregation-4.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-matrix-aggregation-4.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-matrix-arithmetic-1573800203004.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-matrix-arithmetic-1573800203004.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-matrix-arithmetic.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-matrix-arithmetic.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-matrix-broadcast-1573800206678.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-matrix-broadcast-1573800206678.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-matrix-broadcast.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-matrix-broadcast.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-matrix-dot-product-1-1573800211687.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-matrix-dot-product-1-1573800211687.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-matrix-dot-product-1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-matrix-dot-product-1.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-matrix-dot-product-2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-matrix-dot-product-2.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-matrix-indexing-1573800480044.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-matrix-indexing-1573800480044.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-matrix-indexing.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-matrix-indexing.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-matrix-ones-zeros-random.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-matrix-ones-zeros-random.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-mean-square-error-formula-1573800446345.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-mean-square-error-formula-1573800446345.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-mean-square-error-formula.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-mean-square-error-formula.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-mse-1-1573800551744.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-mse-1-1573800551744.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-mse-1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-mse-1.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-mse-2-1573800572338.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-mse-2-1573800572338.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-mse-2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-mse-2.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-mse-3-1573800586645.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-mse-3-1573800586645.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-mse-3.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-mse-3.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-mse-4-1573800593852.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-mse-4-1573800593852.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-mse-4.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-mse-4.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-nlp-bert-shape.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-nlp-bert-shape.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-nlp-embeddings-1573800875535.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-nlp-embeddings-1573800875535.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-nlp-embeddings.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-nlp-embeddings.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-nlp-ids-1573800870486.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-nlp-ids-1573800870486.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-nlp-ids.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-nlp-ids.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-nlp-tokenization-1573800866617.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-nlp-tokenization-1573800866617.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-nlp-tokenization.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-nlp-tokenization.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-nlp-vocabulary-1573800744026.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-nlp-vocabulary-1573800744026.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-nlp-vocabulary.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-nlp-vocabulary.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-reshape-1573800508626.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-reshape-1573800508626.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-reshape.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-reshape.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-transpose-1573800499141.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-transpose-1573800499141.png -------------------------------------------------------------------------------- /article/2019/11/img/numpy-transpose.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/numpy-transpose.png -------------------------------------------------------------------------------- /article/2019/11/img/o4YBAFsg6cCAZqUqAABNVicChyQ409.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/o4YBAFsg6cCAZqUqAABNVicChyQ409.png -------------------------------------------------------------------------------- /article/2019/11/img/o4YBAFsg6cCAamUoAABiVtkUmuI329.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/o4YBAFsg6cCAamUoAABiVtkUmuI329.png -------------------------------------------------------------------------------- /article/2019/11/img/o4YBAFsg6cGACZX4AABpMgc-f0w840.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/o4YBAFsg6cGACZX4AABpMgc-f0w840.png -------------------------------------------------------------------------------- /article/2019/11/img/o4YBAFsg6cGAe8-pAABO9TQE5MY891.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/o4YBAFsg6cGAe8-pAABO9TQE5MY891.png -------------------------------------------------------------------------------- /article/2019/11/img/o4YBAFsg6cKAOhc7AACOBun76Cc412.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/o4YBAFsg6cKAOhc7AACOBun76Cc412.png -------------------------------------------------------------------------------- /article/2019/11/img/openAI-GPT-2-3.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/openAI-GPT-2-3.png -------------------------------------------------------------------------------- /article/2019/11/img/pasted-image-0--6-.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/pasted-image-0--6-.png -------------------------------------------------------------------------------- /article/2019/11/img/pasted-image-0--7-.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/pasted-image-0--7-.png -------------------------------------------------------------------------------- /article/2019/11/img/photoscoringmodel_700px_web.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/photoscoringmodel_700px_web.jpg -------------------------------------------------------------------------------- /article/2019/11/img/pinterest_600px_web.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/pinterest_600px_web.jpg -------------------------------------------------------------------------------- /article/2019/11/img/python-filter.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/python-filter.png -------------------------------------------------------------------------------- /article/2019/11/img/python-map.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/python-map.png -------------------------------------------------------------------------------- /article/2019/11/img/python-reduce.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/python-reduce.png -------------------------------------------------------------------------------- /article/2019/11/img/queries-keys-attention-mask-1573656608234.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/queries-keys-attention-mask-1573656608234.png -------------------------------------------------------------------------------- /article/2019/11/img/queries-keys-attention-mask.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/queries-keys-attention-mask.png -------------------------------------------------------------------------------- /article/2019/11/img/ratio_medium-1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/ratio_medium-1.png -------------------------------------------------------------------------------- /article/2019/11/img/rightleft-1024x781.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/rightleft-1024x781.png -------------------------------------------------------------------------------- /article/2019/11/img/self-attention-1-1573613413155.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/self-attention-1-1573613413155.png -------------------------------------------------------------------------------- /article/2019/11/img/self-attention-1-1573662122191.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/self-attention-1-1573662122191.png -------------------------------------------------------------------------------- /article/2019/11/img/self-attention-1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/self-attention-1.png -------------------------------------------------------------------------------- /article/2019/11/img/self-attention-2-1573662095634.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/self-attention-2-1573662095634.png -------------------------------------------------------------------------------- /article/2019/11/img/self-attention-2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/self-attention-2.png -------------------------------------------------------------------------------- /article/2019/11/img/self-attention-3-2-1573662059788.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/self-attention-3-2-1573662059788.png -------------------------------------------------------------------------------- /article/2019/11/img/self-attention-3-2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/self-attention-3-2.png -------------------------------------------------------------------------------- /article/2019/11/img/self-attention-and-masked-self-attention-1573615292282.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/self-attention-and-masked-self-attention-1573615292282.png -------------------------------------------------------------------------------- /article/2019/11/img/self-attention-and-masked-self-attention.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/self-attention-and-masked-self-attention.png -------------------------------------------------------------------------------- /article/2019/11/img/self-attention-example-folders-3-1573653034919.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/self-attention-example-folders-3-1573653034919.png -------------------------------------------------------------------------------- /article/2019/11/img/self-attention-example-folders-3-1573653076786.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/self-attention-example-folders-3-1573653076786.png -------------------------------------------------------------------------------- /article/2019/11/img/self-attention-example-folders-3-1573662470725.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/self-attention-example-folders-3-1573662470725.png -------------------------------------------------------------------------------- /article/2019/11/img/self-attention-example-folders-3.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/self-attention-example-folders-3.png -------------------------------------------------------------------------------- /article/2019/11/img/self-attention-example-folders-scores-3-1573662389512.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/self-attention-example-folders-scores-3-1573662389512.png -------------------------------------------------------------------------------- /article/2019/11/img/self-attention-example-folders-scores-3-1573662439368.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/self-attention-example-folders-scores-3-1573662439368.png -------------------------------------------------------------------------------- /article/2019/11/img/self-attention-example-folders-scores-3.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/self-attention-example-folders-scores-3.png -------------------------------------------------------------------------------- /article/2019/11/img/self-attention-summary-1573662052367.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/self-attention-summary-1573662052367.png -------------------------------------------------------------------------------- /article/2019/11/img/self-attention-summary-1573662154713.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/self-attention-summary-1573662154713.png -------------------------------------------------------------------------------- /article/2019/11/img/self-attention-summary.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/self-attention-summary.png -------------------------------------------------------------------------------- /article/2019/11/img/sephoraproducttryon_700px_web.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/sephoraproducttryon_700px_web.jpg -------------------------------------------------------------------------------- /article/2019/11/img/skin360_700px_web.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/skin360_700px_web.jpg -------------------------------------------------------------------------------- /article/2019/11/img/swiftkey-keyboard-1573612131268.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/swiftkey-keyboard-1573612131268.png -------------------------------------------------------------------------------- /article/2019/11/img/swiftkey-keyboard.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/swiftkey-keyboard.png -------------------------------------------------------------------------------- /article/2019/11/img/tf-runtime.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/tf-runtime.png -------------------------------------------------------------------------------- /article/2019/11/img/transformer-attention-mask-1573656512681.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/transformer-attention-mask-1573656512681.png -------------------------------------------------------------------------------- /article/2019/11/img/transformer-attention-mask-1573656630539.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/transformer-attention-mask-1573656630539.png -------------------------------------------------------------------------------- /article/2019/11/img/transformer-attention-mask.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/transformer-attention-mask.png -------------------------------------------------------------------------------- /article/2019/11/img/transformer-attention-masked-scores-softmax-1573656471065.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/transformer-attention-masked-scores-softmax-1573656471065.png -------------------------------------------------------------------------------- /article/2019/11/img/transformer-attention-masked-scores-softmax-1573656654686.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/transformer-attention-masked-scores-softmax-1573656654686.png -------------------------------------------------------------------------------- /article/2019/11/img/transformer-attention-masked-scores-softmax-1573656681337.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/transformer-attention-masked-scores-softmax-1573656681337.png -------------------------------------------------------------------------------- /article/2019/11/img/transformer-attention-masked-scores-softmax.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/transformer-attention-masked-scores-softmax.png -------------------------------------------------------------------------------- /article/2019/11/img/transformer-decoder-attention-mask-dataset-1573656589914.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/transformer-decoder-attention-mask-dataset-1573656589914.png -------------------------------------------------------------------------------- /article/2019/11/img/transformer-decoder-attention-mask-dataset-1573656600812.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/transformer-decoder-attention-mask-dataset-1573656600812.png -------------------------------------------------------------------------------- /article/2019/11/img/transformer-decoder-attention-mask-dataset.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/transformer-decoder-attention-mask-dataset.png -------------------------------------------------------------------------------- /article/2019/11/img/transformer-decoder-block-2-1573614994816.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/transformer-decoder-block-2-1573614994816.png -------------------------------------------------------------------------------- /article/2019/11/img/transformer-decoder-block-2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/transformer-decoder-block-2.png -------------------------------------------------------------------------------- /article/2019/11/img/transformer-decoder-block-self-attention-2-1573615001452.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/transformer-decoder-block-self-attention-2-1573615001452.png -------------------------------------------------------------------------------- /article/2019/11/img/transformer-decoder-block-self-attention-2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/transformer-decoder-block-self-attention-2.png -------------------------------------------------------------------------------- /article/2019/11/img/transformer-decoder-intro-1573616047560.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/transformer-decoder-intro-1573616047560.png -------------------------------------------------------------------------------- /article/2019/11/img/transformer-decoder-intro.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/transformer-decoder-intro.png -------------------------------------------------------------------------------- /article/2019/11/img/transformer-encoder-block-2-1573614842219.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/transformer-encoder-block-2-1573614842219.png -------------------------------------------------------------------------------- /article/2019/11/img/transformer-encoder-block-2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/transformer-encoder-block-2.png -------------------------------------------------------------------------------- /article/2019/11/img/transformer-encoder-decoder-1573614597067.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/transformer-encoder-decoder-1573614597067.png -------------------------------------------------------------------------------- /article/2019/11/img/transformer-encoder-decoder.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/transformer-encoder-decoder.png -------------------------------------------------------------------------------- /article/2019/11/img/unions-1024x781.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/unions-1024x781.png -------------------------------------------------------------------------------- /article/2019/11/img/wikipedia-summarization-1573661057869.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/wikipedia-summarization-1573661057869.png -------------------------------------------------------------------------------- /article/2019/11/img/wikipedia-summarization-1573661094497.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/wikipedia-summarization-1573661094497.png -------------------------------------------------------------------------------- /article/2019/11/img/wikipedia-summarization-1573661142282.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/wikipedia-summarization-1573661142282.png -------------------------------------------------------------------------------- /article/2019/11/img/wikipedia-summarization-1573661180826.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/wikipedia-summarization-1573661180826.png -------------------------------------------------------------------------------- /article/2019/11/img/wikipedia-summarization-1573661229235.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/wikipedia-summarization-1573661229235.png -------------------------------------------------------------------------------- /article/2019/11/img/wikipedia-summarization.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/wikipedia-summarization.png -------------------------------------------------------------------------------- /article/2019/11/img/zoom-in-1573655061371.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/zoom-in-1573655061371.png -------------------------------------------------------------------------------- /article/2019/11/img/zoom-in.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/11/img/zoom-in.png -------------------------------------------------------------------------------- /article/2019/11/python数据采集之requests.md: -------------------------------------------------------------------------------- 1 | 作者 ：Qiang He 2 | 3 | 邮箱：1422127065@qq.com 4 | 5 | ### python数据采集之requests 6 | 7 | 利用requests库发起get或者post请求 8 | 9 | 使用代码范例 10 | 11 | ```python 12 | import requests 13 | from lxml import etree 14 | from fake_useragent import UserAgent 15 | import json 16 | import time 17 | #随机请求头 18 | ua=UserAgent() 19 | 20 | # get请求 21 | def get_url(url): 22 | header={ 23 | "User-Agent":ua.random 24 | } 25 | res=requests.get(url,headers=header) 26 | 27 | if res.status_code==200: 28 | html=etree.HTML(res.content) 29 | # 字段名以及xpath规则添加 可添加多个 返回的字段类型为list 30 | name=html.xpath("//div[@id='content']/h1/text()") 31 | 32 | else: 33 | print("error url：%s,状态码"%(url,res.status_code)) 34 | 35 | # post请求 36 | def post_url(url): 37 | header = { 38 | "User-Agent": ua.random 39 | } 40 | payload={ 41 | "key1":"value1", 42 | "key2": "value2", 43 | "key3": "value3", 44 | "key4": "value4", 45 | 46 | } 47 | #请求时视情况而定看是否需要带上数据表单 48 | # 数据表单的使用 data=json.dumps(payload) 49 | response=requests.post(url,headers=header) 50 | try: 51 | if response.status_code==200: 52 | #请求内容为转为json 53 | datas = json.loads(response.text)['data']["list"] 54 | for data in datas: 55 | title=data['title'] 56 | print(title) 57 | except Exception as e: 58 | print(e) 59 | 60 | if __name__ == '__main__': 61 | # url添加 这里以豆瓣top250为例 62 | geturl='https://movie.douban.com/top250' 63 | get_url(geturl) 64 | # csdns 区块链的api 65 | posturl = 'https://blockchain.csdn.net/m/zone/blockchain/blog_api?page=1' 66 | post_url(posturl) 67 | 68 | ``` 69 | 70 | 使用前需要下载 requests、lxml、fake-useragent，json库 71 | 72 | 此范例可作为requests库爬取数据的一个模板，可根据自己的需求进行相应的扩充 73 | 74 | requests中文文档: https://2.python-requests.org//zh_CN/latest/user/quickstart.html 75 | 76 | -------------------------------------------------------------------------------- /article/2019/11/python数据采集之自动化测试库 selenium.md: -------------------------------------------------------------------------------- 1 | 作者 ：Qiang He 2 | 3 | 邮箱：1422127065@qq.com 4 | 5 | 6 | 7 | ### python数据采集之自动化测试库 selenium 8 | 9 | 使用selenium之前需要搭建selenium的环境：python3环境，selenium环境(推荐谷歌驱动，火狐也可以)，浏览器（推荐谷歌浏览器）需要注意的是selenium的版本需要和浏览器版本相对应 10 | 11 | 详情及下载 https://www.cnblogs.com/yfacesclub/p/8482681.html 12 | 13 | selenium安装 https://blog.csdn.net/seedinspring/article/details/89850331 14 | 15 | 优点：能模拟浏览器点击，获取渲染js加载后的内容 16 | 17 | 缺点：慢，耗内存 18 | 19 | 代码示例： 20 | 21 | ```python 22 | from selenium import webdriver 23 | from selenium.webdriver.firefox.options import Options 24 | 25 | options=Options() 26 | options.headless=True 27 | driver=webdriver.Firefox(options=options) 28 | 29 | #通过selenium获取豆瓣top250首页的所有标题 30 | url="https://movie.douban.com/top250" 31 | driver.get(url) 32 | # 因为所有的内容都在ol标签下的li标签下面 所有可以用此方法拿到所有的li标签,返回类型为list 33 | titles=driver.find_elements_by_xpath("//ol[@class='grid_view']/li") 34 | 35 | for info in titles: 36 | movie_title=info.find_element_by_xpath(".//div[@class='hd']/a/span[@class='title']").text 37 | movie_url=info.find_element_by_xpath(".//div[@class='hd']/a").get_attribute("href") 38 | print("电影的名字是：{0}，链接为：{1}".format(movie_title,movie_url)) 39 | driver.close() 40 | ``` 41 | 42 | 本案例爬取的是豆瓣top250的内容 爬取这个纯粹为了示例其用法，没有特地的去找用js加载的网站。案例中使用了无头浏览器，意思就是不打开浏览器 43 | 44 | 使用之前需要下载selenium 库 45 | 46 | 代码解释： 47 | 48 | ```python 49 | driver.find_elements_by_xpath#抓取所有的标签 注意是elements 50 | ``` 51 | 52 | 53 | 54 | ```python 55 | info.find_element_by_xpath(".//div[@class='hd']/a/span[@class='title']").text#当前标签下的电影名字 是文本，获取内容用.text 56 | info.find_element_by_xpath(".//div[@class='hd']/a").get_attribute("href")#获取当前标签下的链接 是属性内的值 用.get_attribute("href") 57 | ``` 58 | 59 | 使用完后需要关闭 60 | -------------------------------------------------------------------------------- /article/2019/11/python高级之初识socket网络编程.md: -------------------------------------------------------------------------------- 1 | 作者：Qiang He 2 | 3 | 邮箱：1422127065@qq.com 4 | 5 | #### python 高级初识socket网络编程 6 | 7 | 简单实现服务端和客户端之间的通信 实现多人聊天 8 | 9 | 首先创建一个server.py 10 | 11 | ```python 12 | import socket 13 | import threading 14 | 15 | server=socket.socket(socket.AF_INET,socket.SOCK_STREAM) 16 | host=socket.gethostname() 17 | port=8888 18 | server.bind((host,port)) 19 | server.listen() 20 | def handle_socket(sock,addr): 21 | while True: 22 | client_data=sock.recv(1024) 23 | print(client_data.decode("utf8")) 24 | new_data = input("请输入聊天信息\n") 25 | sock.send(new_data.encode("utf8")) 26 | while True: 27 | # 获取从客户端发送的数据 28 | # 一次获取1k的数据 29 | # data为byte类型 30 | sock, addr = server.accept() 31 | # 多线程实现多人聊天 32 | client_threde=threading.Thread(target=handle_socket,args=(sock,addr)) 33 | client_threde.start() 34 | 35 | 36 | 37 | ``` 38 | 39 | 40 | 41 | 接着创建一个client端 42 | 43 | client.py 44 | 45 | ```python 46 | import socket 47 | import sys 48 | client = socket.socket(socket.AF_INET, socket.SOCK_STREAM) 49 | host = socket.gethostname() 50 | port = 8888 51 | # 连接服务，指定主机和端口 52 | client.connect((host, port)) 53 | 54 | while True: 55 | client_data = input("请输入你的聊天信息\n") 56 | client.send(client_data.encode("utf8")) 57 | server_data = client.recv(1024) 58 | print(server_data.decode("utf8")) 59 | 60 | ``` 61 | 62 | 先运行 server.py 控制台会处于等待状态 63 | 64 | 接着运行 client.py发送数据 65 | 66 | 67 | 68 | 利用多线程实现多个客服端的连接 实现多人聊天模式 69 | 70 | 每次运行一个客户端都会开启一个新的线程 71 | 72 | 73 | 74 | 这里不对socket理论不做过多的赘述 75 | 76 | 77 | 78 | -------------------------------------------------------------------------------- /article/2019/11/python高级用法之-迭代器、生成器、装饰器.md: -------------------------------------------------------------------------------- 1 | 作者：Qiang He 2 | 3 | 邮箱：1422127065@qq.com 4 | 5 | **python高级用法之-迭代器、生成器、装饰器** 6 | 7 | ##### 1 .迭代器 8 | 一般在python中可以使用for循环，对于像list，dict等都可以。但是他们称之为可迭代的对象，而不是迭代器。 9 | 迭代器同样可以使用for循环遍历，迭代器基于两个方法，iter()将其转化为迭代器，neext() 对迭代器取值，调用一次按排列顺序取一个值 10 | 使用迭代器的优势：不需要将所有数据一次性加载，而是用next()方法调用元素，不需要考虑内存的问题 11 | 12 | 代码示例 13 | ```python 14 | list = [1,5,6] 15 | it=iter(list) #创建一个迭代器对象 16 | print(it) #output 1 17 | print(it) #output 2 18 | ``` 19 | 20 | ##### 2 .生成器 21 | 生成器可理解为高级迭代器，在返回元素的代码更加简洁，更重要的是不在需要创建迭代器，在函数中使用yield，该函数就被成为生成器。 22 | 生成器是可以迭代的，但是只可以读取它一次。因为用的时候才生成 , 生(generator）能够迭代的关键是他有next()方法，工作原理就是通过重复调用next()方法，直到捕获一个异常, yield是一个类似return 的关键字，迭代一次遇到yield的时候就返回yield后面或者右面的值。而且下一次迭代的时候，从上一次迭代遇到的yield后面的代码开始执行。 23 | 24 | **注意：** 生成器只能用于迭代操作 25 | 26 | 代码示例 27 | ```python 28 | def fib(n): 29 | prev, curr = 0, 1 30 | while n > 0: 31 | n -= 1 32 | yield curr 33 | prev, curr = curr, curr + prev 34 | res=fib(10) 35 | for x in res: 36 | print(x) 37 | #output 38 | 1 39 | 1 40 | 2 41 | 3 42 | 5 43 | 8 44 | 13 45 | 21 46 | 34 47 | 55 48 | 49 | ``` 50 | 51 | ##### 3. 装饰器 52 | 装饰器本质是一个Python函数，它可以让其它函数在没有任何代码变动的情况下增加额外功能 53 | 54 | 代码示例 55 | ```python 56 | #求和的函数 57 | def add(func): 58 | def new_add(a,b): 59 | print("求和") 60 | func(a,b) 61 | print("结果是：{}".format(a + b)) 62 | print("end") 63 | return new_add 64 | @add 65 | def func(a,b): 66 | pass 67 | if __name__ == '__main__': 68 | func(3,4) 69 | #output 70 | 求和 71 | 结果是：7 72 | end 73 | ``` 74 | 75 | 76 | 77 | #### 4. staticmethod和classmethod 78 | 79 | 代码示例 80 | ~~~python 81 | class Test(object): 82 | 83 | def add(self,a,b): 84 | print("add:{}+{}={}".format(a,b,a+b)) 85 | @classmethod #调用该方法的时候可以不需要实例化 86 | def minus(self, a, b): 87 | print("minus:{}+{}={}".format(a, b, a - b)) 88 | @staticmethod #实例声明了静态方法 multiply，从而可以实现实例化使用 Test().multiply()，当然也可以不实例化调用该方法 Test().multiply()。 89 | def multiply(self, a, b): 90 | print("multiply:{}*{}={}".format(a, b, a * b)) 91 | 92 | Test().minus(3,2) 93 | 94 | ~~~ 95 | 96 | -------------------------------------------------------------------------------- /article/2019/11/python高级用法之三大高阶内置函数.md: -------------------------------------------------------------------------------- 1 | 作者：Qiang He 2 | 3 | 邮箱:1422127065@qq.com 4 | 5 | 6 | ##### python高级用法之三大高阶内置函数 7 | 8 | ###### map函数 9 | 10 | ​ map(square,list) map函数接收的两个参数 一个函数 一个序列 11 | 12 | 功能说明 ：利用传进去的函数将序列的值进行处理在返回一个列表内，但是其返回值为map 一个迭代器对象 需要转化为list，原理如下图 13 | 14 | ![image-20191117193552078](img/python-map.png) 15 | 代码示例 16 | 17 | ``` 18 | num=[1,2,3,4,5] 19 | def square(x): 20 | return x**2 21 | #map函数模拟 22 | def map_test(func,iter): 23 | num_1=[] 24 | for i in iter: 25 | ret=func(i) 26 | # print(ret) 27 | num_1.append(ret) 28 | return num_1.__iter__() #将列表转为迭代器对象 29 | 30 | #map_test函数 31 | print(list(map_test(square,num))) 32 | #map函数 33 | print(list(map(square,num))) 34 | 35 | #当然map函数的参数1也可以是匿名函数、参数2也可以是字符串 36 | print(list(map_test(lambda x:x.upper(),"amanda"))) 37 | print(list(map(lambda x:x.upper(),"amanda"))) 38 | ``` 39 | 40 | ###### filter函数 41 | 42 | ​ filter函数也是接收一个函数和一个序列的高阶函数，其主要功能是过滤。其返回值也是迭代器对象 43 | 44 | ![image-20191117193552078](img/python-filter.png) 45 | 46 | 47 | 代码示例 48 | ```python 49 | names=["Alex","amanda","xiaowu"] 50 | #filter函数机制 51 | def filter_test(func,iter): 52 | names_1=[] 53 | for i in iter: 54 | if func(i): #传入的func函数其结果必须为bool值，才有意义 55 | names_1.append(i) 56 | return names_1 57 | #filter_test函数 58 | print(filter_test(lambda x:x.islower(),names)) 59 | #filter函数 60 | print(list(filter(lambda x:x.islower(),names))) 61 | ``` 62 | 63 | ###### reduce函数 64 | 65 | reduce函数也是一个参数为函数，一个为可迭代对象的高阶函数，其返回值为一个值而不是迭代器对象，故其常用与叠加、叠乘等 66 | 67 | ![image-20191117193807736](img/python-reduce.png) 68 | 69 | ```python 70 | #reduce函数不是内置函数，而是在模块functools中的函数，故需要导入 71 | from functools import reduce 72 | 73 | nums=[1,2,3,4,5,6] 74 | #reduce函数的机制 75 | def reduce_test(func,array,ini=None): #ini作为基数 76 | if ini == None: 77 | ret =array.pop(0) 78 | else: 79 | ret=ini 80 | for i in array: 81 | ret=func(ret,i) 82 | return ret 83 | #reduce_test函数，叠乘 84 | print(reduce_test(lambda x,y:x*y,nums,100)) 85 | #reduce函数，叠乘 86 | print(reduce(lambda x,y:x*y,nums,100)) 87 | ``` 88 | 89 | -------------------------------------------------------------------------------- /article/2019/11/寻找与自己相貌相似的名人.md: -------------------------------------------------------------------------------- 1 | *作者：[Quan Chen](https://github.com/chenquan)* 2 | 3 | # 寻找与自己相貌相似的名人 4 | 5 | 6 | 7 | ![image-20191125155814591](img/image-20191125155814591.png) 8 | 9 | 大家都看过模仿秀节目，节目中的人都与某些明星长得非常相似，那想不想知道自己和那位明星或者名人长得像呢？ 10 | 11 | 来来来，给大家安利一个神器，使用SVM来完成匹配你的最佳名人脸。 12 | 13 | ![doppleganger](img/doppleganger.gif) 14 | 15 | 16 | 17 | 18 | 19 | ## 运行代码： 20 | 21 | 第一次运行代码时，请解压缩`train_dir.zip`和`clf.joblib.zip`。 22 | 23 | 运行以下命令： 24 | 25 | ```shell 26 | virtualenv --system-site-packages -p python3 ./venv 27 | source ./venv/bin/activate # sh, bash, ksh, or zsh 28 | find . -name "*.DS_Store" -type f -delete 29 | python svm.py 30 | ``` 31 | 32 | > 使用的是由 Adam Geitgey在github开源的[人脸识别库](https://github.com/ageitgey/face_recognition),进行人脸识别并计算人脸特征编码 33 | 34 | **还可以使用另外的数据集对模型进行训练** 35 | 36 | 对于[印度电影数据集](http://cvit.iiit.ac.in/projects/IMFDB/)： 37 | 38 | ```shell 39 | for d in ./*/ ; 40 | do 41 | cd "$d" || exit; # enter each dir if it exists 42 | find . -mindepth 2 -type f -print -exec mv {} . \; # merge all files 2 levels deep 43 | find . -type f ! -name '*.jpg' -exec rm '{}' + # find and rm any non jpg 44 | ls -d */ | xargs rm -rf; # delete any empty dirs 45 | cd ..; # back to parent dir 46 | done 47 | ``` 48 | 49 | 对于[PINS数据集](https://www.kaggle.com/frules11/pins-face-recognition)： 50 | 51 | ```shell 52 | for name in ./*/ ; 53 | do 54 | newname="$(echo "$name" | cut -c8-)"; # create new name without first 7 char 55 | mv "$name" "$newname"; # rename dir 56 | done 57 | ``` 58 | 59 | 项目地址： https://github.com/hyerramreddy/DoppelgangerFinder -------------------------------------------------------------------------------- /article/2019/11/随机森林参数调优指南.md: -------------------------------------------------------------------------------- 1 | *作者：[Quan Chen](https://github.com/chenquan)* 2 | 3 | > 在scikit-learn中，RandomForest的分类器是`RandomForestClassifier`，回归器是`RandomForestRegressor`，需要调参的参数包括两部分，第一部分是`Bagging`框架的参数，第二部分是`CART决策树`的参数。 4 | 5 | ### 一、Bagging框架的参数： 6 | 7 | **1.** **n_estimators:** 也就是弱学习器的最大迭代次数，或者说最大的弱学习器的个数，默认是10。一般来说n_estimators太小，容易欠拟合，n_estimators太大，又容易过拟合，一般选择一个适中的数值。对Random Forest来说，增加“子模型数”（n_estimators）可以明显降低整体模型的方差，且不会对子模型的偏差和方差有任何影响。模型的准确度会随着“子模型数”的增加而提高，由于减少的是整体模型方差公式的第二项，故准确度的提高有一个上限。在实际应用中，可以以10为单位，考察取值范围在1至201的调参情况。 8 | 9 | **2.** **bootstrap**：默认True，是否有放回的采样。 10 | 11 | **3.** **oob_score：**默认为False，即是否采用袋外样本来评估模型的好坏。有放回采样中大约36.8%的没有被采样到的数据，我们常常称之为袋外数据(Out Of Bag, 简称OOB)，这些数据没有参与训练集模型的拟合，因此可以用来检测模型的泛化能力。*个人推荐设置为True*，因为袋外分数反应了一个模型拟合后的泛化能力。对单个模型的参数训练，我们知道可以用cross validation（cv）来进行，但是特别消耗时间，而且对于随机森林这种情况也没有大的必要，所以就用这个数据对决策树模型进行验证，算是一个简单的交叉验证，性能消耗小，但是效果不错。 12 | 13 | **4.** **criterion：** 即CART树做划分时对特征的评价标准，分类模型和回归模型的损失函数是不一样的。分类RF对应的CART分类树默认是基尼系数gini,另一个可选择的标准是信息增益entropy，是用来选择节点的最优特征和切分点的两个准则。回归RF对应的CART回归树默认是均方差mse，另一个可以选择的标准是绝对值差mae。*一般来说选择默认的标准就已经很好的。* 14 | 15 | **从上面可以看出， RF重要的框架参数比较少，主要需要关注的是 n_estimators，即RF最大的决策树个数。** 16 | 17 | 18 | 19 | ### 二、决策树的参数： 20 | 21 | **1.** **max_features:** RF划分时考虑的最大特征数。可以使用很多种类型的值，默认是"None",意味着划分时考虑所有的特征数；如果是"log2"意味着划分时最多考虑log2N个特征；如果是"sqrt"或者"auto"意味着划分时最多考虑N−−√N个特征。如果是整数，代表考虑的特征绝对数。如果是浮点数，代表考虑特征百分比，即考虑（百分比xN）取整后的特征数，其中N为样本总特征数。一般来说，如果样本特征数不多，比如小于50，我们用默认的"None"就可以了，如果特征数非常多，我们可以灵活使用刚才描述的其他取值来控制划分时考虑的最大特征数，以控制决策树的生成时间。传统决策树模型在选择特征时考虑所有可能的特征，而它降低了单个树的多样性，而由于随机森林基于集成学习思想的优点，减小max_features不仅会提升算法速度，也有可能降低测试误差，这也是RF模型在Bagging集成学习方法基础上的一个改进；对max_features的选择是逐一尝试，直到找到比较理想的值。 22 | 23 | **2.** **max_depth:** 决策树最大深度。默认为"None"，决策树在建立子树的时候不会限制子树的深度这样建树时，会使每一个叶节点只有一个类别，或是达到min_samples_split。一般来说，数据少或者特征少的时候可以不管这个值。如果模型样本量多，特征也多的情况下，推荐限制这个最大深度，具体的取值取决于数据的分布。常用的可以取值10-100之间。 24 | 25 | **3.** **min_samples_split:** 内部节点再划分所需最小样本数，默认2。这个值限制了子树继续划分的条件，如果某节点的样本数少于min_samples_split，则不会继续再尝试选择最优特征来进行划分。 默认是2，如果样本量不大，不需要管这个值。如果样本量数量级非常大，则推荐增大这个值。 26 | 27 | **4.** **min_samples_leaf:**叶子节点最少样本数。 这个值限制了叶子节点最少的样本数，如果某叶子节点数目小于样本数，则会和兄弟节点一起被剪枝。 默认是1,可以输入最少的样本数的整数，或者最少样本数占样本总数的百分比。如果样本量不大，不需要管这个值。如果样本量数量级非常大，则推荐增大这个值。 28 | 29 | **5.** **min_weight_fraction_leaf：**叶子节点最小的样本权重和。这个值限制了叶子节点所有样本权重和的最小值，如果小于这个值，则会和兄弟节点一起被剪枝。 默认是0，就是不考虑权重问题。一般来说，如果我们有较多样本有缺失值，或者分类树样本的分布类别偏差很大，就会引入样本权重，这时我们就要注意这个值了。 30 | 31 | **6.** **max_leaf_nodes:** 最大叶子节点数。通过限制最大叶子节点数，可以防止过拟合，默认是"None”，即不限制最大的叶子节点数。如果加了限制，算法会建立在最大叶子节点数内最优的决策树。如果特征不多，可以不考虑这个值，但是如果特征分成多的话，可以加以限制，具体的值可以通过交叉验证得到。 32 | 33 | **7. min_impurity_split:** 节点划分最小不纯度。这个值限制了决策树的增长，如果某节点的不纯度(基于基尼系数，均方差)小于这个阈值，则该节点不再生成子节点，即为叶子节点 。一般不推荐改动默认值1e-7。 34 | 35 | **8. splitter:** 随机选择属性"random"还是选择不纯度最大"best"的属性，建议用默认 best。 36 | 37 | **9. presort:**是否对数据进行预分类，以加快拟合中最佳分裂点的发现。默认False，适用于大数据集。小数据集使用True,可以加快训练。是否预排序,预排序可以加速查找最佳分裂点，对于稀疏数据不管用，Bool，auto：非稀疏数据则预排序，若稀疏数据则不预排序. 38 | 39 | ### 三、预测 40 | 41 | **1.predict_proba(x)：**给出带有概率值的结果。每个点在所有label（类别）的概率和为1. 42 | 43 | **2.predict(x)：**直接给出预测结果。内部还是调用的predict_proba()，根据概率的结果看哪个类型的预测值最高就是哪个类型。 44 | 45 | **3.predict_log_proba(x)：**和predict_proba基本上一样，只是把结果给做了log(x)处理。 46 | 47 | ### 四、注意事项 48 | 49 | 1. RF算法确实会过拟合。 50 | 51 | 2. 当算法中加入更多的树时，随机林中的泛化误差方差将减小到零，然而，泛化的偏差并没有改变。 52 | 53 | 3. 为了避免在RF中过拟合，应调整算法的超参数(hyper-parameters)，例如，叶子节点中的样本数。 54 | 55 | 4. 能处理高维度数据，并且不用做特征选择。 56 | 5. 训练完后，能够给出那些feature比较重要。 57 | 6. 在噪音较大的分类或回归问题上会出现过拟合现象。 58 | 7. 对于不同级别属性的数据，级别划分较多的属性会对随机森林有较大影响，则RF在这种数据上产出的数值是不可信的。 59 | 8. 根据训练数据分布及业务逻辑，通过调节预剪枝的参数使树更深、每个树节点包含的不同数据更少来增强小样本标签数据的表现，但这样训练出来的模型仍然可能比较粗糙，并且需要准备不同时间窗或不同范围的数据进行多次验证，防止过拟合。 60 | 61 | 62 | 63 | **logistic参数调优记录** 64 | 65 | 1. 先用默认参数预测结果 66 | 67 | 2. 正则化参数选择，penalty，L1 or L2 68 | 69 | 3. 优化算法选择器：solver，liblinear，lbfgs、newton-cg、sag 70 | 71 | 4. 类型权重参数：class_weight，class_weight={0:0.9, 1:0.1} 72 | 由于不同类别数量不同，因此调高权重，还有误分类代价很高情况等。 73 | 74 | 5. 正则化参数C -------------------------------------------------------------------------------- /article/2019/11/预测人们的驾驶性格.md: -------------------------------------------------------------------------------- 1 | 原文： https://news.mit.edu/2019/predicting-driving-personalities-1118 2 | 3 | 作者： Adam Conner-Simons Rachel Gordon 4 | 5 | 翻译:Qiang He 6 | 7 | ### 预测人们的驾驶性格 8 | 9 | ##### *麻省理工学院CSAIL的系统将司机们的行为视为自私或无私。这能帮助自动驾驶汽车在交通中导航吗？* 10 | 11 | --- 12 | 13 | 自动驾驶汽车来了。但是，尽管他们拥有各种奇特的传感器和复杂的数据处理能力，即使是最尖端的汽车也缺乏（几乎）每一个持有学习许可证的16岁儿童都具备的东西：社会意识 14 | 15 | 虽然自主技术已经有了很大的进步，但他们最终还是把周围的司机看作是由1和0组成的障碍，而不是有特定意图、动机和个性的人。 16 | 17 | 但最近，由麻省理工学院计算机科学与人工智能实验室（CSAIL）的研究人员领导的一个团队一直在探索自动驾驶汽车是否可以通过编程来对其他驾驶者的社会性格进行分类，以便他们能够更好地预测不同的汽车会做什么——以至于能够在他们中间更安全地驾驶。 18 | 19 | 在一篇新的论文中，科学家们整合了社会心理学的工具，根据一个特定司机的自私或无私程度来对驾驶行为进行分类。 20 | 21 | 具体来说，他们使用了一种叫做社会价值取向（SVO）的东西，它代表了一个人自私（“利己”）与利他或合作（“亲社会”）的程度。然后，系统估计驾驶员的SVO，为自动驾驶汽车创建实时驾驶轨迹 22 | 23 | 通过测试他们的算法在合并车道和进行无保护左转的任务中，研究小组显示他们可以更好地预测其他车辆的行为，预测系数为25%。例如，在左转弯模拟中，他们的车知道当接近的车有一个更自私的司机时等待，然后当另一辆车更无私时转弯 24 | 25 | 虽然该系统还不足以在真正的道路上实现，但它可能有一些有趣的用例，而不仅仅是针对自己驾驶的汽车。假设你是一个人类驾驶，一辆车突然进入你的盲点-系统可以在后视镜中警告你，这辆车有一个咄咄逼人的司机，让你相应地调整。它还可以让自动驾驶汽车真正学会表现出更人性化的行为，这将使人类驾驶员更容易理解 26 | 27 | 研究生威尔科施瓦廷（Wilko Schwarting）说：“与人类一起工作和围绕人类工作意味着弄清他们的意图，以便更好地理解他们的行为。”他是这篇新论文的主要作者，这篇论文将于本周在最新一期《美国国家科学院院刊》上发表。“人们合作或竞争的倾向往往会影响到他们作为司机的表现。在这篇论文中，我们试图了解这是否是我们可以量化的东西。” 28 | 29 | 施瓦廷的合著者包括麻省理工学院教授塞尔塔克·卡拉曼和丹尼拉·罗斯，以及研究科学家艾莉莎·皮尔森和前CSAIL博士后哈维尔·阿隆索·莫拉。 30 | 31 | 如今的自动驾驶汽车的一个核心问题是，它们的程序是假设所有人的行为都是一样的。这意味着，除其他外，他们在四向停车场和其他十字路口的决策相当保守。 32 | 33 | 虽然这种谨慎降低了致命事故的几率，但也造成了瓶颈，让其他司机感到沮丧，更不用说让他们难以理解。（这可能就是为什么大多数交通事故都是由不耐烦的司机造成的。） 34 | 35 | 施瓦廷说：“在自动驾驶车辆（AVs）中创造更多类似人类的行为，对于乘客和周围车辆的安全至关重要，因为以可预测的方式进行行为能够使人类理解AV的行为并对其做出适当的反应。” 36 | 37 | 为了扩大汽车的社会意识，CSAIL团队将社会心理学的方法与博弈论相结合，博弈论是一个理论框架，用于构想竞争对手之间的社会状况。 38 | 39 | 团队模拟道路场景，每个驾驶员试图最大化他们自己的效用，并分析他们的“最佳反应”，考虑到所有其他代理的决定。基于来自其他汽车的那一小段动作，研究小组的算法可以预测周围汽车的行为是合作的、利他的或利己的——将前两种行为归为“亲社会的”。人们对这些品质的得分取决于一个人对自己的关心程度，而不是关心他人。 40 | 41 | 在合并和左转场景中，两种结果选择要么让某人合并到你的车道（“亲社会”）要么不（“利己”）。研究小组的结果显示，合并的汽车被认为比不合并的汽车更有竞争力，这并不奇怪。 42 | 43 | 该系统经过培训，试图更好地了解何时适合展示不同的行为。例如，即使是最恭敬的人类司机也知道，某些类型的行为——比如在拥挤的交通中改变车道——需要一段时间变得更加自信和果断。 44 | 45 | 在下一阶段的研究中，该团队计划将他们的模型应用于驾驶环境中的行人、自行车和其他代理。此外，他们还将研究其他在人类之间起作用的机器人系统，如家用机器人，并将SVO集成到他们的预测和决策算法中。皮尔森说，直接从观测到的运动而不是在实验室条件下估计SVO分布的能力，对于远远超出自主驾驶的领域来说将是非常重要的。 46 | 47 | Rus说:通过对驾驶个性进行建模，并在机器人汽车的决策模块中使用SVO将模型数学化，这项工作为人驾驶汽车和机器人驾驶汽车之间更安全、更无缝的道路共享打开了大门。 48 | 49 | -------------------------------------------------------------------------------- /article/2019/12/Web开发人员的最佳朋友--AI.md: -------------------------------------------------------------------------------- 1 | 地址：https://readwrite.com/2019/12/09/a-web-developers-new-best-friend-is-the-ai-waiting-to-be-utilized/ 2 | 3 | 作者：[Dave Jarvis](https://readwrite.com/author/dave-jarvis/) 4 | 5 | 译者：muzhoubai 6 | 7 | # Web开发人员的最佳朋友——AI 8 | 9 | ![img](img/clip_image002.jpg) 10 | 11 | > 随着人工智能，机器学习，虚拟现实等颠覆性技术的出现，事情似乎已经超出了开发人员的讨论范围。跳到您和我听到他们的主流–他们可以使我们麻木。这是网络开发人员的新近最好的朋友，那就是等待使用的AI。 12 | 13 | 14 | 15 | ## 一、忽略AI的进步是一个挑战。 16 | 17 | AI不再是Web开发领域中的流行语，因此我们所能做的就是屈服于技术。尽管与AI合作有其优势，但它易于访问，使程序自动化，创建可以激发并保持专注的空间。不可否认的是，似乎即将发生深刻的变化，但问题是AI对Web开发领域有什么影响。 18 | 19 | 仔细研究当前的Web开发空间。您会发现，这个领域已从简单的基于文本的网页发展到很大范围，包括各种吸引人的音频和视觉元素。 20 | 21 | 网站已经超越了信息媒介。以引人注目的设计为特色的动画和版式。目前正在朝着改善用户界面的方向进行罕见的深刻转变。人们期望界面更加吸引人，响应更快，并最终变得更人性化。 22 | 23 | 例如，LinkedIn是全球范围最广泛的专业网络网站，现已对其网站进行了改版，以为其用户提供更好的浏览体验。另一方面，人工智能似乎并不仅限于这些科幻幻想。 24 | 25 | 预计在未来几年中，人工智能的市场规模将达到1530亿美元。 26 | 27 | 随着科幻电影中巨大的太空战争小说，我们对人工智能的期望也得到了发展。即使我们知道这些电影并不现实，但情况会发生变化，并且AI将在不久的将来被视为主流计算的核心路径。 28 | 29 | 30 | 31 | ## 二、人工智能的能力是什么？ 32 | 33 | ![AI](img/clip_image004.jpg) 34 | 35 | AI提供了一些独特的增值 36 | 37 | AI具有多种功能，包括通过回复预测和语音优化来提供复杂的客户体验。 38 | 39 | 40 | 41 | ## 2.1 优化语音搜索 42 | 43 | 随着Internet浏览变得更加用户有效，人们渴望更快，最高效地收集信息。语音搜索势必会发展，因为您不能忽略该功能获得发展的时间，尤其是在年轻人中。 44 | 45 | 电子商务行业是语音激活搜索的最好，最杰出的例子之一。可以看到虚拟购物助手根据用户查询展示过滤器搜索结果，从而使在线购物体验更加轻松。 46 | 47 | 人工智能在个人层面上为消费者提供了帮助，优化的语音搜索将很快成为虚拟购物设置中的必要条件。 48 | 49 | 50 | 51 | ## 2.2 自动化 52 | 53 | 人工智能技术通过执行单调的设计任务成功地减少了Web开发人员所花费的时间。它不仅限于这些，而且似乎已经在从网页设计到网站开发的过程中崭露头角。 54 | 55 | 产品建议，搜索引擎结果，图像设计和内容开发均受AI影响。由于这些原因，开发人员被认为更加专注于提供站点个性化的其他元素（关键元素）。 56 | 57 | 像Facebook和Google这样的全球行业领导者已经推出了AI工具包，这使得在Web应用程序中采用AI成为一项轻松的任务。 58 | 59 | 60 | 61 | ## 2.3 增强的用户交互。 62 | 63 | 在访问网站时遇到那些为您服务的弹出式AI聊天机器人吗？有时他们很有帮助。例如，患者通常更喜欢使用聊天机器人进行查询，而不是在医院接待处排长队。这些基于AI的聊天机器人可为访客提供答案。 64 | 65 | 聊天机器人还可以使用机器学习算法，以根据用户列出的症状进行快速诊断。通过消除所有通信障碍，AI使浏览体验更加舒适和用户友好。 66 | 67 | ![img](img/clip_image006.jpg) 68 | 69 | 人工智能使浏览体验更加舒适和用户友好。 70 | 71 | 72 | 73 | ## 2.4 网站开发中的AI 74 | 75 | ### 1. 自学算法使编码更容易。 76 | 77 | 人工智能用于简化工作，尤其是Web编程。对于Web开发人员而言，编码是最大的挑战之一，它要求他或她的骑士以人工智能的形式使Armor脱颖而出。 78 | 79 | 80 | 81 | 可以使用基本功能。其中包括添加，编辑或更新数据库记录，提供有关那些代码部分以解决问题的见解。基于这些想法，Web开发人员可以完美地编写程序，以解决自己的错误行为。 82 | 83 | 84 | 85 | 可以实施AI来创建从头到完整功能代码的代码（具有自我修改功能），而无需任何人工干预。借助AI的魔力，可以更快地创建应用和机器人，而又不会牺牲性能。 86 | 87 | 88 | 89 | ### 2. 卓越的用户体验。 90 | 91 | 用户体验是人工智能开始进入主流的地方。满足最终客户的需求对于任何企业都至关重要。没有什么比介绍聊天机器人更好地服务客户了。客户互动得到妥善处理。 92 | 93 | 94 | 95 | 除此之外，系统还可以自动执行日常任务。通过AI，通过响应用户对博客或文章的查询和评论来增强用户参与度变得更加容易。 96 | 97 | 98 | 99 | ### 3. 营销。 100 | 101 | AI应用机器学习来做出与您的业务相关的营销预测。作为AI机器学习的结果，您将了解： 102 | 103 | - 您的最终客户下一步打算购买什么？ 104 | 105 | - 有客户不满意的产品吗？ 106 | 107 | - 客户用来访问网站的一组设备和媒介 108 | 109 | - 客户决定购买产品的理想时间 110 | 111 | 112 | 113 | 这些好处将缓慢而稳定地改变业务。 Web开发公司已开始充分利用人工智能。熟悉世界上最受欢迎的技术创新之一。——制作人工智能（AI） 114 | 115 | -------------------------------------------------------------------------------- /article/2019/12/img/10_HYPE_images_800px_web.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/10_HYPE_images_800px_web.jpg -------------------------------------------------------------------------------- /article/2019/12/img/10_Learning_convention_700px_web.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/10_Learning_convention_700px_web.jpg -------------------------------------------------------------------------------- /article/2019/12/img/10_Solving_Rubiks_Cube_800px_web.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/10_Solving_Rubiks_Cube_800px_web.jpg -------------------------------------------------------------------------------- /article/2019/12/img/10_Solving_cube_architecture_800px_web.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/10_Solving_cube_architecture_800px_web.jpg -------------------------------------------------------------------------------- /article/2019/12/img/10_Topical_chat_sample_700px_web.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/10_Topical_chat_sample_700px_web.jpg -------------------------------------------------------------------------------- /article/2019/12/img/1_Dialogue_history_600px_web.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/1_Dialogue_history_600px_web.jpg -------------------------------------------------------------------------------- /article/2019/12/img/1_EfficientNet_model_800px_web.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/1_EfficientNet_model_800px_web.jpg -------------------------------------------------------------------------------- /article/2019/12/img/1_EfficientNet_results_600px_web.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/1_EfficientNet_results_600px_web.jpg -------------------------------------------------------------------------------- /article/2019/12/img/1_TRADE_architecture_800px_web.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/1_TRADE_architecture_800px_web.jpg -------------------------------------------------------------------------------- /article/2019/12/img/1_Tree_search_in_RL_600px_web.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/1_Tree_search_in_RL_600px_web.jpg -------------------------------------------------------------------------------- /article/2019/12/img/2_Learning_Depth_800px_web.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/2_Learning_Depth_800px_web.jpg -------------------------------------------------------------------------------- /article/2019/12/img/2_Shuffling_sample_800px_web.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/2_Shuffling_sample_800px_web.jpg -------------------------------------------------------------------------------- /article/2019/12/img/2_Social_influence_reward_450px_web.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/2_Social_influence_reward_450px_web.jpg -------------------------------------------------------------------------------- /article/2019/12/img/3_Framework_overview_600px_web.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/3_Framework_overview_600px_web.jpg -------------------------------------------------------------------------------- /article/2019/12/img/3_Instruction_600px_web.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/3_Instruction_600px_web.jpg -------------------------------------------------------------------------------- /article/2019/12/img/3_Persuasion_dataset_500px_web.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/3_Persuasion_dataset_500px_web.jpg -------------------------------------------------------------------------------- /article/2019/12/img/3_Persuastion_classifier_500px_web.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/3_Persuastion_classifier_500px_web.jpg -------------------------------------------------------------------------------- /article/2019/12/img/4_OpenDialKG_architecture_800px_web.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/4_OpenDialKG_architecture_800px_web.jpg -------------------------------------------------------------------------------- /article/2019/12/img/4_OpenDialKG_overview_550px_web.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/4_OpenDialKG_overview_550px_web.jpg -------------------------------------------------------------------------------- /article/2019/12/img/4_Overview_800px_web.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/4_Overview_800px_web.jpg -------------------------------------------------------------------------------- /article/2019/12/img/4_RAdam_650px_web.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/4_RAdam_650px_web.jpg -------------------------------------------------------------------------------- /article/2019/12/img/5_Distributional_RL_450px_web.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/5_Distributional_RL_450px_web.jpg -------------------------------------------------------------------------------- /article/2019/12/img/5_Dynamic_speaker_model_800px_web.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/5_Dynamic_speaker_model_800px_web.jpg -------------------------------------------------------------------------------- /article/2019/12/img/5_Reasoning_RCNN_example_600px_web.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/5_Reasoning_RCNN_example_600px_web.jpg -------------------------------------------------------------------------------- /article/2019/12/img/5_Reasoning_RCNN_overview_800px_web.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/5_Reasoning_RCNN_overview_800px_web.jpg -------------------------------------------------------------------------------- /article/2019/12/img/5_XLNet_700px_web.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/5_XLNet_700px_web.jpg -------------------------------------------------------------------------------- /article/2019/12/img/6_FIx_train_test_discrepancy_800px_web.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/6_FIx_train_test_discrepancy_800px_web.jpg -------------------------------------------------------------------------------- /article/2019/12/img/6_Regularization_800px_web.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/6_Regularization_800px_web.jpg -------------------------------------------------------------------------------- /article/2019/12/img/7_Dialogue_history_600px_web.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/7_Dialogue_history_600px_web.jpg -------------------------------------------------------------------------------- /article/2019/12/img/7_Guided_meta_policy_search_800px_web.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/7_Guided_meta_policy_search_800px_web.jpg -------------------------------------------------------------------------------- /article/2019/12/img/7_Optimizng_diversity_500px_web.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/7_Optimizng_diversity_500px_web.jpg -------------------------------------------------------------------------------- /article/2019/12/img/7_SinGAN_architecture_800px_web.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/7_SinGAN_architecture_800px_web.jpg -------------------------------------------------------------------------------- /article/2019/12/img/7_SinGAN_samples_800px_web.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/7_SinGAN_samples_800px_web.jpg -------------------------------------------------------------------------------- /article/2019/12/img/7_SpaceFusion_architecture_800px_web.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/7_SpaceFusion_architecture_800px_web.jpg -------------------------------------------------------------------------------- /article/2019/12/img/7_TRADE_architecture_800px_web.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/7_TRADE_architecture_800px_web.jpg -------------------------------------------------------------------------------- /article/2019/12/img/8_Build_it_break_it_400px_web.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/8_Build_it_break_it_400px_web.jpg -------------------------------------------------------------------------------- /article/2019/12/img/8_Fermat_paths_overview_800px_web.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/8_Fermat_paths_overview_800px_web.jpg -------------------------------------------------------------------------------- /article/2019/12/img/8_Local_aggregation_800px_web.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/8_Local_aggregation_800px_web.jpg -------------------------------------------------------------------------------- /article/2019/12/img/8_Local_aggregation_samples_600px_web.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/8_Local_aggregation_samples_600px_web.jpg -------------------------------------------------------------------------------- /article/2019/12/img/9_Change_captioning_sample_700px_web-1575955467933.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/9_Change_captioning_sample_700px_web-1575955467933.jpg -------------------------------------------------------------------------------- /article/2019/12/img/9_Change_captioning_sample_700px_web.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/9_Change_captioning_sample_700px_web.jpg -------------------------------------------------------------------------------- /article/2019/12/img/9_DUDA_architecture_800px_web.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/9_DUDA_architecture_800px_web.jpg -------------------------------------------------------------------------------- /article/2019/12/img/9_Emergent_tool_600px_web.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/9_Emergent_tool_600px_web.jpg -------------------------------------------------------------------------------- /article/2019/12/img/9_Social_influence_reward_350px_web.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/9_Social_influence_reward_350px_web.jpg -------------------------------------------------------------------------------- /article/2019/12/img/Abstractive_summarization_450px_web.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/Abstractive_summarization_450px_web.jpg -------------------------------------------------------------------------------- /article/2019/12/img/Conversational_AI_700px_web.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/Conversational_AI_700px_web.jpg -------------------------------------------------------------------------------- /article/2019/12/img/Fig2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/Fig2.png -------------------------------------------------------------------------------- /article/2019/12/img/Histograms-1577372495033.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/Histograms-1577372495033.png -------------------------------------------------------------------------------- /article/2019/12/img/Histograms.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/Histograms.png -------------------------------------------------------------------------------- /article/2019/12/img/LikelihoodCompare-1577372505121.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/LikelihoodCompare-1577372505121.png -------------------------------------------------------------------------------- /article/2019/12/img/LikelihoodCompare.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/LikelihoodCompare.png -------------------------------------------------------------------------------- /article/2019/12/img/Screenshot019-12-06.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/Screenshot019-12-06.png -------------------------------------------------------------------------------- /article/2019/12/img/Screenshot2019-12-06-1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/Screenshot2019-12-06-1.png -------------------------------------------------------------------------------- /article/2019/12/img/Semantics-1577372500437.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/Semantics-1577372500437.png -------------------------------------------------------------------------------- /article/2019/12/img/Semantics.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/Semantics.png -------------------------------------------------------------------------------- /article/2019/12/img/SenticNet_700px_web.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/SenticNet_700px_web.jpg -------------------------------------------------------------------------------- /article/2019/12/img/clip_image002-1577255290206.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/clip_image002-1577255290206.jpg -------------------------------------------------------------------------------- /article/2019/12/img/clip_image002.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/clip_image002.jpg -------------------------------------------------------------------------------- /article/2019/12/img/clip_image004-1577255290206.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/clip_image004-1577255290206.jpg -------------------------------------------------------------------------------- /article/2019/12/img/clip_image004.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/clip_image004.jpg -------------------------------------------------------------------------------- /article/2019/12/img/clip_image006-1577255290206.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/clip_image006-1577255290206.jpg -------------------------------------------------------------------------------- /article/2019/12/img/clip_image006.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/clip_image006.jpg -------------------------------------------------------------------------------- /article/2019/12/img/clip_image008.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/clip_image008.jpg -------------------------------------------------------------------------------- /article/2019/12/img/clip_image010.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/clip_image010.jpg -------------------------------------------------------------------------------- /article/2019/12/img/clip_image011.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/clip_image011.jpg -------------------------------------------------------------------------------- /article/2019/12/img/clip_image013.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/clip_image013.jpg -------------------------------------------------------------------------------- /article/2019/12/img/cover_CV_1600px_web-1280x640.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/cover_CV_1600px_web-1280x640.jpg -------------------------------------------------------------------------------- /article/2019/12/img/cover_RL_1600px_web-1280x640.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/cover_RL_1600px_web-1280x640.jpg -------------------------------------------------------------------------------- /article/2019/12/img/cover_TOP10ConvAI_1600px_web-1280x640.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/cover_TOP10ConvAI_1600px_web-1280x640.jpg -------------------------------------------------------------------------------- /article/2019/12/img/cover_TOP10_1600px_web-1280x640.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/cover_TOP10_1600px_web-1280x640.jpg -------------------------------------------------------------------------------- /article/2019/12/img/image1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/image1.png -------------------------------------------------------------------------------- /article/2019/12/img/image15-1577372488664.gif: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/image15-1577372488664.gif -------------------------------------------------------------------------------- /article/2019/12/img/image15.gif: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/image15.gif -------------------------------------------------------------------------------- /article/2019/12/img/image2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/image2.png -------------------------------------------------------------------------------- /article/2019/12/img/image3.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/image3.png -------------------------------------------------------------------------------- /article/2019/12/img/image5.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/image5.png -------------------------------------------------------------------------------- /article/2019/12/img/image7.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/image7.png -------------------------------------------------------------------------------- /article/2019/12/img/这个物体识别数据集颠覆了世界上最好的计算机视觉模型.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/article/2019/12/img/这个物体识别数据集颠覆了世界上最好的计算机视觉模型.png -------------------------------------------------------------------------------- /article/2019/12/医疗保健发展ML的经验教训.md: -------------------------------------------------------------------------------- 1 | 原文：https://ai.googleblog.com/2019/12/lessons-learned-from-developing-ml-for.html 2 | 3 | 作者：Yun Liu, Research Scientist and Po-Hsuan Cameron Chen, Research Engineer, Google Health 4 | 5 | 翻译：[Quan Chen](https://github.com/chenquan) 6 | 7 | 8 | 9 | # 医疗保健发展ML的经验教训 10 | 11 | 机器学习（ML）方法在医学领域并不陌生-传统的技术（例如决策树和Logistic回归）通常用于推导已建立的临床方法，这在医学上并不陌生- 由研究科学家Liu Yun和研究工程师Po-Hsuan Cameron Chen发布决策规则（例如，用于估计冠状动脉事件后患者风险的[TIMI风险评分](https://www.ncbi.nlm.nih.gov/pubmed/10938172)）。但是，近年来，在[各种医学应用中使用](https://ai.googleblog.com/search/label/Health) ML的浪潮激增，例如从[复杂的医学记录中](https://ai.googleblog.com/2018/05/deep-learning-for-electronic-health.html)预测不良事件以及[提高基因组测序的准确性](https://ai.googleblog.com/2017/12/deepvariant-highly-accurate-genomes.html)。除了检测已知疾病外，ML模型还可以找出以前未知的信号，例如视网膜底照片中的[心血管危险因素](https://ai.googleblog.com/2018/02/assessing-cardiovascular-risk-factors.html)和[屈光不正](https://iovs.arvojournals.org/article.aspx?articleid=2683803)。 12 | 13 | 除了开发这些模型之外，重要的是要了解如何将它们整合到医疗工作流程中。先前的研究表明，在[糖尿病眼病分级](https://ai.googleblog.com/2018/12/improving-effectiveness-of-diabetic.html)和[诊断转移性乳腺癌方面](https://ai.googleblog.com/2018/10/applying-deep-learning-to-metastatic.html)，ML模型辅助的医生比单医生或模型更准确。同样，医生能够以[交互方式利用基于ML的工具](https://ai.googleblog.com/2019/07/building-smily-human-centric-similar.html)来搜索相似的医学图像，从而进一步证明医生可以有效地使用基于ML的辅助工具。 14 | 15 | 为了改善ML和医疗保健研究的指导，我们撰写了两篇文章，发表在《*[自然材料》](https://www.nature.com/nmat/)*和*[《美国医学会》](https://jamanetwork.com/journals/jama)*杂志（*JAMA*）上。第一个是让ML从业者更好地了解如何为医疗保健开发ML解决方案，第二个是为希望更好地了解ML是否有助于改善临床工作的医生。 16 | 17 | **如何为医疗保健开发机器学习模型** 18 | 在《[如何**为医疗保健**开发机器学习模型](https://www.nature.com/articles/s41563-019-0345-0)》（[pdf](https://rdcu.be/bxGE4)）中，发表在[《*Nature Materials》*](https://www.nature.com/nmat/)上，我们讨论了确保针对医疗环境的特定需求为该环境开发ML模型的重要性。这应该在医疗保健应用技术开发的整个过程中完成，从问题选择，数据收集和ML模型开发到验证和评估，部署和监视。 19 | 20 | 首先要考虑的是如何确定既有迫切的临床需求又要基于ML模型进行预测的医疗保健问题，以提供可行的见解。例如，用于检测糖尿病眼病的ML可以帮助减轻在世界上糖尿病盛行且医疗专家人数不足的地区的筛查工作量。一旦发现问题，就必须谨慎处理数据，以确保应用于数据的真实标签或“参考标准”是可靠和准确的。这可以通过与专家对相同数据的解释（例如视网膜眼底照片）进行比较来验证标签，或者通过正交程序（例如活检以确认放射学发现）来完成。这一点特别重要，因为高质量的参考标准对于训练有用的模型和准确地测量模型性能都是必不可少的。因此，至关重要的是，ML从业者必须与临床专家紧密合作，以确保严格的参考标准用于培训和评估。 21 | 22 | 在医疗保健中，模型性能的验证也大不相同，因为分布偏移的问题很明显。与通常进行单个随机测试分组的典型ML研究相反，医学领域使用多个独立的评估数据集来验证值，每个评估数据集的患者群体不同，可能在人口统计学或疾病亚型方面也有所差异。由于具体情况取决于问题，因此ML从业人员应与临床专家密切合作以设计研究，尤其要确保模型验证和性能指标适合于临床环境。 23 | 24 | 集成的辅助工具还需要进行周密的设计，以确保无缝集成工作流程，同时还要考虑这些工具对诊断准确性和工作流程效率的影响。重要的是，对这些工具在进行实际患者护理中的前瞻性研究具有重大价值，以更好地了解它们对现实世界的影响。 25 | 26 | 最后，即使在验证和工作流集成之后，部署之旅才刚刚开始：监管批准以及对意外错误模式或实际使用中的不良事件的持续监控仍然是第一位。 27 | 28 | | ![img](img/image2.png) | 29 | | ------------------------------------------------------------ | 30 | | 根据我们在检测糖尿病性眼病和转移性乳腺癌方面的工作，以上是医疗保健的ML模型的转换过程（开发，验证和部署）的两个示例。 | 31 | 32 | **赋权医生更好地了解机器学习的医疗保健** 33 | 在“[医学文献用户指南：如何阅读使用机器学习的文章](https://jamanetwork.com/journals/jama/fullarticle/2754798?guestAccessKey=fd274bef-2813-446f-bb10-e5134640922f)，“ 出版于*[贾玛](https://jamanetwork.com/journals/jama)*，我们总结了关键的ML概念，以帮助医生评估ML研究是否适合其工作流程。本文的目的是解开ML的神秘面纱，以帮助需要使用ML系统的医生了解其基本功能，何时信任它们以及它们的潜在局限性。 34 | 35 | 医生在评估任何研究时都会问的主要问题（无论是否为ML）仍然存在：参考标准是否可靠？评估是否公正无误，例如评估假阳性和假阴性，并与临床医生进行公平比较？该评估是否适用于我所见的患者人群？ML模型如何帮助我照顾病人？ 36 | 37 | 除了这些问题之外，还应该仔细检查ML模型，以确定在其开发中使用的超参数是否在与最终模型评估所使用的数据集无关的数据集上进行了调优。这一点特别重要，因为不适当的调整会导致对性能的高估，例如，可以训练足够复杂的模型以完全[记住训练数据集](https://arxiv.org/abs/1611.03530)但却很难将其推广到新数据。要确保适当地进行调优，需要注意数据集命名的歧义，尤其是要使用受众最熟悉的术语： 38 | 39 | | [![img](img/image1.png)](https://1.bp.blogspot.com/-chq840C1g9Y/Xe_qQclPWzI/AAAAAAAAFAQ/kkIWqHikIjAw04GiS4PvrhunHxLo8-ezQCLcBGAsYHQ/s1600/image1.png) | 40 | | ------------------------------------------------------------ | 41 | | ML和医疗保健这两个领域的交集在术语“验证数据集”中造成歧义。ML验证集通常是用于超参数调整的数据集，而“临床”验证集通常用于最终评估。为了减少混淆，我们选择将（ML）验证集称为“调整”集。 | 42 | 43 | **未来展望** 44 | 现在是从事医疗保健AI的激动人心的时刻。“从实验台到临床”的道路是一条漫长的道路，需要来自多个学科的研究人员和专家在此翻译过程中共同努力。我们希望这两篇文章将促进相互理解，这对于ML从业人员开发医疗保健模型的重要性以及评估这些模型的医生所强调的内容，从而推动各个领域之间的进一步合作，并最终对患者护理产生积极影响。 -------------------------------------------------------------------------------- /article/2019/12/在营销和广告中利用NLP的新方法.md: -------------------------------------------------------------------------------- 1 | # 在营销和广告中利用NLP的新方法 2 | 3 | 自然语言处理（NLP）是AI研究历史最悠久的领域之一。能够与计算机说话并被口头或书面理解的想法与人工智能的想法早就存在了。 4 | 5 | 如今，NLP已经远远不仅仅是一种更好的输入方法-我们能够使用机器学习算法来以前所未有的新方式理解，评估甚至合成文本和语音。鉴于营销在很大程度上依靠文字来传达有关人和产品的信息，因此NLP在营销技术上占据了很大的市场份额也就不足为奇了。 6 | 7 | 那么，在MarTech中，我们看到NLP起飞的地方有哪些？ 8 | 9 | 10 | 11 | 12 | 13 | ## 1.捕捉潜在客户的聊天机器人 14 | 15 | 很少会发现在首页上没有弹出聊天框来帮助您的网站。您甚至可以在Facebook Messenger中“手动构建”聊天机器人以充当自动回复程序。[Drift](https://www.drift.com/)和[Intercom](https://www.intercom.com/live-chat)等平台是典型的平台，提供自动响应平台，该平台还可以收集有关您的访客的信息。当前，一旦对话变得更加复杂，这些聊天机器人往往会变得有些笨拙，或者在事情变得有趣时依赖于能够移交给人类客户支持人员。 16 | 17 | 现在的最新[研究](https://medium.com/huggingface/how-to-build-a-state-of-the-art-conversational-ai-with-transfer-learning-2d818ac26313)表明，只需输入几行以勾勒出所需的特征，就可以创建具有背景故事甚至个性特征的聊天机器人。这包括镜像与机器人交互的人的能力。很快，我们将看到一个现实的聊天机器人个性的全新世界，能够与被交谈的人保持一致，这已经证明可以发展融洽的关系（并使我们的机器人在移交给人类之前可以获得更多信息）。 18 | 19 | 20 | 21 | ![对话式人工智能](img/Conversational_AI_700px_web.jpg) 22 | 23 | *具有角色的对话式AI（*[*由HuggingFace设计*](https://medium.com/huggingface/how-to-build-a-state-of-the-art-conversational-ai-with-transfer-learning-2d818ac26313)*）* 24 | 25 | 26 | 27 | ## 2.通过语音搜索获得更广泛的受众 28 | 29 | 舒适的打字人数一直是访问数字服务的障碍。近年来，语音搜索已变得越来越流行，从Siri和Google Assistant支持的智能手机到Alexa等“仅语音”扬声器系统的问世。 30 | 31 | 目前，[有25％的25-49岁年龄段的](https://www.dialogtech.com/blog/search-marketing/voice-search-statistics)人每天至少使用智能设备通话一次，并且智能扬声器的出货量从2017年第三季度到2018年第三季度同比增长了一倍。据估计，到2020年，使声音成为明天营销人员的重要平台。 32 | 33 | 34 | 35 | ## 3.情感分析，以了解客户 36 | 37 | 由于NLP功能在过去几年中取得了长足的进步，因此AI能够提取语言背后的意图和情感。就像使用Vibe的“ [会话分析”](https://www.vibes.com/platform/analytics-insights/conversational-analytics/)平台一样，它可以用来推导与单个客户的对话情绪，并引导对话进行转化。如[Remesh](https://remesh.ai/)所提供的，它还可用于查看大型团体的情绪和直接的团体对话。 38 | 39 | 情感分析的最新研究突破包括[将常识知识](https://aaai.org/ocs/index.php/AAAI/AAAI18/paper/view/16541)整合到深度神经网络中以改善方面和情感极性的识别，或者使用[具有门控机制的卷积神经网络（CNN）](https://arxiv.org/abs/1805.07043)代替传统的长短期记忆网络（LSTM）来获得更大的成就效率和更好的性能。 40 | 41 | 42 | 43 | ![情绪分析](img/SenticNet_700px_web.jpg) 44 | 45 | *SenticNet语义网络（*[*Ma，Peng和Cambria，2018年*](https://sentic.net/sentic-lstm.pdf)*）* 46 | 47 | 48 | 49 | ## 4.自动汇总以及早发现趋势 50 | 51 | 市场营销中NLP的另一个用例是相关新闻聚合领域。最新的文本汇总方法使营销人员能够从在线新闻，文章和其他数据源中提取有关其品牌的相关内容。 52 | 53 | 斯坦福大学的Abigail See认为，基于NLP的自动摘要已从简单的[提取摘要发展](http://www.abigailsee.com/2017/04/16/taming-rnns-for-better-summarization.html)而来，在[摘要中](http://www.abigailsee.com/2017/04/16/taming-rnns-for-better-summarization.html)，原始来源的内容被缩短和重新排列。AI越来越能够生成摘要文本，从而创建听起来更加自然的最终产品。[抽象摘要](https://arxiv.org/pdf/1704.04368.pdf)是真正的游戏规则改变者，它可以从各种来源动态生成由生成的内容组成的摘要。 54 | 55 | 56 | 57 | ![抽象总结](img/Abstractive_summarization_450px_web.jpg) 58 | 59 | *高度抽象的摘要示例，其中用**蓝色**表示新颖的单词（[请参见Liu和Manning，2017年](https://arxiv.org/abs/1704.04368)）* 60 | 61 | 62 | 63 | ## 5. AI广告撰写器，可高效生成广告 64 | 65 | 努力创建有效的广告口号？AI可以为您完成这项工作。最近的文本生成技术可以帮助广告商生成优化的关键字，广告标语，产品列表等。 66 | 67 | 例如，阿里巴巴推出了一款[AI广告撰稿人](https://www.alizila.com/alibaba-debuts-ai-copywriter/)，它承担了创建有效产品说明的繁重工作。该工具在外国公司中特别流行，这些公司利用此AI广告撰稿人来创建中文产品说明。有几家提供类似服务的创业公司，Persado和Motiva只是提供[AI广告优化的](https://thenextweb.com/full-stack/2017/12/29/these-startups-use-ai-to-optimize-marketing-messages/)一些公司。这些bot不可能使任何人失业，尽管如果您想释放自己的写作才能去从事更有趣的任务，它们确实是一个很好的工具。 68 | 69 | 70 | 71 | ## 6. AI编写器，可有效生成内容 72 | 73 | 自从图灵第一次提出他著名的测试之前，就产生了产生令人信服的“图灵测试通过”内容的人工智能思想，这可以从启蒙时代自动机的普及中看到，其中包括一个[可编程的作家。](https://www.thisiscolossal.com/2013/11/the-writer-automata/) 74 | 75 | 250年后，我们终于能够实现那些发明家梦。您可能还记得今年早些时候的[OpenAI案例](https://towardsdatascience.com/openais-gpt-2-the-model-the-hype-and-the-controversy-1109f4bfd5e8)，当时一家公司创建了一种语言生成模型，由于与假新闻生成相关的风险，他们与公众共享时感到不安全。 76 | 77 | 但是，还有很长的路要走。商业上可用的系统距离生成长的，有意义的和连贯的文本还很远。甚至[OpenAI的“危险” GPT-2](https://www.topbots.com/openai-gpt-2-visualization/)有时也会出现上下文错误，并且众所周知会重复出现。 78 | 79 | 80 | 81 | ![OpenAI可视化](https://www.topbots.com/wp-content/uploads/2019/04/OpenAI_text_web.jpg) 82 | 83 | *AI生成的故事样本（来自*[*OpenAI Blog*](https://blog.openai.com/better-language-models/)） 84 | 85 | 86 | 87 | ## 7.机器转录可搜索的视频内容 88 | 89 | 语音识别的改进使我们达到了现在可以自动进行视频和音频转录的地步。这为将视频和音频文件转换为包括可搜索内容提供了机会，从而使这些媒体在改善SEO或为随附文章创建人为水平的准确文本方面更加可行。 90 | 91 | YouTube已经为其所有视频提供了机器生成的字幕。将来，我们也可以期待即时进行机器音频和视频翻译。 92 | 93 | 94 | 95 | ## 摘要 96 | 97 | 简而言之，NLP将继续成为营销人员的主要“首选”人工智能技术之一。在可预见的将来，它还将成为MarTech发展的领先优势的一部分。 98 | 99 | 这些技术将变得越来越接近人类在未来几年内所能迅速实现的目标，并且在许多情况下将极大地改变营销部门和角色的面貌。就像所有最新的AI开发一样，对于营销人员来说，重要的是要学习如何从这些工具中获得最大收益，如果他们希望在我们走向未来时保持自己和技能的相关性。 -------------------------------------------------------------------------------- /article/2019/12/改进机器学习模型中的分布外检测.md: -------------------------------------------------------------------------------- 1 | 2 | 3 | 原文：https://ai.googleblog.com/2019/12/improving-out-of-distribution-detection.html 4 | 5 | 作者：Jie Ren, Research Scientist, Google Research and Balaji Lakshminarayanan, Research Scientist, DeepMind 6 | 7 | 翻译：[Quan Chen](https://github.com/chenquan) 8 | 9 | # 改进机器学习模型中的分布外检测 10 | 11 | 机器学习系统的成功部署要求系统能够区分异常数据或与培训中使用的数据有显着差异的数据。对于深度神经网络分类器而言，这尤其重要，因为深度分类器可能会以较高的置信度将此类分布失调（OOD）输入分类为分布失调类。当这些预测为现实决策提供依据时，这一点至关重要。 12 | 13 | 例如，机器学习模型在实际应用中的一项具有挑战性的应用是基于基因组序列的细菌识别。细菌检测对于败血症等传染病的诊断和治疗以及食源性病原体的识别至关重要。多年来，不断发现新的细菌类别，并且通过交叉验证测量的在已知类别上训练的神经网络分类器可实现较高的准确性，但部署模型具有挑战性，因为现实世界中的数据不断发展且不可避免地会包含训练数据中不存在看不见类别的基因组（OOD输入）。 14 | 15 | | ![img](img/image15-1577372488664.gif) | 16 | | ------------------------------------------------------------ | 17 | | 这些年来，逐渐发现了新的细菌种类。在已知类上训练的分类器可实现属于已知类的测试输入的高精度，但会错误地将来自未知类的输入（即分布不当）错误地分类为已知类。 | 18 | 19 | 在[NeurIPS 2019上](https://nips.cc/Conferences/2019)发表的“ [分布外检测的似然比](https://arxiv.org/abs/1906.02845) ”中，我们提出并[发布](https://git.io/JeP2s)了一种用于OOD检测的实际基因组序列基准数据集，该数据集受到上述现实世界挑战的启发。我们使用基因组序列上的生成模型测试了现有的OOD检测方法，发现*[似然](https://en.wikipedia.org/wiki/Likelihood_function)*值（即，使用分布内数据估算的输入来自分布的模型概率）常常是错误的。在最近的图像深度生成模型研究中也观察到了这种现象。我们通过背景统计的影响解释了这种现象，并提出了*似然比*基于解决方案的解决方案，可显着提高OOD检测的准确性。 20 | 21 | **为何密度模型无法进行OOD检测？** 22 | 为了模拟真实的问题并系统地评估不同的方法，我们使用来源于[原核基因组序列](https://www.ncbi.nlm.nih.gov/genome/browse#!/prokaryotes/)的公共[NCBI目录中](https://www.ncbi.nlm.nih.gov/genome/browse#!/prokaryotes/)的数据建立了一个新的细菌数据集。为了模拟测序数据，我们将基因组分成250个碱基对的短序列，这是当前测序技术通常产生的长度。然后，我们按发现日期将分布内和分布外的数据分开，以便将在截止时间之前发现的细菌类别定义为分布内，然后将其后发现的细菌类别定义为OOD。 23 | 24 | 然后，我们针对分布内基因组序列训练了一个深层的生成模型，并通过绘制它们的似然值来检查该模型对分布内输入和分布外输入的区分程度。OOD序列可能性的直方图与分布内序列的直方图在很大程度上重叠，这表明生成模型无法区分两个种群进行OOD检测。类似的结果显示在[早期的](https://arxiv.org/abs/1810.09136) [工作](https://arxiv.org/abs/1810.01392)对图像的深度生成模型，例如，对[Fashion-MNIST](https://github.com/zalandoresearch/fashion-mnist)数据集（包括衣服和鞋类图像）中的图像进行训练的[PixelCNN ++](https://arxiv.org/abs/1701.05517)模型将更高的可能性分配给[MNIST](http://yann.lecun.com/exdb/mnist/)数据集的OOD图像（后者由数字0-9组成）。 25 | 26 | | ![img](img/Histograms-1577372495033.png)| 27 | | ------------------------------------------------------------ | 28 | | **左：**分布内和分布外（OOD）基因组序列的似然值直方图。这种可能性无法将分布内基因组序列和OOD基因组序列分开。**右：**在Fashion-MNIST上训练并在MNIST上评估的模型的相似图。与分布内图像相比，该模型为OOD（MNIST）分配了更高的似然值。 | 29 | 30 | 在研究这种故障模式时，我们观察到这种可能性可能会被背景统计数据所混淆。为了更直观地理解该现象，假定输入由两个部分组成：（1）以背景统计为特征的*背景*部分，以及（2）*语义*具有特定于分布内数据的模式特征的组件。例如，可以将MNIST图像建模为背景加语义。当人们解释图像时，我们可以轻松地忽略背景，而主要关注语义信息，例如，下图中的“ /”标记。但是，对于图像中的所有像素（包括语义像素和背景像素）都计算了似然度。尽管我们只想将语义可能性用于决策，但是原始可能性可以由背景决定。 31 | 32 | | ![img](img/Semantics-1577372500437.png)| 33 | | ------------------------------------------------------------ | 34 | | **左上：** Fashion-MNIST的示例图像。**左下：**来自MNIST的示例图像。**右：** MNIST图像中的背景和语义成分。 | 35 | 36 | **OOD检测** 37 | 的*似然比*我们提出了一种*似然比方法*，该*方法*去除了背景的影响并着重于语义。首先，我们在扰动的输入上训练背景模型。干扰输入的方法是受到基因突变的启发，然后通过随机选择输入中的位置并用具有相同概率的另一个值替换该值来进行操作。对于成像，这些值是从256个可能的像素值中随机选择的，对于DNA序列，该值是从四个可能的[核苷酸中选择的](https://en.wikipedia.org/wiki/Nucleotide)（A，T，C或G）。适当的扰动会破坏数据中的语义结构，并且仅捕获背景。然后，我们计算完整模型与背景模型之间的似然比，并消除背景成分，从而仅保留语义的似然。可能性比是*背景对比得分*，即*与背景相比*，它捕获了语义的重要性。 38 | 39 | 为了定性评估似然比与似然比之间的差异，我们在Fashion-MNIST和MNIST数据集中绘制了每个像素的值，从而创建了与图像大小相同的热图。这使我们可以直观地看出哪些像素对这两个项的贡献最大。从对数似然热图可以看出，背景像素对似然性的贡献远大于语义像素。事后看来，这并不奇怪，因为背景像素主要由一串零组成，该模式很容易被模型学习。MNIST和Fashion-MNIST热图之间的比较说明了MNIST为什么返回更高的似然值-它只是具有更多的背景像素！相反，似然比更多地集中在语义像素上。 40 | 41 | | ![img](img/LikelihoodCompare-1577372505121.png) | 42 | | ------------------------------------------------------------ | 43 | | **左图**： Fashion-MNIST和MNIST数据集的对数似然热图。 **右图**：相同的示例显示了似然比的热图。值较高的像素具有较浅的阴影。似然率由“背景”像素决定，而似然比集中于“语义”像素，因此更适合OOD检测。 | 44 | 45 | 基于针对Fashion-MNIST训练的PixelCNN ++模型， 我们的似然比方法可校正背景效果，并从0.089到0.994 的[AUROC分数](https://en.wikipedia.org/wiki/Receiver_operating_characteristic#Area_under_the_curve)显着改善MNIST图像的OOD检测。当将其应用于基因组基准数据集时，与其他12种基线方法相比，该方法可在此具有挑战性的问题上实现最先进的性能。 46 | 47 | 有关更多详细信息，请查看我们最近的[论文](https://arxiv.org/abs/1906.02845)在NeurIPS 2019上，我们的似然比方法在基因组数据集上达到了最先进的性能，但其准确性还不足以达到将模型部署到实际应用程序的标准。我们鼓励研究人员为解决这一重要问题做出贡献，并改善当前的最新水平。该数据集可在我们的[GitHub存储库中找到](https://git.io/JeP2s)。 -------------------------------------------------------------------------------- /article/2019/12/百度有一种新的技巧可以教AI语言的含义.md: -------------------------------------------------------------------------------- 1 | *作者：Karen Hao* 2 | 3 | *地址：https://www.technologyreview.com/s/614996/ai-baidu-ernie-google-bert-natural-language-glue/* 4 | 5 | *译者：muzhoubai* 6 | 7 | # 百度有一种新的技巧可以教AI语言的含义 8 | 9 | 10 | 11 | ___受中英文差异的启发，它展示了人工智能研究如何从多样性中获益___ 12 | 13 | 本月早些时候，一家中国科技巨头在人工智能领域的竞争中悄然取代了微软和谷歌。这家公司是百度，中国最接近谷歌，而竞争对手则是通用语言理解评估，也就是俗称的胶水。 14 | 15 | GLUE是一个被广泛接受的标准，用来衡量人工智能系统对人类语言的理解程度。它包括九个不同的测试，比如在一个句子中找出人和组织的名字，当有多个潜在的先行词时，找出“It”这样的代词指的是什么。因此，一个靠胶水得分很高的语言模型可以处理不同的阅读理解任务。满分100分的人，平均分在87分左右。百度现在是第一个以其模式厄尼（ERNIE）超越90的团队。 16 | 17 | GLUE的公共排行榜在不断变化，另一个团队很可能很快就会超过百度。但百度的成就值得注意的是，它说明了人工智能研究如何从众多贡献者中获益。百度的研究人员不得不开发一种专门用于中文构建ERNIE的技术（ERNIE是“通过知识集成增强表现力”的缩写）。不过，碰巧的是，同样的技巧也能使它更好地理解英语。 18 | 19 | 20 | 21 | **ERNIE的前身** 22 | 23 | ___为了欣赏厄尼，考虑一下它的灵感来源：谷歌的BERT。（是的，他们都是以芝麻街的人物命名的。）___ 24 | 25 | 在BERT（“来自Transformer的双向编码器表示形式”）于2018年末创建之前，自然语言模型并不是那么好。它们善于预测句子中的下一个单词，因此非常适合诸如Autocomplete之类的应用，但它们不能 即使是很小的一段话，也无法保持单一的思路。这是因为它们不理解含义，例如“它”一词可能指的是什么。 26 | 27 | 但是BERT改变了这一点：以前的模型通过仅考虑出现在单词前后的上下文来学习预测和解释单词的含义绝不会同时出现，换句话说，它们是单向的。 28 | 29 | 相反，BERT一次考虑单词前后的上下文，使其成为双向。它使用一种称为“遮罩”的技术来做到这一点。在给定的文本段落中，BERT随机隐藏了15％的单词，然后 试图从剩余的预测中进行预测。这使它可以进行更准确的预测，因为它具有两倍的工作线索。例如，在“男人去##买牛奶”这句话中，无论是开头还是结尾。 句子的结尾提示缺少的单词。##是您可以去的地方，也是可以购买牛奶的地方。 30 | 31 | 使用遮罩是对自然语言任务进行重大改进背后的核心创新之一，并且是诸如OpenAI臭名昭著的GPT-2之类的模型可以撰写极具说服力的散文而又不偏离中心论题的部分原因。 32 | 33 | 34 | 35 | **从英语到汉语的循环过程** 36 | 37 | 当百度的研究人员开始开发他们自己的语言模型时，他们希望建立在屏蔽技术的基础上。但是他们意识到他们需要调整它以适应汉语。 38 | 39 | 在英语中，单词充当语义单位，意思是完全脱离上下文的单词仍然包含意义。汉语中的汉字也不能这么说。虽然某些字确实有内在的含义，如fire (火, *huŏ*), water (水, *shuĭ*), or wood (木, *mù*)，但大多数字直到与其他字串在一起才有意义。例如，字 灵 (*líng*)可以表示clever (机灵, *jīlíng*) or soul (灵魂, *línghún*)，这取决于它的匹配。像波士顿（Boston）或美国（US）这样的专有名词中的字符一旦分开，就不意味着同一件事。 40 | 41 | 因此研究人员对ERNIE进行了训练，使其在隐藏字符字符串而不是单个字符的新版本的遮罩上进行了培训，并且还对其进行了区分有意义的字符串和随机字符串的培训，从而可以相应地掩盖正确的字符组合。 掌握单词如何用中文编码信息并更准确地预测缺失的片段，这被证明对诸如文本文档的翻译和信息检索等应用很有用。 42 | 43 | 研究人员很快发现这种方法实际上对英语更有效，尽管英语不如中文多，但英语中也有类似的词串，其含义与部分和的含义有所不同。 像“chip off the old block”之类的东西不能通过将它们分成单个词来有意义地解析。 44 | 45 | 所以对于这句话： 46 | 47 | 哈利·波特（Harry Potter）是由罗琳（J. K. Rowling）创作的一系列奇幻小说。 48 | 49 | BERT可以通过以下方式屏蔽它： 50 | 51 | [mask]波特是J[mask]罗琳的系列[mask]幻想小说[mask]。 52 | 53 | 但是ERNIE会这样屏蔽它： 54 | 55 | 哈利·波特是[mask] [mask] [mask]的幻想小说。 56 | 57 | 因此，ERNIE基于含义而不是统计单词用法模式来学习更可靠的预测。 58 | 59 | 60 | 61 | **思想的多样性** 62 | 63 | ERNIE的最新版本还使用了其他几种训练技术，例如考虑句子的顺序和它们之间的距离以理解段落的逻辑进展，但是最重要的是，它使用一种称为连续训练的方法使它能够训练新数据和新任务，而又不会忘记以前学到的知识，这使得它在不断地执行各种任务的过程中变得越来越好，而对人类的干扰却最小。 64 | 65 | 百度积极使用ERNIE为用户提供更多适用的搜索结果，在新闻源中删除重复的故事，并提高其AI助手Xiao Du准确响应请求的能力，并且还将在ERNIE上发表的论文中描述ERNIE的最新架构。明年，人工智能促进协会会议将以他们的团队以Google与BERT的合作为基础，研究人员希望其他人也将从ERNIE的合作中受益。 66 | 67 | 68 | 69 | “当我们第一次开始这项工作的时候，我们正特别考虑中文的某些特点，”百度研究的首席架构师郝天说。“但我们很快发现，它的适用范围超出了这个范围。” -------------------------------------------------------------------------------- /article/2019/12/解决数据科学家的不足：消除复杂性的人工智能解决方案.md: -------------------------------------------------------------------------------- 1 | 地址： https://blog.google/technology/ai/cinnamon-japan/ 2 | 3 | 作者 : INDICO 4 | 5 | 译者：Qiang He 6 | 7 | --- 8 | 9 | 10 | 11 | # 解决数据科学家的不足：消除复杂性的人工智能解决方案 12 | 13 | 各公司正以惊人的速度采用人工智能技术，因此增加了对了解AI和智能自动化技术的熟练数据科学家的需求和薪水。这种动态使业界迫切需要简化的AI解决方案，这些解决方案不需要专业知识即可实施 14 | 15 | 根据[VentureBeat](https://venturebeat.com/2019/06/28/indeed-ai-job-posting-growth-slows-and-interest-in-jobs-dips/)的数据，从2018年5月到2019年5月，招聘网站上与人工智能相关的[职位](http://www.indeed.com/)确实增长了29.1％。这是两年来甚至有更大的增长：2017年5月至2018年为57.9％，2016年5月至2017年为136.2％。 16 | 17 | 与此同时，与AI相关的工作的搜索似乎正在趋于稳定，从2018年5月到2019年，搜索数量与去年相比下降了14.5％。这表明可能要有比合格工人更多的空缺职位出现 18 | 19 | 实际上，根据风险投资公司MMC Ventures（[PDF](https://www.mmcventures.com/wp-content/uploads/2019/02/The-State-of-AI-2019-Divergence.pdf)）的一份报告《人工智能的状态：2019年分歧》，需求将大大超过供应，并且在中期将继续如此。报告引用了Indeed数据，称2.3个角色适用于每个合适的AI候选人 。 20 | 21 | 当然，这为具有实施AI应用程序（包括认知，机器人和智能流程自动化）技能的数据科学家提高了薪水。根据MMC的报告（引用[Kaggle的](https://www.kaggle.com/)数据），几乎所有数据科学家都报告说过去三年中工资增长了，而近一半（45％）的工资增长了20％或更多。该报告引自[Paysa](https://www.paysa.com/)的话说，在Uber到Veritas Technologies这20家薪酬最高的公司中，人工智能工程师的平均工资为224,000美元。 22 | 23 | ### **购买与构建人工智能** 24 | 25 | 随着经验丰富的数据科学家既昂贵又供不应求，AI供应商公司正试图通过构建或多或少现成的随时可以部署的AI解决方案来填补空白。 26 | 27 | 越来越多的买家正是这样想要的。[MMC](https://www.mmcventures.com/wp-content/uploads/2019/02/The-State-of-AI-2019-Divergence.pdf)报告称，2018年Gartner调查中近一半的公司表示他们更愿意从第三方购买AI解决方案，而只有三分之一的公司打算自己定制构建解决方案。只有十分之一的公司满足于等待将AI嵌入到他们最喜欢的软件产品中。 28 | 29 | MMC说，仅在欧洲，就有1600家初创公司提供专注于AI的产品，每个产品都针对特定行业或业务功能。 30 | 31 | ### **没有数据科学家，没有问题** 32 | 33 | 这样做的想法是建立AI智能，但是可以说落在幕后，因此用户无需真正理解或处理该技术即可获得AI的所有好处。 34 | 35 | 例如，[珠穆朗玛峰集团的](http://info.indico.io/everest-whitepaper)一份[白皮书](http://info.indico.io/everest-whitepaper)说，智能流程自动化（IPA）解决方案应包括以下技术： 36 | 37 | - 机器学习（ML）和深度学习模型可对文档中的信息进行分类和提取。 38 | - 光学字符识别（OCR），使用ML和深度学习算法进行训练以提高准确性，从而将文档图像转换为机器编码的文本。 39 | - 自然语言处理（NLP），用于分析文档中的文本，了解周围的上下文，合并提取的数据并将提取的字段映射到已定义的分类法。NLP还使IPA解决方案能够识别文本中的情感，例如电子邮件和其他非结构化数据，并将其分类为不同的类别。 40 | 41 | 这正是我们在Indico结合[IPA解决方案](https://indico.io/intelligent-process-automation/)所采用的[方法。](https://indico.io/intelligent-process-automation/)我们的平台非常简单，可供一线业务人员和最了解需要自动化的流程的人员使用。由于OCR，ML和NLP在幕后的使用，它足够聪明，能够处理电子邮件，PDF，图像等非结构化数据。 42 | 43 | -------------------------------------------------------------------------------- /article/2019/12/这个物体识别数据集难倒了世界上最好的计算机视觉模型.md: -------------------------------------------------------------------------------- 1 | 地址： https://news.mit.edu/2019/object-recognition-dataset-stumped-worlds-best-computer-vision-models-1210 2 | 3 | 作者：Kim Martineau 4 | 5 | 译者：Qiang He 6 | 7 | --- 8 | 9 | ![](img/这个物体识别数据集颠覆了世界上最好的计算机视觉模型.png) 10 | ##### 这个物体识别数据集难倒了世界上最好的计算机视觉模型 11 | 12 | > 将物体摆在不同的位置并以奇数角度拍摄以刺激新的AI技术 13 | 14 | 计算机视觉模型已经学会了准确地识别照片中的对象，从而使某些对象在某些数据集上的表现优于人类。但是，当那些相同的物体检测器在现实世界中变得松懈时，它们的性能会明显下降，这会给自动驾驶汽车和其他使用机器视觉的对安全至关重要的系统带来可靠性方面的担忧 15 | 16 | 为了缩小性能差距，麻省理工学院和IBM研究人员组成的团队着手创建一种非常不同的对象识别数据集。它被称为[ObjectNet，](http://objectnet.dev/)是[ImageNet上的](http://objectnet.dev/)一部戏，ImageNet是众包的照片数据库，负责引发现代人工智能的繁荣。 17 | 18 | 与ImageNet不同，ObjectNet提供从Flickr和其他社交媒体网站上拍摄的照片，而由付费自由职业者拍摄的照片。对象显示为倾斜的侧面，以奇怪的角度拍摄，并显示在杂乱的房间中。当在ObjectNet上测试领先的目标检测模型时，它们的准确率从ImageNet上97%的高水平下降到只有50-55%。 19 | 20 | 麻省理工学院计算机科学与人工智能实验室（CSAIL）和大脑、思维与机器中心（CBMM）的研究科学家鲍里斯·卡茨（Boris Katz）说：“我们创建这个数据集是为了告诉人们，物体识别问题仍然是一个难题。”。“我们需要更好、更智能的算法。”Katz和他的同事将在神经信息处理系统（NeurIPS）会议上展示ObjectNet及其结果。 21 | 22 | 深度学习，这项技术推动了人工智能的许多最新进展，它使用人工“神经元”层在大量原始数据中寻找模式。它学会挑选，比如说，一张照片中的椅子，经过数百到数千个例子的训练。但是，即使是包含数百万图像的数据集也无法显示每个对象的所有可能方向和设置，当模型在现实生活中遇到这些对象时会产生问题。 23 | 24 | ObjectNet在另一个重要方面不同于传统的图像数据集：它不包含训练图像。大多数数据集被划分为用于训练模型和测试其性能的数据。但训练集通常与测试集有微妙的相似之处，实际上给了模型在测试中一个潜移默化的高峰。 25 | 26 | 乍一看，ImageNet有1400万张图片，看起来非常庞大。但如果不包括它的训练集，它的大小就相当于ObjectNet的50000张照片 27 | 28 | 这项研究的合著者、CSAIL和CBMM的研究科学家安德烈·巴布（Andrei Barbu）说：“如果我们想知道算法在现实世界中的表现如何，我们应该在没有偏见的图像上测试它们，而这些图像是它们以前从未见过的，” 29 | 30 | **试图捕获真实世界对象复杂性的数据集** 31 | 32 | 很少有人会想和朋友分享ObjectNet的照片，这就是重点。研究人员从亚马逊机械特克公司（Amazon Mechanical Turk）聘请了自由职业者，对数百个随机摆姿势的家用物品进行拍照。工作人员在一个应用程序上收到了照片分配，动画指示告诉他们如何定位分配的对象，从哪个角度拍摄，以及是否在厨房、浴室、卧室或客厅设置对象的姿势 33 | 34 | 他们想消除三种常见的偏见：正面展示的物体、标志性的位置和高度相关的设置——例如，厨房里堆放的盘子。 35 | 36 | 花了三年时间构思出数据集，并设计了一个应用程序，将数据收集过程标准化。麻省理工学院电子工程与计算机科学系的研究生大卫·梅奥说：“发现如何以控制各种偏见的方式收集数据是非常棘手的。”。“我们还必须进行实验，以确保我们的指令是明确的，而且工人们确切地知道要求他们做什么。” 37 | 38 | 又过了一年才收集到实际数据，最后，自由职业者提交的照片中有一半因达不到研究人员的要求而不得不被丢弃。为了提供帮助，一些工作人员在他们的物品上贴上标签，在白色背景上摆放它们，或者试图改善他们被分配拍摄的照片的美观性 39 | 40 | 许多照片是在美国境外拍摄的，因此，有些物体可能看起来很陌生。成熟的橘子是绿色的，香蕉有不同的大小，衣服有不同的形状和质地。 41 | 42 | **Object Net与ImageNet：领先的对象识别模型如何比较** 43 | 44 | 当研究人员在ObjectNet上测试最先进的计算机视觉模型时，他们发现性能比ImageNet下降了40-45个百分点。研究人员说，研究结果表明，物体探测器仍然难以理解物体是三维的，可以旋转并移动到新的环境中。研究的合著者、IBM的研究员Dan Gutfreund说：“这些概念并没有融入到现代物体探测器的体系结构中，” 45 | 46 | 为了证明ObjectNet之所以困难，正是因为对象是如何被观察和定位的，研究人员允许模型在对其余一半的ObjectNet数据进行测试之前，先对一半的ObjectNet数据进行训练。在同一数据集上的训练和测试通常会提高性能，但是在这里，模型只稍微改进，这表明对象检测器还没有完全理解对象在真实世界中是如何存在的。 47 | 48 | 自2012年以来，计算机视觉模型已经逐步改进，当时一种叫做AlexNet的物体探测器在年度ImageNet大赛上击败了这一竞争对手。随着数据集越来越大，性能也提高了 49 | 50 | 但研究人员警告说，设计更大版本的ObjectNet，并增加视角和方向，并不一定会带来更好的效果。ObjectNet的目标是激励研究人员提出下一波革命性的技术，就像最初发起ImageNet挑战一样。 51 | 52 | 人们给这些探测器提供了大量的数据，但回报率却在下降。“你不能从每一个角度，在每一个背景下看一个物体。我们希望，这种新的数据集将产生强大的计算机视觉，而不会在现实世界中出现令人惊讶的失败。” 53 | 54 | 这项研究的其他作者是麻省理工学院的朱利安•阿尔韦罗、威廉•罗、克里斯•王和约书亚•特南鲍姆。这项研究由美国国家科学基金会、麻省理工学院的大脑、大脑和机器中心、麻省理工学院-IBM沃森人工智能实验室、丰田研究所和SystemsThatLearn@CSAIL计划资助。 55 | -------------------------------------------------------------------------------- /gen_list.py: -------------------------------------------------------------------------------- 1 | import glob 2 | import os 3 | 4 | temple = """ 5 | # spark-plan 6 | 星火计划-做AI领域的独家，所有文章旨在技术传播和交流学习，非商业用途。 7 | 8 | 9 | ## 目录 10 | ### 文章 11 | {} 12 | ### 论文 13 | {} 14 | 15 | ## LICENSE 16 | [Apache License](LICENSE) 17 | 18 | ## 目的 19 | > 为了督促自己学习知识，学习英语，翻译整理优质的中英文技术文章或者论文。 20 | 21 | ## 生成目录列表 22 | ```shell 23 | python gen_list.py 24 | ``` 25 | """ 26 | 27 | 28 | def gen_list(path:str): 29 | 30 | url_temple = "[{}]({})" 31 | 32 | paths = glob.glob("./{}/**/**.md".format(path), recursive=True) 33 | paths = [url_temple.format(os.path.basename(path)[:-3], path) for path in 34 | [path.replace("\\", "/")[2:] for path in paths if "README" not in path]] 35 | 36 | list_info = "" 37 | for path in paths: 38 | list_info += "- {}\n".format(path) 39 | return list_info 40 | 41 | 42 | if __name__ == "__main__": 43 | article_list = gen_list("article") 44 | paper_list = gen_list("paper") 45 | md = temple.format(article_list, paper_list) 46 | f = open("README.md", "w", encoding="UTF-8") 47 | f.write(md) 48 | f.close() 49 | print(md) 50 | -------------------------------------------------------------------------------- /paper/Improving-forecasting-accuracy-of-time-series-data-using-a-new-ARIMA-ANN-hybrid-method-and-empirical-mode-decomposition.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/paper/Improving-forecasting-accuracy-of-time-series-data-using-a-new-ARIMA-ANN-hybrid-method-and-empirical-mode-decomposition.pdf -------------------------------------------------------------------------------- /paper/img/1570549958639.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/paper/img/1570549958639.png -------------------------------------------------------------------------------- /paper/img/image_13_0_0.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/paper/img/image_13_0_0.jpg -------------------------------------------------------------------------------- /paper/img/image_14_0_0.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/paper/img/image_14_0_0.jpg -------------------------------------------------------------------------------- /paper/img/image_15_0_0.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/paper/img/image_15_0_0.jpg -------------------------------------------------------------------------------- /paper/img/image_17_0_0.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/paper/img/image_17_0_0.jpg -------------------------------------------------------------------------------- /paper/img/image_18_0_0.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/paper/img/image_18_0_0.jpg -------------------------------------------------------------------------------- /paper/img/image_19_0_0.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/paper/img/image_19_0_0.jpg -------------------------------------------------------------------------------- /paper/img/image_20_0_0.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/paper/img/image_20_0_0.jpg -------------------------------------------------------------------------------- /paper/img/image_21_0_0.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/paper/img/image_21_0_0.jpg -------------------------------------------------------------------------------- /paper/img/image_22_0_0.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/paper/img/image_22_0_0.jpg -------------------------------------------------------------------------------- /paper/img/image_25_0_0.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/paper/img/image_25_0_0.jpg -------------------------------------------------------------------------------- /paper/img/image_9_0_0.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/paper/img/image_9_0_0.jpg -------------------------------------------------------------------------------- /paper/img/linetable_12_0_0.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/paper/img/linetable_12_0_0.jpg -------------------------------------------------------------------------------- /paper/img/linetable_24_0_0.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/paper/img/linetable_24_0_0.jpg -------------------------------------------------------------------------------- /paper/img/linetable_26_0_0.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceai/spark-plan/5261baa5ba4076b32f36ea8e51c55c0461f30089/paper/img/linetable_26_0_0.jpg --------------------------------------------------------------------------------