├── .DS_Store ├── README.md ├── _sidebar.md ├── developer ├── .DS_Store ├── atlas.md ├── hbase.md ├── hdfs.md ├── hive.md ├── ranger │ ├── .DS_Store │ ├── README.md │ ├── ranger_hdfs.md │ └── ranger_hive.md └── rule.md ├── images ├── .DS_Store ├── USDP智能大数据平台产品形象大图.png ├── developer │ ├── .DS_Store │ ├── atlas │ │ ├── 16073970384716.png │ │ ├── 1607398637701.png │ │ ├── 16073989954242.png │ │ ├── atlas_login.png │ │ └── usdp_atlas.png │ └── ranger │ │ ├── ranger-20201106131208683.png │ │ ├── ranger-20201106131359431.png │ │ ├── ranger-20201106131634840.png │ │ ├── ranger-20201106131950006.png │ │ ├── ranger-20201106132041822.png │ │ ├── ranger-20201106132157001.png │ │ ├── ranger-20201106132231930.png │ │ ├── ranger-20201106132317649.png │ │ ├── ranger-20201106132922759.png │ │ ├── ranger-20201106133930992.png │ │ ├── ranger-20201106134013185.png │ │ ├── ranger-20201106134404122.png │ │ ├── ranger-20201106134453012.png │ │ ├── ranger-20201106134520978.png │ │ ├── ranger-20201117145413710.png │ │ ├── ranger-20201117145448335.png │ │ ├── ranger-20201117152511115.png │ │ ├── ranger-20201117152706370.png │ │ ├── ranger-20201117153018511.png │ │ ├── ranger-20201117153048597.png │ │ ├── ranger-20201117153740642.png │ │ ├── ranger-202011241002151124.png │ │ ├── ranger-202011241004201124.png │ │ ├── ranger-202011242k385d789.png │ │ ├── ranger-2020112773215ranger.png │ │ └── ranger-2020112774628ranger.png ├── operate │ ├── .DS_Store │ ├── access │ │ ├── .DS_Store │ │ ├── usdp_internet_access_051851257.png │ │ ├── usdp_internet_access_051853403.png │ │ ├── usdp_internet_access_73311.png │ │ ├── usdp_internet_access_73746.png │ │ ├── usdp_internet_access_73840.png │ │ └── usdp_internet_access_74043.png │ ├── alarm │ │ ├── .DS_Store │ │ ├── alarm_template │ │ │ ├── .DS_Store │ │ │ ├── alarm_usdp_airflow_binding.png │ │ │ ├── alarm_usdp_firstpage.png │ │ │ ├── alarm_usdp_hdfs_rule_modify.png │ │ │ ├── alarm_usdp_hive_content.png │ │ │ ├── alarm_usdp_hive_hiveserver2.png │ │ │ ├── alarm_usdp_tamplate_add.png │ │ │ ├── alarm_usdp_tamplate_add_copy.png │ │ │ ├── alarm_usdp_tamplate_delete.png │ │ │ ├── alarm_usdp_tamplate_entrance.png │ │ │ ├── alarm_usdp_tamplate_rule_delete.png │ │ │ ├── alarm_usdp_tamplate_rule_delete_allow.png │ │ │ ├── alarm_usdp_tamplate_rule_setisstart.png │ │ │ └── alarm_usdp_tamplate_rule_setnotify.png │ │ ├── notification_group │ │ │ ├── notify_usdp_set_notifygroup.png │ │ │ ├── notify_usdp_set_notifygroup_default.png │ │ │ ├── notify_usdp_set_notifygroup_groupadd.png │ │ │ └── notify_usdp_set_notifygroup_management.png │ │ ├── notification_object │ │ │ ├── .DS_Store │ │ │ ├── notify_usdp_notifyobject_delete.png │ │ │ ├── notify_usdp_set_notifyobject.png │ │ │ ├── notify_usdp_set_notifyobject_api.png │ │ │ ├── notify_usdp_set_notifyobject_dingding.png │ │ │ ├── notify_usdp_set_notifyobject_down.png │ │ │ ├── notify_usdp_set_notifyobject_email.png │ │ │ └── notify_usdp_set_notifyobject_qiwei.png │ │ ├── set_alarm │ │ │ ├── set_alarm_entrance.png │ │ │ ├── set_alarm_set_template.png │ │ │ └── set_alarm_show.png │ │ └── set_emailserver │ │ │ ├── notify_usdp_entrance.png │ │ │ ├── notify_usdp_set_email.png │ │ │ ├── notify_usdp_set_email_down.png │ │ │ ├── notify_usdp_set_email_like.png │ │ │ └── notify_usdp_seting_email.png │ ├── cluster │ │ ├── .DS_Store │ │ ├── ucloud_console_usdp.png │ │ ├── 创建集群.png │ │ ├── 地域和可用区选择.png │ │ ├── 安装并部署服务.png │ │ ├── 安装并部署服务_log.png │ │ ├── 安装并部署服务_retry.png │ │ ├── 安装并部署服务_stats.png │ │ ├── 服务配置.png │ │ ├── 服务配置_db.png │ │ ├── 服务配置_lib.png │ │ ├── 服务配置_uds.png │ │ ├── 添加服务和组件.png │ │ ├── 节点设置.png │ │ ├── 访问设置.png │ │ ├── 输入登录信息.png │ │ ├── 选择服务.png │ │ ├── 选择组件安装节点.png │ │ ├── 部署中的集群.png │ │ ├── 部署服务.png │ │ └── 集群和软件设置.png │ ├── monitor │ │ ├── .DS_Store │ │ ├── basic_monitor │ │ │ ├── .DS_Store │ │ │ └── usdp_cloud_monitor.png │ │ └── service_monitor │ │ │ ├── usdp_console_cluster_monitor_grafana.png │ │ │ ├── usdp_console_cluster_monitor_grafana_hbase.png │ │ │ ├── usdp_console_cluster_monitor_grafana_hdfs.png │ │ │ ├── usdp_console_cluster_monitor_grafana_hive.png │ │ │ ├── usdp_console_cluster_monitor_grafana_jvm.png │ │ │ ├── usdp_console_cluster_monitor_grafana_usdp.png │ │ │ ├── usdp_console_cluster_monitor_grafana_yarn.png │ │ │ └── usdp_console_cluster_monitor_grafana_zookeeper.png │ ├── node │ │ ├── .DS_Store │ │ ├── cloud_node │ │ │ ├── .DS_Store │ │ │ ├── 控制台节点SSH登陆.png │ │ │ ├── 添加节点.png │ │ │ ├── 申请EIP.png │ │ │ └── 绑定EIP.png │ │ ├── node_ucloud_usdp_console_entrance.png │ │ ├── node_ucloud_usdp_entrance.png │ │ ├── node_ucloud_usdp_nodemanager.png │ │ ├── node_usdp_console_login.png │ │ ├── node_usdp_nodemanager.png │ │ └── usdp_node │ │ │ ├── usdp_console_node_component_count.png │ │ │ ├── usdp_console_node_component_management.png │ │ │ ├── usdp_console_node_component_show.png │ │ │ ├── usdp_console_node_single_details.png │ │ │ └── usdp_console_node_single_entrance.png │ └── service │ │ ├── .DS_Store │ │ ├── compute_kind │ │ ├── .DS_Store │ │ ├── service_yarn.png │ │ ├── service_yarn_details.png │ │ ├── service_yarn_ui_hs.png │ │ ├── service_yarn_ui_rm.png │ │ ├── service_yarn_ui_ts.png │ │ └── service_yarn_uis.png │ │ ├── monitor_kind │ │ ├── .DS_Store │ │ ├── service_grafana.png │ │ ├── service_grafana_details.png │ │ ├── service_grafana_ui.png │ │ ├── service_grafana_ui_details.png │ │ ├── service_prometheus.png │ │ ├── service_prometheus_details.png │ │ ├── service_prometheus_details1.png │ │ ├── service_prometheus_ui.png │ │ ├── service_prometheus_ui_details.png │ │ └── service_prometheus_ui_details1.png │ │ ├── service_configer_update │ │ ├── .DS_Store │ │ ├── service_configer_yarn_reboot.png │ │ ├── service_configer_yarn_update.png │ │ ├── service_configer_zk_update.png │ │ ├── service_configer_zk_update1.png │ │ ├── service_configer_zk_update1_group.png │ │ ├── service_configer_zk_update1_group0.png │ │ ├── service_configer_zk_update1_group1.png │ │ ├── service_configer_zk_update1_group2.png │ │ └── service_configer_zk_update1_group3.png │ │ ├── storage_kind │ │ ├── .DS_Store │ │ ├── storage_hdfs.png │ │ ├── storage_hdfs_details.png │ │ ├── storage_hdfs_details1.png │ │ ├── storage_hdfs_details2.png │ │ ├── storage_hdfs_ui.png │ │ ├── storage_hdfs_ui_details.png │ │ ├── storage_zk.png │ │ ├── storage_zk_details.png │ │ ├── storage_zk_details_time.png │ │ ├── storage_zk_subpart.png │ │ ├── storage_zk_subpart_add.png │ │ ├── storage_zk_subpart_add_guide1.png │ │ ├── storage_zk_subpart_add_guide2.png │ │ ├── storage_zk_subpart_add_guide3.png │ │ ├── storage_zk_subpart_add_guide4.png │ │ ├── storage_zk_subpart_add_guide5.png │ │ ├── storage_zk_subpart_operate.png │ │ ├── storage_zk_subpart_operate_delete.png │ │ ├── storage_zk_subpart_operate_delete_true.png │ │ └── storage_zk_subpart_operate_stop.png │ │ ├── visual_kind │ │ ├── .DS_Store │ │ ├── service_zkui.png │ │ ├── service_zkui_details.png │ │ ├── service_zkui_ui.png │ │ └── service_zkui_ui_details.png │ │ └── 公有云控制台_服务管理.png ├── schedule │ ├── .DS_Store │ ├── airflow │ │ ├── airflow-16061397625039.png │ │ ├── airflow-16061401802630.png │ │ └── airflow-16061904173106.png │ └── uds │ │ ├── dashboard.png │ │ ├── dashboard1.png │ │ ├── uds_login.png │ │ ├── usdp_uds.png │ │ ├── 上传文件1.png │ │ ├── 上传文件2.png │ │ ├── 任务实例.png │ │ ├── 任务日志.png │ │ ├── 保存icon.png │ │ ├── 保存工作流1.png │ │ ├── 保存工作流2.png │ │ ├── 其他任务.png │ │ ├── 创建工作流1.png │ │ ├── 创建工作流2.png │ │ ├── 创建项目.png │ │ ├── 删除icon.png │ │ ├── 删除任务.png │ │ ├── 删除依赖关系.png │ │ ├── 工作流实例.png │ │ ├── 授权UDF资源.png │ │ ├── 授权数据源.png │ │ ├── 授权文件.png │ │ ├── 授权项目1.png │ │ ├── 授权项目2.png │ │ ├── 数据集成任务1.png │ │ ├── 数据集成任务2.png │ │ ├── 数据集成任务3.png │ │ ├── 数据集成任务4.png │ │ ├── 新建UDF函数1.png │ │ ├── 新建UDF函数2.png │ │ ├── 新建UDF函数3.png │ │ ├── 新建告警组1.png │ │ ├── 新建告警组2.png │ │ ├── 新建告警组3.png │ │ ├── 新建数据源1.png │ │ ├── 新建数据源2.png │ │ ├── 新建用户1.png │ │ ├── 新建用户2.png │ │ ├── 添加任务.png │ │ ├── 添加任务顺序.png │ │ ├── 运行工作流.png │ │ ├── 进入项目.png │ │ ├── 选中icon.png │ │ └── 项目筛选.png ├── usdp_console_1.jpg ├── usdp_console_2.jpg └── usdp_console_3.jpg ├── intro.md ├── operate ├── .DS_Store ├── access │ ├── README.md │ ├── cloud.md │ ├── internet.md │ ├── login.md │ └── openvpn.md ├── alarm │ ├── README.md │ ├── alarm_template.md │ ├── notification_group.md │ ├── notification_object.md │ ├── set_alarm.md │ └── set_emailserver.md ├── cluster.md ├── monitor │ ├── README.md │ ├── basic_monitor.md │ └── service_monitor.md ├── node │ ├── README.md │ ├── cloud_node.md │ └── usdp_node.md └── service │ ├── README.md │ ├── compute_kind.md │ ├── monitor_kind.md │ ├── safe_kind.md │ ├── scheduler_kind.md │ ├── service_configer_update.md │ ├── storage_kind.md │ └── visual_kind.md ├── price.md ├── schedule ├── airflow.md └── uds.md └── update_history.md /.DS_Store: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/.DS_Store -------------------------------------------------------------------------------- /README.md: -------------------------------------------------------------------------------- 1 | # 产品概述 2 | 3 | UCloud Smart Data Platform（简称 USDP），是 UCloud 推出的云上智能化、轻量级的大数据基础服务平台，能够帮您快速构建起大数据的分析处理能力。 4 | 5 | ![USDP智能大数据平台产品形象大图](images/USDP智能大数据平台产品形象大图.png) 6 | 7 | USDP 构建于 UCloud 的云服务上，无缝集成云端 IaaS 资源能力，通过自研的 USDP Manager 管理工具，支持用户创建资源独享的大数据集群，在集群中部署 Hadoop、Hive、HBase、Spark、Flink、Presto 等开源的大数据组件，并对这些组件进行配置管理、监控告警、故障诊断等智能化的运维管理，从而帮助您快速构建起大数据的分析处理能力。 8 | 9 | 10 | ## 产品特点 11 | 12 | #### 1. 轻松部署 13 | 14 | 支持主流的大数据开源服务组件及框架，USDP 管理服务中提供完善的集群控制及管理功能、提供向导式的操作流程、提供完善的场景创建案例推荐及组件分布推荐。 15 | 16 | #### 2. 全面适配 17 | 18 | 基于开放式的管理架构，USDP 集成并适配了 30 余款开源的大数据生态开发组件，涵盖数据集成、数据存储、计算引擎、任务调度、权限管理等大数据处理的各个环节。您可以根据自身业务特点和需求，从中选择相应的组件来搭建自己的大数据处理平台。 19 | 20 | #### 3. 稳定运行 21 | 22 | USDP 的底层资源为您所独享，大数据集群间可结合公有云端用户业务虚拟网络，可轻松实现有效的安全隔离。USDP 集成的各个组件编译自 Apache 社区稳定版本，经过了严格的兼容性测试和压力测试，关键性组件都支持高可用特性，确保集群稳定可靠运行。 23 | 24 | 源自多年的大数据运维经验积淀，USDP 为每款组件预置了完善的监控和告警模板，丰富的监控指标和灵活的告警方式，帮助您及时掌握各个组件的运行状况，进行必要的维护和优化。与此同时，智能化的故障诊断工具和专业的技术支持团队，为您的集群稳定运行保驾护航。 25 | 26 | #### 4. 成本可控 27 | 28 | UCloud提供了友好且易于部署的管理服务，用户可一键式操作，无额外的学习成本，大幅降低使用门槛，辅助用户轻松上手使用和维护大数据业务系统。 29 | 30 | 针对大数据应用场景，USDP 提供了丰富多样的机型（大数据物理机、虚拟机、快杰云主机等）供您选择，并结合公有云的弹性伸缩能力，帮助您有效控制成本。 31 | 32 | #### 5. 专业支持 33 | 34 | 拥有公有云大数据产品及服务维护的多年经验积累，提供大数据专家级技术支持及定制化的解决方案能力，并将经验积累智库化，持续不断的更新并集成到产品中为用户提供自动化服务。 35 | 36 | 37 | 38 | ## 功能简介 39 | 40 | 关于USDP平台的功能介绍，请点击前往 [功能介绍](/USDP/intro) 查看。 41 | 42 | 43 | 44 | ## 操作指南 45 | 46 | 大数据环境的管理员用户或开发者用户，可通过本章节了解到 USDP 各个模块的文档介绍，帮助您快速上手 USDP，了解如何在公有云环境中使用及管理 USDP 集群及服务的具体操作方法。 47 | 48 | * [集群创建-指南](/USDP/operate/cluster) 49 | * [集群访问-指南](/USDP/operate/access/README) 50 | * [节点管理-指南](/USDP/operate/node/README) 51 | * [服务管理-指南](/USDP/operate/service/README) 52 | * [监控管理-指南](/USDP/operate/monitor/README) 53 | * [告警管理-指南](/USDP/operate/alarm/README) 54 | 55 | ## 开发指南 56 | 57 | 大数据业务的开发者用户在通过使用 USDP 智能大数据平台环境实现业务场景时，本章节内容为您介绍 USDP 所提供的各个开源大数据服务组件的部署及使用方式，帮助您快速开启数据分析业务开发之旅。 58 | 59 | * [各服务部署规则](/USDP/developer/rule) 60 | * [USDP开发指南-HDFS](/USDP/developer/hdfs) 61 | * [USDP开发指南-Hive](/USDP/developer/hive) 62 | * [USDP开发指南-HBase](/USDP/developer/hbase) 63 | * [USDP开发指南-Ranger](/USDP/developer/ranger/README) 64 | * [USDP开发指南-Atlas](/USDP/developer/atlas) 65 | 66 | ## 任务调度 67 | 68 | 大数据业务的开发者用户在通过使用 USDP 智能大数据平台环境，可借助 USDP 提供多种调度管理服务，协助用户完成高效管理任务的执行计划。 69 | 70 | * [调度服务-Airflow](/USDP/schedule/airflow) 71 | 72 | ## 产品价格 73 | 74 | 本章节为您介绍 USDP 产品的计费方式和具体价格。 75 | 76 | * [产品价格](/USDP/price) 77 | -------------------------------------------------------------------------------- /_sidebar.md: -------------------------------------------------------------------------------- 1 | 2 | * [产品概述](/USDP/README) 3 | * [功能介绍](/USDP/intro) 4 | * 操作指南 5 | * [集群创建-指南](/USDP/operate/cluster) 6 | * 集群访问 7 | * [集群访问及测试-指南](/USDP/operate/access/README) 8 | * [访问方式1：本地直接访问云端USDP集群](/USDP/operate/access/internet) 9 | * [访问方式2：通过云端Windows主机访问USDP集群](/USDP/operate/access/cloud) 10 | * [访问方式3：配置openvpn访问USDP集群](/USDP/operate/access/openvpn) 11 | * [参考：USDP各服务Web UIs登陆账号](/USDP/operate/access/login) 12 | * 节点管理 13 | * [节点管理-指南](/USDP/operate/node/README) 14 | * [公有云端资源节点管理](/USDP/operate/node/cloud_node) 15 | * [USDP控制台节点管理](/USDP/operate/node/usdp_node) 16 | * 服务管理 17 | * [服务管理-指南](/USDP/operate/service/README) 18 | * [计算类服务管理](/USDP/operate/service/compute_kind) 19 | * [存储类服务管理](/USDP/operate/service/storage_kind) 20 | * [监控类服务管理](/USDP/operate/service/monitor_kind) 21 | * [可视化类服务管理](/USDP/operate/service/visual_kind) 22 | * [服务配置文件管理](/USDP/operate/service/service_configer_update) 23 | * 监控管理 24 | * [监控管理-指南](/USDP/operate/monitor/README) 25 | * [集群基础监控](/USDP/operate/monitor/basic_monitor) 26 | * [集群服务监控](/USDP/operate/monitor/service_monitor) 27 | * 告警管理 28 | * [告警管理-指南](/USDP/operate/alarm/README) 29 | * [告警模板管理](/USDP/operate/alarm/alarm_template) 30 | * [设置告警邮件发送服务](/USDP/operate/alarm/set_emailserver) 31 | * [通知对象管理](/USDP/operate/alarm/notification_object) 32 | * [通知组管理](/USDP/operate/alarm/notification_group) 33 | * [告警设置](/USDP/operate/alarm/set_alarm) 34 | * 开发指南 35 | * [各服务部署规则](/USDP/developer/rule) 36 | * [USDP开发指南-HDFS](/USDP/developer/hdfs) 37 | * [USDP开发指南-Hive](/USDP/developer/hive) 38 | * [USDP开发指南-HBase](/USDP/developer/hbase) 39 | * USDP开发指南-Ranger 40 | * [Ranger-开发指南](/USDP/developer/ranger/README) 41 | * [HDFS配置Ranger](/USDP/developer/ranger/ranger_hdfs) 42 | * [Hive配置Ranger](/USDP/developer/ranger/ranger_hive) 43 | * [USDP开发指南-Atlas](/USDP/developer/atlas) 44 | * 任务调度 45 | * [调度服务-Airflow](/USDP/schedule/airflow) 46 | * [产品价格](/USDP/price) 47 | * [了解USDP私有化部署](usdpdc/README) 48 | 49 | -------------------------------------------------------------------------------- /developer/.DS_Store: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/developer/.DS_Store -------------------------------------------------------------------------------- /developer/atlas.md: -------------------------------------------------------------------------------- 1 | # USDP 开发指南-ATLAS 2 | 3 | Apache Atlas 是 Hadoop 社区为解决 Hadoop 生态系统的元数据治理问题而产生的开源项目，它为Hadoop 生态系统集群提供了包括数据分类、集中策略引擎、数据血缘、安全和生命周期管理在内的元数据治理核心能力。 4 | 5 | ## Atlas 使用示例 6 | 7 | ### 1. 登录Atlas Web UI 8 | 9 | 点击 USDP 控制台左侧导航菜单 服务管理 - 元数据管理类 - ATLAS ，进入ATLAS详情页，点击 Web UIs 即可打开当前集群的 UDS 任务管理服务控制台。 10 | 11 | ![img](../images/developer/atlas/usdp_atlas.png) 12 | 13 | ![img](../images/developer/atlas/atlas_login.png) 14 | 15 | 管理员账号，参见 [各服务Web UIs登录账号](/USDP/operate/access/login) 指南文档。 16 | 17 | ### 2. Atlas Web UI首页 18 | 19 | ![img](../images/developer/atlas/16073970384716.png) 20 | 21 | ### 3. 全量导入数据 22 | USDP 使用 Atlas 管理 Hive 数据，可以通过以下脚本把 hive 数据全量导入 atlas 。 23 | 24 | ```shell 25 | sh /srv/udp/1.0.0.0/atlas/bin/import-hive.sh 26 | ``` 27 | 28 | ### 4. 实时同步 29 | 30 | 通过利用 beeline 客户端可以远程连接 Hive-server2 服务（或使用 Hive 服务提供的一个方便操作 Hive 表的 Hive Cli），创建对应的业务所需的表。 31 | 32 | ```sql 33 | create database atlas1; 34 | use atlas1; 35 | CREATE TABLE t_udp_service_component_mapping(id INT,service_name STRING,component_name STRING,max_living_count INT,required INT,create_time INT,update_time INT); 36 | create table t_udp_service_component_mapping_upadate as select * from t_udp_service_component_mapping; 37 | insert into t_udp_service_component_mapping_upadate select * from t_udp_service_component_mapping; 38 | create table t_udp_service_component_mapping_old as select * from t_udp_service_component_mapping_upadate; 39 | insert into t_udp_service_component_mapping_old select * from t_udp_service_component_mapping; 40 | ``` 41 | 42 | WebUI 可以实时搜索到如下 Hive 表，如下图所示： 43 | 44 | ![img](../images/developer/atlas/1607398637701.png) 45 | 46 | ### 5. Hive 元数据 Lineage 查看 47 | 48 | Atlas WebUI 搜索到某个表后，可以看到这个表的 Lineage，如上面创建的 t_udp_service_component_mapping_old，如下图所示： 49 | 50 | ![img](../images/developer/atlas/16073989954242.png) -------------------------------------------------------------------------------- /developer/hbase.md: -------------------------------------------------------------------------------- 1 | # USDP 开发指南-Hbase 2 | 3 | 4 | HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，它支持通过key/value存储来支持实时分析，也支持通过map-reduce支持批处理分析。 5 | 6 | ## 1. HBase shell 7 | 8 | Hbase shell是简单的，通过shell与HBase交互的方式，以下介绍使用方法： 9 | 10 | #### 1.1 启动shell 11 | 12 | ``` 13 | [root@usdp-******-master1 ~]# /srv/udp/1.0.0.0/hbase/bin/hbase shell 14 | HBase Shell 15 | Use "help" to get list of supported commands. 16 | Use "exit" to quit this interactive shell. 17 | Version 1.4.10, rUnknown, Mon Jun 29 17:57:22 CST 2020 18 | ``` 19 | 20 | #### 1.2 创建表格，并插入3条数据 21 | 22 | ``` 23 | hbase(main):004:0> create 'test_ucloud', 'cf' 24 | 0 row(s) in 1.2280 seconds 25 | 26 | => Hbase::Table - test_ucloud 27 | hbase(main):005:0> list 'test_ucloud' 28 | TABLE 29 | test_ucloud 30 | 1 row(s) in 0.0180 seconds 31 | 32 | => ["test_ucloud"] 33 | hbase(main):006:0> put 'test_ucloud', 'row1', 'cf:a', 'value1' 34 | 0 row(s) in 0.1780 seconds 35 | 36 | hbase(main):007:0> put 'test_ucloud', 'row2', 'cf:b', 'value2' 37 | 0 row(s) in 0.0060 seconds 38 | 39 | hbase(main):008:0> put 'test_ucloud', 'row3', 'cf:c', 'value3' 40 | 0 row(s) in 0.0060 seconds 41 | ``` 42 | 43 | #### 1.3 读取全部数据 44 | 45 | ``` 46 | hbase(main):009:0> scan 'test_ucloud' 47 | ROW COLUMN+CELL 48 | row1 column=cf:a, timestamp=1480993562401, value=value1 49 | row2 column=cf:b, timestamp=1480993575088, value=value2 50 | row3 column=cf:c, timestamp=1480993587152, value=value3 51 | 3 row(s) in 0.0610 seconds 52 | ``` 53 | 54 | #### 1.4 get一行数据 55 | 56 | ``` 57 | hbase(main):010:0> get 'test_ucloud', 'row1' 58 | COLUMN CELL 59 | cf:a timestamp=1480993562401, value=value1 60 | 1 row(s) in 0.0090 seconds 61 | ``` 62 | 63 | #### 1.5 删除表 64 | 65 | ``` 66 | hbase(main):011:0> disable 'test_ucloud' 67 | 0 row(s) in 2.3550 seconds 68 | 69 | hbase(main):012:0> drop 'test_ucloud' 70 | 0 row(s) in 1.4980 seconds 71 | ``` 72 | 73 | #### 1.6 退出HBase shell 74 | 75 | ``` 76 | hbase(main):013:0> exit 77 | ``` 78 | 79 | 80 | ## 2. HBase应用开发 81 | 82 | ### 2.1 使用JAVA读取HBase（实现创建表格、插入数据，展示数据操作） 83 | 84 | 此示例需要您先登陆USDP集群任意安装有HBase的节点，以下操作默认在master1节点执行 85 | 86 | #### 2.1.1 构建JAVA代码 87 | 88 | ``` 89 | mkdir -p /data/hbase-example 90 | cd /data/hbase-example 91 | touch HbaseJob.java 92 | ``` 93 | 94 | HbaseJob.java代码如下 95 | 96 | ``` java 97 | import java.util.ArrayList; 98 | import java.util.List; 99 | 100 | import org.apache.hadoop.conf.Configuration; 101 | import org.apache.hadoop.hbase.HBaseConfiguration; 102 | import org.apache.hadoop.hbase.HColumnDescriptor; 103 | import org.apache.hadoop.hbase.HTableDescriptor; 104 | import org.apache.hadoop.hbase.KeyValue; 105 | import org.apache.hadoop.hbase.client.Delete; 106 | import org.apache.hadoop.hbase.client.Get; 107 | import org.apache.hadoop.hbase.client.HBaseAdmin; 108 | import org.apache.hadoop.hbase.client.HTable; 109 | import org.apache.hadoop.hbase.client.Put; 110 | import org.apache.hadoop.hbase.client.Result; 111 | import org.apache.hadoop.hbase.client.ResultScanner; 112 | import org.apache.hadoop.hbase.client.Scan; 113 | import org.apache.hadoop.hbase.util.Bytes; 114 | 115 | public class HbaseJob { 116 | static Configuration conf=null; 117 | static{ 118 | conf=HBaseConfiguration.create();//hbase的配置信息 119 | } 120 | public static void main(String[] args)throws Exception { 121 | HbaseJob t=new HbaseJob(); 122 | t.createTable("person", new String[]{"name","age"}); 123 | t.insertRow("person", "1", "age", "hehe", "100"); 124 | t.insertRow("person", "2", "age", "haha", "101"); 125 | t.showAll("person"); 126 | } 127 | 128 | /*** 129 | * 创建一张表 130 | * 并指定列簇 131 | * */ 132 | public void createTable(String tableName,String cols[])throws Exception{ 133 | HBaseAdmin admin=new HBaseAdmin(conf);//客户端管理工具类 134 | if(admin.tableExists(tableName)){ 135 | System.out.println("此表已经存在......."); 136 | }else{ 137 | HTableDescriptor table=new HTableDescriptor(tableName); 138 | for(String c:cols){ 139 | HColumnDescriptor col=new HColumnDescriptor(c);//列簇名 140 | table.addFamily(col);//添加到此表中 141 | } 142 | admin.createTable(table);//创建一个表 143 | admin.close(); 144 | System.out.println("创建表成功!"); 145 | } 146 | } 147 | 148 | public void insertRow(String tableName, String row, 149 | String columnFamily, String column, String value) throws Exception { 150 | HTable table = new HTable(conf, tableName); 151 | Put put = new Put(Bytes.toBytes(row)); 152 | put.add(Bytes.toBytes(columnFamily), Bytes.toBytes(column), 153 | Bytes.toBytes(value)); 154 | table.put(put); 155 | table.close();//关闭 156 | System.out.println("插入一条数据成功!"); 157 | } 158 | 159 | public void showAll(String tableName)throws Exception{ 160 | HTable h=new HTable(conf, tableName); 161 | Scan scan=new Scan(); 162 | ResultScanner scanner=h.getScanner(scan); 163 | for(Result r:scanner){ 164 | System.out.println("===="); 165 | for(KeyValue k:r.raw()){ 166 | System.out.println("行号: "+Bytes.toStringBinary(k.getRow())); 167 | System.out.println("时间戳: "+k.getTimestamp()); 168 | System.out.println("列簇: "+Bytes.toStringBinary(k.getFamily())); 169 | System.out.println("列: "+Bytes.toStringBinary(k.getQualifier())); 170 | String ss= Bytes.toString(k.getValue()); 171 | System.out.println("值: "+ss); 172 | } 173 | } 174 | h.close(); 175 | } 176 | } 177 | ``` 178 | 179 | #### 2.1.2 构建编译程序 180 | 181 | - 创建编译目录和文件 182 | 183 | ``` 184 | cd /data/hbase-example 185 | touch hbase-test.sh 186 | ``` 187 | 188 | - hbase-test.sh 代码如下： 189 | 190 | ``` 191 | #!/bin/bash 192 | HBASE_HOME=/home/hadoop/hbase 193 | CLASSPATH=.:$HBASE_HOME/conf/hbase-site.xml 194 | 195 | for i in ${HBASE_HOME}/lib/*.jar ; 196 | do 197 | CLASSPATH=$CLASSPATH:$i 198 | done 199 | #编译程序 200 | javac -cp $CLASSPATH HbaseJob.java 201 | #执行程序 202 | java -cp $CLASSPATH HbaseJob 203 | ``` 204 | 205 | #### 2.1.3 执行HBase程序 206 | 207 | 编译程序目录下执行 208 | 209 | ``` 210 | sh hbase-test.sh 211 | ``` 212 | 213 | 执行结果如下： 214 | 215 | ``` 216 | 创建表成功! 217 | 插入一条数据成功! 218 | 插入一条数据成功! 219 | ==== 220 | 行号: 1 221 | 时间戳: 1480991139173 222 | 列簇: age 223 | 列: hehe 224 | 值: 100 225 | ==== 226 | 行号: 2 227 | 时间戳: 1480991139240 228 | 列簇: age 229 | 列: haha 230 | 值: 101 231 | ``` 232 | 233 | ## 3. HBase日常运维操作 234 | 235 | 以下操作需要在USDP集群master节点下以hadoop用户下执行，否则会出现权限不足提示 236 | 237 | - 查看hbase region状态信息查询 238 | 239 | ``` 240 | /srv/udp/1.0.0.0/hbase/bin/hbase hbck 241 | ``` 242 | 243 | - 查看常见的数据不一致修复方法 244 | 245 | ``` 246 | /srv/udp/1.0.0.0/hbase/bin/hbase hbck --help 247 | 248 | Unrecognized option:--help 249 | Usage: fsck [opts] {only tables} 250 | where [opts] are: 251 | -help Display help options (this) 252 | -details Display full report of all regions. 253 | -timelag Process only regions that have not experienced any metadata updates in the last seconds. 254 | -sleepBeforeRerun Sleep this many seconds before checking if the fix worked if run with -fix 255 | -summary Print only summary of the tables and status. 256 | -metaonly Only check the state of the hbase:meta table. 257 | -sidelineDir HDFS path to backup existing meta. 258 | -boundaries Verify that regions boundaries are the same between META and store files. 259 | -exclusive Abort if another hbck is exclusive or fixing. 260 | 261 | Metadata Repair options: (expert features, use with caution!) 262 | -fix Try to fix region assignments. This is for backwards compatiblity 263 | -fixAssignments Try to fix region assignments. Replaces the old -fix 264 | -fixMeta Try to fix meta problems. This assumes HDFS region info is good. 265 | -noHdfsChecking Don't load/check region info from HDFS. Assumes hbase:meta region info is good. Won't check/fix any HDFS issue, e.g. hole, orphan, or overlap 266 | -fixHdfsHoles Try to fix region holes in hdfs. 267 | -fixHdfsOrphans Try to fix region dirs with no .regioninfo file in hdfs 268 | -fixTableOrphans Try to fix table dirs with no .tableinfo file in hdfs (online mode only) 269 | -fixHdfsOverlaps Try to fix region overlaps in hdfs. 270 | -fixVersionFile Try to fix missing hbase.version file in hdfs. 271 | -maxMerge When fixing region overlaps, allow at most regions to merge. (n=5 by default) 272 | -sidelineBigOverlaps When fixing region overlaps, allow to sideline big overlaps 273 | -maxOverlapsToSideline When fixing region overlaps, allow at most regions to sideline per group. (n=2 by default) 274 | -fixSplitParents Try to force offline split parents to be online. 275 | -removeParents Try to offline and sideline lingering parents and keep daughter regions. 276 | -ignorePreCheckPermission ignore filesystem permission pre-check 277 | -fixReferenceFiles Try to offline lingering reference store files 278 | -fixHFileLinks Try to offline lingering HFileLinks 279 | -fixEmptyMetaCells Try to fix hbase:meta entries not referencing any region (empty REGIONINFO_QUALIFIER rows) 280 | 281 | Datafile Repair options: (expert features, use with caution!) 282 | -checkCorruptHFiles Check all Hfiles by opening them to make sure they are valid 283 | -sidelineCorruptHFiles Quarantine corrupted HFiles. implies -checkCorruptHFiles 284 | 285 | Metadata Repair shortcuts 286 | -repair Shortcut for -fixAssignments -fixMeta -fixHdfsHoles -fixHdfsOrphans -fixHdfsOverlaps -fixVersionFile -sidelineBigOverlaps -fixReferenceFiles -fixHFileLinks -fixTableLocks -fixOrphanedTableZnodes 287 | -repairHoles Shortcut for -fixAssignments -fixMeta -fixHdfsHoles 288 | 289 | Table lock options 290 | -fixTableLocks Deletes table locks held for a long time (hbase.table.lock.expire.ms, 10min by default) 291 | 292 | Table Znode options 293 | -fixOrphanedTableZnodes Set table state in ZNode to disabled if table does not exists 294 | 295 | Replication options 296 | -fixReplication Deletes replication queues for removed peers 297 | 298 | ``` 299 | 300 | - 存在inconsistencies region修复 301 | 302 | ``` 303 | /srv/udp/1.0.0.0/hbase/bin/hbase hbck -repair 304 | ``` 305 | 306 | - 修复hbase空洞 307 | 308 | ``` 309 | /srv/udp/1.0.0.0/hbase/bin/hbase hbck -fixHdfsHoles 310 | ``` 311 | 312 | - 修复meta信息（根据meta表，将表上的region分给regionserver） 313 | 314 | ``` 315 | /srv/udp/1.0.0.0/hbase/bin/hbase hbck -fixMeta 316 | ``` 317 | 318 | - 重新修复meta表（根据hdfs上的regioninfo文件，生成meta表） 319 | 320 | ``` 321 | /srv/udp/1.0.0.0/hbase/bin/hbase hbck -fixAssignments 322 | ``` 323 | 324 | - 开启region自动均衡 325 | 326 | 需要在hbase shell下开启： 327 | 328 | ``` 329 | [root@usdp-******-master1 ~]# /srv/udp/1.0.0.0/hbase/bin/hbase shell 330 | HBase Shell 331 | Use "help" to get list of supported commands. 332 | Use "exit" to quit this interactive shell. 333 | Version 1.4.10, rUnknown, Mon Jun 29 17:57:22 CST 2020 334 | 335 | hbase(main):001:0> balance_switch true 336 | ``` 337 | 338 | -------------------------------------------------------------------------------- /developer/hdfs.md: -------------------------------------------------------------------------------- 1 | # USDP 开发指南-HDFS 2 | 3 | HDFS 是一个具有高容错、高吞吐特性的分布式文件系统。HDFS 的设计架构易于扩展也易于使用，适合存储海量文件。 4 | 5 | 注：下面以 USDP V1.0.0.0 版本为例进行说明。 6 | 7 | 8 | 9 | ## 1. HFDS 基础操作 10 | 11 | - ### 查询文件 12 | 13 | 14 | ~~~shell 15 | /srv/udp/1.0.0.0/hdfs/bin/hdfs dfs -ls [-d] [-h] [-R] [] 16 | 或 17 | /srv/udp/1.0.0.0/hdfs/bin/hadoop fs -ls [-d] [-h] [-R] [] 18 | ~~~ 19 | 20 | - ### 上传文件 21 | 22 | 23 | ~~~shell 24 | /srv/udp/1.0.0.0/hdfs/bin/hdfs dfs -put [-f] [-p] [-l] 25 | 或 26 | /srv/udp/1.0.0.0/hdfs/bin/hadoop fs -put [-f] [-p] [-l] 27 | ~~~ 28 | 29 | - ### 下载文件 30 | 31 | 32 | ~~~shell 33 | /srv/udp/1.0.0.0/hdfs/bin/hdfs dfs -get [-p] [-ignoreCrc] [-crc] 34 | 或 35 | /srv/udp/1.0.0.0/hdfs/bin/hadoop fs -get [-p] [-ignoreCrc] [-crc] 36 | ~~~ 37 | 38 | > 注：更多关于HDFS的基本操作指令，请参考 *hadoop fs -help*
上传文件、下载文件时，注意切换系统用户为 “hadoop” 39 | 40 | 41 | 42 | ?>USDP未将HDFS相关服务的命令添加至环境变量，用户需要键入命令 Absolute Path 来使用，如上情景示例。
为便于开发者使用，建议将HDFS相关指令添加至环境变量中，参考如下：
1. 编辑/etc/profile文件，并在文件末尾添加如下两行内容
export PATH=$PATH:/srv/udp/1.0.0.0/hdfs/bin
export PATH=$PATH:/srv/udp/1.0.0.0/hdfs/sbin
2.保存，执行 source /etc/profile 命令使修改生效。 43 | 44 | 45 | 46 | ## 2. WebHDFS 接口 47 | 48 | WebHDFS 提供 HDFS 的 RESTful 接口，可通过此接口进行 HDFS 文件操作。使用 WebHDFS 时，客户端是先通过 Namenode 节点获取文件所在的 Datanode 地址，再通过与 Datanode 节点进行数据交互。 49 | 50 | ### 2.1 上传文件 51 | 52 | USDP 集群默认开启 HDFS NameNode 组件的高可用，同一时刻，只有一个节点处于 [active] 状态，另外一个 NameNode 组件处于 [standby] 状态。 53 | 54 | !>注：在进行 WebHDFS 接口操作时，请先确保所调用接口的 NameNode 处于 [active] 状态。 55 | 56 | * 准备数据 57 | 58 | ~~~shell 59 | touch ucloud.txt 60 | echo "ucloud" > ucloud.txt 61 | ~~~ 62 | 63 | * 创建文件请求 64 | 65 | ~~~shell 66 | curl -i -X PUT "http://:50070/webhdfs/v1/tmp/ucloud.txt?op=CREATE" 67 | ~~~ 68 | 69 | 通过该请求可获得文件存储的 DataNode 地址： 70 | 71 | ~~~shell 72 | HTTP/1.1 307 TEMPORARY_REDIRECT 73 | Location: http://:/webhdfs/v1/?op=CREATE... 74 | Content-Length: 0 75 | ~~~ 76 | 77 | 进而可以发起上传文件请求。 78 | 79 | * 上传文件请求 80 | 81 | ~~~shell 82 | curl -i -X PUT -T ucloud.txt "http://:50075/webhdfs/v1/tmp/ucloud.txt?op=CREATE&namenoderpcaddress=&overwrite=false&user.name=hadoop" 83 | ~~~ 84 | 85 | ### 2.2 追加文件 86 | 87 | * 准备数据 88 | 89 | ~~~shell 90 | touch append_ucloud.txt 91 | echo "ucloud" > append_ucloud.txt 92 | ~~~ 93 | 94 | * 获取 HDFS 上被追加的文件地址 95 | 96 | ~~~shell 97 | curl -i -X POST "http://:50070/webhdfs/v1/tmp/ucloud.txt?op=APPEND" 98 | ~~~ 99 | 100 | 通过该请求可获得文件存储的 DataNode 地址： 101 | 102 | ~~~shell 103 | HTTP/1.1 307 TEMPORARY_REDIRECT 104 | Location: http://:/webhdfs/v1/?op=CREATE... 105 | Content-Length: 0 106 | ~~~ 107 | 108 | 进而可以发起追加文件请求。 109 | 110 | * 追加文件 111 | 112 | ~~~shell 113 | curl -i -X POST -T append_ucloud.txt "http://:50075/webhdfs/v1/tmp/ucloud.txt?op=APPEND&namenoderpcaddress=&user.name=hadoop" 114 | ~~~ 115 | 116 | ### 2.3 读取文件 117 | 118 | ~~~shell 119 | curl -i -L "http://:50070/webhdfs/v1/tmp/ucloud.txt?op=OPEN" 120 | ~~~ 121 | 122 | ### 2.4 删除文件 123 | 124 | ~~~shell 125 | curl -i -X DELETE "http://:50070/webhdfs/v1/tmp/ucloud.txt?op=DELETE&user.name=hadoop" 126 | ~~~ 127 | 128 | 129 | 130 | ## 3. HttpFS 接口 131 | 132 | HttpFS 与 WebHDFS 的区别是：HttpFS 不需要客户端访问集群的每一个节点，只需授权访问启动了 HttpFS 服务的单台机器即可。由于 HttpFS 是在内嵌的 Tomcat 中一个 Web 应用，因此性能上会受到一些限制。 133 | 134 | ### 3.1 上传文件 135 | 136 | * 准备文件 137 | 138 | ~~~shell 139 | touch httpfs_ucloud.txt 140 | echo "httpfs_ucloud" > httpfs_ucloud.txt 141 | ~~~ 142 | 143 | * 上传文件 144 | 145 | ~~~shell 146 | curl -i -X PUT -T httpfs_ucloud.txt --header "Content-Type: application/octet-stream" "http://:14000/webhdfs/v1/tmp/httpfs_ucloud.txt?op=CREATE&user.name=hadoop&data=true" 147 | ~~~ 148 | 149 | ?>注：url中需添加 user.name，否则会报"HTTP Status 401 - Authentication required"错误 150 | 151 | ### 3.2 追加文件 152 | 153 | * 准备文件 154 | 155 | ~~~shell 156 | touch append_ucloud.txt 157 | echo "append_ucloud" > append_ucloud.txt 158 | ~~~ 159 | 160 | * 追加文件 161 | 162 | ~~~shell 163 | curl -i -X POST -T append_ucloud.txt --header "Content-Type: application/octet-stream" "http://:14000/webhdfs/v1/tmp/httpfs_ucloud.txt?op=APPEND&user.name=hadoop&data=true" 164 | ~~~ 165 | 166 | ### 3.3 读取文件 167 | 168 | ~~~shell 169 | curl -i -L "http://:14000/webhdfs/v1/tmp/httpfs_ucloud.txt?op=OPEN&user.name=hadoop" 170 | ~~~ 171 | 172 | ### 3.4 删除文件 173 | 174 | ~~~shell 175 | curl -i -X DELETE "http://:14000/webhdfs/v1/tmp/httpfs_ucloud.txt?op=DELETE&user.name=hadoop" 176 | ~~~ 177 | 178 | 179 | 180 | ## 4. HDFS 日常运维 181 | 182 | ### 4.1 组件启停 183 | 184 | USDP 控制台页面可以对服务下的组件进行启停操作，除此之外，用户也可以通过 SSH 登录到节点执行脚本对组件进行启停操作。 185 | 186 | ?>注：下面将以 USDP V1.0.0.0 为例进行说明。 187 | 188 | * NameNode 启停 189 | 190 | ~~~shell 191 | /srv/udp/1.0.0.0/hdfs/sbin/start-namenode.sh 192 | /srv/udp/1.0.0.0/hdfs/sbin/stop-namenode.sh 193 | ~~~ 194 | 195 | * DataNode 启停 196 | 197 | ~~~shell 198 | /srv/udp/1.0.0.0/hdfs/sbin/start-datanode.sh 199 | /srv/udp/1.0.0.0/hdfs/sbin/stop-datanode.sh 200 | ~~~ 201 | 202 | * ZKFC 启停 203 | 204 | ~~~shell 205 | /srv/udp/1.0.0.0/hdfs/sbin/start-zkfc.sh 206 | /srv/udp/1.0.0.0/hdfs/sbin/stop-zkfc.sh 207 | ~~~ 208 | 209 | * JournalNode 启停 210 | 211 | ~~~shell 212 | /srv/udp/1.0.0.0/hdfs/sbin/start-journalnode.sh 213 | /srv/udp/1.0.0.0/hdfs/sbin/stop-journalnode.sh 214 | ~~~ 215 | 216 | * HttpFS 启停 217 | 218 | ~~~shell 219 | /srv/udp/1.0.0.0/hdfs/sbin/start-httpfs.sh 220 | /srv/udp/1.0.0.0/hdfs/sbin/stop-httpfs.sh 221 | ~~~ 222 | 223 | ### 4.2 查看 HDFS 状态 224 | 225 | ~~~shell 226 | [hadoop] $ /srv/udp/1.0.0.0/hdfs/bin/hdfs dfsadmin -report 227 | ~~~ 228 | 229 | ### 4.3 修改 HDFS 文件副本数量 230 | 231 | ~~~shell 232 | [hadoop] $ /srv/udp/1.0.0.0/hdfs/bin/hdfs dfs -setrep -R [replication-factor] [targetDir] 233 | ~~~ 234 | 235 | 例如：修改HDFS 根目录下文件副本数量为 2。 236 | 237 | ~~~shell 238 | [hadoop] $ /srv/udp/1.0.0.0/hdfs/bin/hdfs dfs -setrep -R 2 / 239 | ~~~ 240 | 241 | ### 4.4 查看 HDFS 文件系统状态 242 | 243 | ~~~shell 244 | [hadoop] $ /srv/udp/1.0.0.0/hdfs/bin/hadoop fsck / 245 | ~~~ 246 | 247 | 返回结果示例如下： 248 | 249 | ~~~shell 250 | Connecting to namenode via http://udp02:50070/fsck?ugi=hadoop&path=%2F 251 | FSCK started by hadoop (auth:SIMPLE) from /10.23.38.64 for path / at Thu Oct 29 13:13:00 CST 2020 252 | 253 | Status: HEALTHY 254 | Total size: 1103087995 B (Total open files size: 827 B) 255 | Total dirs: 94 256 | Total files: 1000 257 | Total symlinks: 0 (Files currently being written: 8) 258 | Total blocks (validated): 998 (avg. block size 1105298 B) (Total open file blocks (not validated): 7) 259 | Minimally replicated blocks: 998 (100.0 %) 260 | Over-replicated blocks: 0 (0.0 %) 261 | Under-replicated blocks: 0 (0.0 %) 262 | Mis-replicated blocks: 0 (0.0 %) 263 | Default replication factor: 3 264 | Average block replication: 3.0 265 | Corrupt blocks: 0 266 | Missing replicas: 0 (0.0 %) 267 | Number of data-nodes: 5 268 | Number of racks: 1 269 | FSCK ended at Thu Oct 29 13:13:00 CST 2020 in 59 milliseconds 270 | 271 | 272 | The filesystem under path '/' is HEALTHY 273 | ~~~ 274 | 275 | ?>注：述HEALTHY表示当前HDFS文件系统正常，无坏块或者数据丢失 276 | -------------------------------------------------------------------------------- /developer/hive.md: -------------------------------------------------------------------------------- 1 | # USDP 开发指南-Hive 2 | 3 | Hive是Hadoop生态系统中的数据仓库产品。它可以简单方便的存储、查询和分析存储在HDFS或者HBase的数据，它将sql语句转换成MR/Tez/Spark任务，进行复杂的海量数据分析。它也提供了一系列工具，可用来多数据进行提取、转化和加载，USDP默认hive执行引擎为Tez。 4 | 5 | ## 1. Hive Cli 6 | 7 | Hive Cli是Hive服务提供的一个方便操作Hive表的客户端。其基本操作如下： 8 | 9 | - ### 打开Hive Cli 10 | 11 | 在USDP任一安装过hive客户端的节点，进入hadoop用户下 12 | 13 | ```shell 14 | [hadoop@usdp-pqahfeqa-master1 ~]$ /srv/udp/1.0.0.0/hive/bin/hive 15 | 16 | ``` 17 | 18 | - ### 创建hive表 19 | 20 | ```shell 21 | hive (default)> create table test_hive (id int, name string); 22 | 23 | OK 24 | Time taken: 0.41 seconds 25 | ``` 26 | 27 | - ### 插入数据 28 | 29 | ```shell 30 | hive> insert into test_hive values (1,'test_ucloud'),(2,'test_hive'); 31 | 32 | ``` 33 | 34 | - ### 读取数据 35 | 36 | ```shell 37 | hive> select * from test_hive; 38 | ``` 39 | 40 | - ### 统计数据个数 41 | 42 | ```shell 43 | hive> select count(*) from test_hive; 44 | ``` 45 | 46 | - ### 命令行直接执行sql命令 47 | 48 | ```shell 49 | /srv/udp/1.0.0.0/hive/bin/hive -e "select * from test_hive" 50 | ``` 51 | 52 | 53 | 54 | ?>USDP未将HIVE相关服务的命令添加至环境变量，用户需要键入命令 Absolute Path 路径来使用，如上情景示例。
为便于开发者使用，建议将HIVE相关指令添加至环境变量中，参考如下：
1. 编辑/etc/profile文件，并在文件末尾添加如下行内容
export PATH=$PATH:/srv/udp/1.0.0.0/hive/bin
2.保存，执行 source /etc/profile 命令使修改生效。 55 | 56 | ## 2. Beeline 57 | 58 | Hive提供了一个可通过JDBC方式调用的服务Hive-server2（服务端口10000）。 59 | 60 | 利用beeline客户端可以远程连接Hive-server2服务，进而对hive数据进行操作。 61 | 62 | - ### 启动beeline客户端 63 | 64 | ```shell 65 | [hadoop@usdp-pqahfeqa-master1 ~]$ /srv/udp/1.0.0.0/hive/bin/beeline 66 | ``` 67 | 68 | - ### 连接hive-server2 69 | 70 | ```shell 71 | beeline> !connect jdbc:hive2://ip:10000/default; 72 | ``` 73 | 74 | ?>注解：
1. 用户名、密码默认可填空值
2. ip修改为hive-server2的安装机器的ip 75 | 76 | - 数据操作 77 | 78 | 同Hive Cli 79 | 80 | - 在命令行直接提交sql命令： 81 | 82 | ```shell 83 | /srv/udp/1.0.0.0/hive/bin/beeline -ujdbc:hive2://ip:10000 -e "select * from test_hive" 84 | ``` 85 | 86 | -------------------------------------------------------------------------------- /developer/ranger/.DS_Store: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/developer/ranger/.DS_Store -------------------------------------------------------------------------------- /developer/ranger/README.md: -------------------------------------------------------------------------------- 1 | # USDP 开发指南-RANGER 2 | 3 | RANGER 是 Hadoop 生态中的一种权限管理框架，通过其可以实现对 HDFS、Hive 等生态组件进行细粒度的权限访问控制，并且 集群管理员 可以通过 Ranger 组件自带的 WebUI 进行相关配置及授权管理操作，以达到集群安全性增强的目的。 4 | 5 | 在通过使用 USDP 服务创建的 Hadoop 集群中，我们通过本篇指南，以示例的形式带您了解 开发者 及 管理员 如何使用 Ranger ，了解 Ranger 的相关的一些操作方法。 6 | 7 | ## 访问Ranger UI 8 | 9 | 目前，当需要访问USDP各组件的Web UIs时，出于安全性考虑，建议您先安全的进入云端内网环境，并使用浏览器访问各组件Web UIs。 10 | 11 | ### 方法一 12 | 13 | 1. 进入USDP控制台。 14 | 15 | 2. 左侧导航栏选择“服务管理”-“安全类”-“Ranger”进入 Ranger 服务管理页面。 16 | 17 | 3. 选择标签页“Web UIs”即可弹出 RangerAdmin Web UI的链接。 18 | 19 | ![ranger-2020112773215ranger](../../images/developer/ranger/ranger-2020112773215ranger.png) 20 | 21 | 4. 点击此链接即可打开。 22 | 23 | ![ranger-2020112774628ranger](../../images/developer/ranger/ranger-2020112774628ranger.png) 24 | 25 | ?>注：默认登录的账号：admin，密码为：admin，建议您及时修改admin用户密码。 26 | 27 | ### 方法二 28 | 29 | 若您了解RangerAdmin部署的所在的集群节点，即可通过下述方式访问Ranger Web UI。 30 | 31 | ~~~URI 32 | http://usdp-xxx-master1:6080/login.jsp 33 | ~~~ 34 | 35 | 其中“usdp-xxx-master1”亦可替换成所在节点的内网ip。 36 | 37 | 38 | 39 | ?>注意：无论方法一/二，均需要您操作的浏览器所在节点与集群各节点可内网互通。 40 | 41 | ## 各服务组件集成Ranger 42 | 43 | 本篇指南，包含如下两章内容： 44 | 45 | * [HDFS配置Ranger](/USDP/developer/ranger/ranger_hdfs) 46 | 47 | * [Hive配置Ranger](/USDP/developer/ranger/ranger_hive) 48 | 49 | 50 | 51 | ?>注意：本篇指南是以USDP V1.0.0.0版本，涉及的集群组件的部署路径，参见[各服务部署规则](/USDP/developer/rule)。 52 | 53 | -------------------------------------------------------------------------------- /developer/ranger/ranger_hdfs.md: -------------------------------------------------------------------------------- 1 | # HDFS配置Ranger 2 | 3 | HDFS 作为底层存储，本章节将以 HDFS 为例，进行说明。 4 | 5 | ## 启用 HDFS-Ranger 插件 6 | 7 | #### 1. 登陆NameNode所在集群节点并完成下述操作 8 | 9 | 首先需要分别在两台 NameNode 节点上开启 HDFS Ranger 插件，并重启集群，命令如下： 10 | 11 | ~~~shell 12 | /srv/udp/1.0.0.0/hdfs/ranger-hdfs-plugin/enable-hdfs-plugin.sh 13 | ~~~ 14 | 15 | ?>注：可通过 USDP 控制台查看 HDFS 相关组件中，NameNode1、NameNode2 分别运行在集群的哪些节点上。 16 | 17 | 此时会在当前节点的如下目录自动生成相关权限配置： 18 | 19 | ~~~xml 20 | /srv/udp/1.0.0.0/hdfs/etc/hadoop/hdfs-site.xml 21 | 22 | dfs.permissions.enabled 23 | true 24 | 25 | 26 | dfs.permissions 27 | true 28 | 29 | 30 | dfs.namenode.inode.attributes.provider.class 31 | org.apache.ranger.authorization.hadoop.RangerHdfsAuthorizer 32 | 33 | ~~~ 34 | 35 | 并自动在该目录下生成软链接： 36 | 37 | ~~~shell 38 | /srv/udp/1.0.0.0/hdfs/share/hadoop/hdfs/lib 39 | ranger-hdfs-plugin-impl -> /srv/udp/1.0.0.0/hdfs/ranger-hdfs-plugin/lib/ranger-hdfs-plugin-impl 40 | ranger-hdfs-plugin-shim-1.2.0.jar -> /srv/udp/1.0.0.0/hdfs/ranger-hdfs-plugin/lib/ranger-hdfs-plugin-shim-1.2.0.jar 41 | ranger-plugin-classloader-1.2.0.jar -> /srv/udp/1.0.0.0/hdfs/ranger-hdfs-plugin/lib/ranger-plugin-classloader-1.2.0.jar 42 | ~~~ 43 | 44 | !>注意：此时，需要通过 USDP 控制台重启两个NameNode 45 | 46 | #### 2. 在USDP控制台完成两个NameNode服务重启 47 | 48 | 进入左侧导航栏 “服务管理”-“存储类”-“HDFS” 中，点击 “组件管理”，寻找到 “NameNode1”、“NameNode2” 组件后，点击 “NameNode1”、“NameNode2” 组件对应的 “操作” 栏 重启 按钮。 49 | 50 | ![ranger-202011241002151124](../../images/developer/ranger/ranger-202011241002151124.png) 51 | 52 | ## 配置权限 53 | 54 | #### 1. 访问 Ranger Web UI 页面 55 | 56 | 请在云端内网环境中使用浏览器访问 Ranger Web UI页面。 57 | 58 | #### 2. 添加 HDFS-Service 59 | 60 | 在Service Manager页面的 HDFS 条目中，点击 + 按钮进行创建 Service，如下图所示： 61 | 62 | ![ranger-20201106131208683](../../images/developer/ranger/ranger-20201106131208683.png) 63 | 64 | 进入Create Service服务配置页面，在 Service Name 输入框中填入如下值： 65 | 66 | ~~~shell 67 | ranger-hdfs-service 68 | ~~~ 69 | 70 | !>注意: 此处必须填写此值！ 71 | 72 | ![ranger-20201106131359431](../../images/developer/ranger/ranger-20201106131359431.png) 73 | 74 | #### 3. 配置 HDFS-Service 用户名密码 75 | 76 | 填入用户名密码为如下： 77 | 78 | ~~~shell 79 | Username：hadoop 80 | Password：hadoop 81 | ~~~ 82 | 83 | #### 4. 配置 NameNode HA 参数 84 | 85 | 在 NameNode URL 中填入如下配置： 86 | 87 | ~~~shell 88 | hdfs://usdp-xxx-master1:8020,hdfs://usdp-xxx-master2:8020 89 | ~~~ 90 | 91 | ?>注意：请替换示例中主机名字符串中的“xxx”为正确的主机名字符串。 92 | 93 | 填入规则如下图所示： 94 | 95 | ![ranger-20201106131634840](../../images/developer/ranger/ranger-20201106131634840.png) 96 | 97 | #### 5. 配置代理参数 98 | 99 | 在下方 Add New Configuration 中配置代理参数如下： 100 | 101 | ~~~shell 102 | policy.download.auth.users: hadoop 103 | ~~~ 104 | 105 | 配置完成后如下图所示： 106 | 107 | ![ranger-20201106131950006](../../images/developer/ranger/ranger-20201106131950006.png) 108 | 109 | 然后点击 Test Connection 按钮，如果得到如下图所示样例，则表示成功。 110 | 111 | ![ranger-20201106132041822](../../images/developer/ranger/ranger-20201106132041822.png) 112 | 113 | 然后，点击 Add 按钮，此时Ranger Web UI的Service Manager页面显示如下： 114 | 115 | ![ranger-202011242k385d789](../../images/developer/ranger/ranger-202011242k385d789.png) 116 | 117 | ## 添加测试用户 118 | 119 | #### 1. 添加用户 120 | 121 | 在 Ranger Web UI 中，点击顶部导航栏 “Settings” 菜单，选择“Users”标签页，点击页面右侧的 Add New User 添加测试用户，如下图所示： 122 | 123 | ![ranger-20201106133930992](../../images/developer/ranger/ranger-20201106133930992.png) 124 | 125 | 编辑内容，完成后点击 Save 按钮保存，如下图所示： 126 | 127 | ![ranger-20201106134013185](../../images/developer/ranger/ranger-20201106134013185.png) 128 | 129 | !>注：Select Role 中，选择 User 类型，而非 Admin 类型。 130 | 131 | #### 2. 在 Linux 中添加用户 132 | 133 | 通过 ssh 在集群节点上，添加与上述配置相同的用户test1，命令如下： 134 | 135 | ~~~shell 136 | useradd test1 137 | ~~~ 138 | 139 | #### 3. 验证用户当前权限 140 | 141 | 使用如下命令，验证刚添加的 test1 用户是否拥有对应权限： 142 | 143 | ~~~shell 144 | su -s /bin/bash test1 -c "/srv/udp/1.0.0.0/hdfs/bin/hdfs dfs -ls /" 145 | ~~~ 146 | 147 | 返回结果如下： 148 | 149 | ~~~shell 150 | drwxrwxr-x - hadoop supergroup 0 2020-11-06 11:28 /flink-completed-jobs 151 | drwxr-xr-x - hadoop supergroup 0 2020-11-06 11:30 /hbase 152 | drwxr-xr-x - hadoop supergroup 0 2020-11-06 11:29 /kylin 153 | drwxrwxr-x - hadoop supergroup 0 2020-11-06 11:28 /spark-logs 154 | drwxr-xr-x - hadoop supergroup 0 2020-11-06 11:27 /tez 155 | drwxrwx--- - hadoop supergroup 0 2020-11-06 11:28 /tmp 156 | drwxr-xr-x - hadoop supergroup 0 2020-11-06 11:28 /user 157 | ~~~ 158 | 159 | 此时证明 test1 用户对HDFS的根目录拥有访问权限。 160 | 161 | ## 编辑权限 162 | 163 | 接下来，以配置拒绝 test1 用户访问 HDFS 为例，进行示例说明。 164 | 165 | #### 1. 进入编辑页面 166 | 167 | 如下图所示，进入HDFS条目的“ranger-hdfs-service”策略编辑页面： 168 | 169 | ![ranger-20201106132157001](../../images/developer/ranger/ranger-20201106132157001.png) 170 | 171 | #### 2. 删除默认规则 172 | 173 | 首先，删除Ranger默认的权限策略，如下图所示： 174 | 175 | ![ranger-20201106132231930](../../images/developer/ranger/ranger-20201106132231930.png) 176 | 177 | #### 3. 添加自定义规则 178 | 179 | 点击右上角的 Add New Policy 即可添加自定义权限策略规则，如下图所示： 180 | 181 | ![ranger-20201106132317649](../../images/developer/ranger/ranger-20201106132317649.png) 182 | 183 | #### 4. 配置 Policy Details 184 | 185 | 在 Policy Name 属性中，建议键入比较有标识度的规则名称，例如：deny_test1_all，即，拒绝 test1 用户所有对 HDFS 的操作。 186 | 187 | 同时，在 Resource Path 中输入HDFS的根目录：/ 并键入回车，同时，要确保 recursive 滑块处于开启状态。 188 | 189 | 配置信息，如下图所示： 190 | 191 | ![ranger-20201106134404122](../../images/developer/ranger/ranger-20201106134404122.png) 192 | 193 | #### 5. 配置权限类型 194 | 195 | 配置权限可以分为两种类别：允许的权限、拒绝的权限。 196 | 197 | 本例中，以配置拒绝的权限为例进行说明，即拒绝 test1 用户对 HDFS 根目录及其子目录下的所有操作。参考如下 “配置拒绝权限” 所示进行配置操作。 198 | 199 | * 配置允许的权限，如下图所示： 200 | 201 | ![ranger-20201106132922759](../../images/developer/ranger/ranger-20201106132922759.png) 202 | 203 | * 配置拒绝的权限，如下图所示： 204 | 205 | ![ranger-20201106134453012](../../images/developer/ranger/ranger-20201106134453012.png) 206 | 207 | #### 6. 查看配置完成的权限 208 | 209 | 完成上述配置项填写后，点击 Add 按钮保存，即已完成添加自定义策略配置，并回到权限策略概览页面，如下图所示： 210 | 211 | ![ranger-20201106134520978](../../images/developer/ranger/ranger-20201106134520978.png) 212 | 213 | ?>注：权限添加后，大约需要 1 分钟左右即会生效。 214 | 215 | ## 验证权限配置 216 | 217 | 接下来，通过 ssh 访问集群中安装了 HDFS 服务组件的“任意”节点，进行 shell 操作来验证权限是否生效。 218 | 219 | 试验命令如下： 220 | 221 | ~~~shell 222 | su -s /bin/bash test1 -c "/srv/udp/1.0.0.0/hdfs/bin/hdfs dfs -ls /" 223 | ~~~ 224 | 225 | 若返回如下信息，说明当前节点本地无“test1”用户 226 | 227 | ```shell 228 | su: user test2 does not exist 229 | ``` 230 | 231 | 参见1.3.2节，执行 “useradd test1”添加test1用户后再重试上述命令，返回结果如下： 232 | 233 | ~~~shell 234 | ls: Permission denied: user=test1, access=EXECUTE, inode="/" 235 | ~~~ 236 | 237 | 此时证明权限配置已生效，test1用户已无权访问HDFS的任何目录了。 238 | -------------------------------------------------------------------------------- /developer/ranger/ranger_hive.md: -------------------------------------------------------------------------------- 1 | # Hive配置Ranger 2 | 3 | ## 启用 Hive-Ranger 插件 4 | 5 | #### 1. 登陆 HiveServer2 所在集群节点并完成下述操作 6 | 7 | 首先需要在 HiveServer2 所在节点上开启 Hive Ranger 插件，并重启集群，命令如下： 8 | 9 | ~~~shell 10 | /srv/udp/1.0.0.0/hive/ranger-hive-plugin/enable-hive-plugin.sh 11 | ~~~ 12 | 13 | ?>注：可通过 USDP 控制台查看 Hive 相关组件中，HiveServer2 运行在集群的哪个节点上。 14 | 15 | 此时会在当前节点的 Hive 配置文件目录中自动变更如下配置文件： 16 | 17 | ~~~shell 18 | ll /srv/udp/1.0.0.0/hive/conf 19 | 20 | hiveserver2-site.xml 21 | ranger-hive-audit.xml 22 | ranger-hive-security.xml 23 | ranger-policymgr-ssl.xml 24 | ranger-security.xml 25 | ~~~ 26 | 27 | !>注意：此时，需要通过 USDP 控制台重启 HiveServer2 28 | 29 | #### 2. 在USDP控制台完成 HiveServer2 服务重启 30 | 31 | 进入左侧导航栏 “服务管理”-“计算类”-“HIVE” 中，点击 “组件管理”，寻找到 “HiveServer2” 组件后，点击 HiveServer2 组件对应的 “操作” 栏 重启 按钮。 32 | 33 | ![ranger-202011241004201124](../../images/developer/ranger/ranger-202011241004201124.png) 34 | 35 | ## 配置权限 36 | 37 | #### 1. 访问 Ranger Web UI 页面 38 | 39 | 请在云端内网环境中使用浏览器访问 Ranger Web UI页面。 40 | 41 | #### 2. 添加 Hive-Service 42 | 43 | 在 Hive 条目中，点击 + 按钮进行创建 Service，如下图所示： 44 | 45 | ![ranger-20201117145413710](../../images/developer/ranger/ranger-20201117145413710.png) 46 | 47 | 并在 Service Name 输入框中填入如下值：（注意，此处必须为此值） 48 | 49 | ~~~shell 50 | ranger-hive-service 51 | ~~~ 52 | 53 | !>注意: 此处必须填写此值！ 54 | 55 | ![ranger-20201117145448335](../../images/developer/ranger/ranger-20201117145448335.png) 56 | 57 | #### 3. 设置 Hive-Service 用户名密码 58 | 59 | 设置用户名密码如下： 60 | 61 | ~~~shell 62 | Username：hadoop 63 | Password：hadoop 64 | ~~~ 65 | 66 | #### 4. 配置 JDBC 驱动类 67 | 68 | 设置 `jdbc.driverClassName` 属性值为：org.apache.hive.jdbc.HiveDriver 69 | 70 | #### 5. 配置 JDBC URL 71 | 72 | 此处设置 HiveServer2 的连接即可，配置举例如下： 73 | 74 | ~~~shell 75 | jdbc:hive2://10.9.136.30:10000 76 | ~~~ 77 | 78 | ?>注意：该示例中的 IP 地址为 HiveServer2 所在节点的内网 IP。 79 | 80 | #### 6. 配置代理参数 81 | 82 | 在下方 Add New Configuration 中配置代理参数如下： 83 | 84 | ~~~shell 85 | policy.download.auth.users: hadoop 86 | ~~~ 87 | 88 | 配置完成后如下图所示： 89 | 90 | ![ranger-20201106131950006](../../images/developer/ranger/ranger-20201106131950006.png) 91 | 92 | 然后点击 Test Connection 按钮，如果得到如下图所示样例，则表示成功。 93 | 94 | ![ranger-20201106132041822](../../images/developer/ranger/ranger-20201106132041822.png) 95 | 96 | 然后，点击 Add 按钮即可。 97 | 98 | ## 添加测试用户 99 | 100 | #### 1. 添加用户 101 | 102 | 在 Ranger Web UI 中，点击顶部导航栏 “Settings” 菜单，选择“Users”标签页，点击页面右侧的 Add New User 添加测试用户，如下图所示： 103 | 104 | ![ranger-20201106133930992](../../images/developer/ranger/ranger-20201106133930992.png) 105 | 106 | 编辑内容如下图所示： 107 | 108 | ![ranger-20201106134013185](../../images/developer/ranger/ranger-20201106134013185.png) 109 | 110 | ?>注：Select Role 中，选择 User 类型，而非 Admin 类型。 111 | 112 | #### 2. 在 Linux 中添加用户 113 | 114 | 通过 ssh 在集群节点上，需要添加与上述配置相同的用户，命令如下： 115 | 116 | ~~~shell 117 | useradd test1 118 | ~~~ 119 | 120 | #### 3. 验证用户当前权限 121 | 122 | 使用如下命令，验证 test1 用户拥有对应权限： 123 | 124 | ~~~shell 125 | /srv/udp/1.0.0.0/hive/bin/beeline -u jdbc:hive2://10.9.136.30:10000 -n test1 126 | ~~~ 127 | 128 | 然后再 beeline 命令行输入： 129 | 130 | ~~~shell 131 | 0: jdbc:hive2://10.9.136.30:10000> create table t_test(a string); 132 | ~~~ 133 | 134 | 结果如下： 135 | 136 | ~~~shell 137 | 0: jdbc:hive2://10.9.136.30:10000> show tables; 138 | +-----------+ 139 | | tab_name | 140 | +-----------+ 141 | | t_test | 142 | +-----------+ 143 | ~~~ 144 | 145 | 此时证明 test1 有对表操作的权限。 146 | 147 | ## 编辑权限 148 | 149 | #### 1. 进入编辑页面 150 | 151 | 如下图所示，即可进入编辑页面： 152 | 153 | ![ranger-20201117152511115](../../images/developer/ranger/ranger-20201117152511115.png) 154 | 155 | #### 2. 删除默认规则 156 | 157 | 如下图所示： 158 | 159 | ![ranger-20201117152706370](../../images/developer/ranger/ranger-20201117152706370.png) 160 | 161 | #### 3. 添加自定义规则 162 | 163 | 点击右上角的 Add New Policy 按钮添加默认规则，如下图所示： 164 | 165 | ![ranger-20201106132317649](../../images/developer/ranger/ranger-20201106132317649.png) 166 | 167 | #### 4. 配置 Policy Details 168 | 169 | 在 Policy Name 属性中，建议键入比较有标识度的规则名称，例如：deny_test1_all，即，拒绝 test1 用户所有对 HDFS 的操作。 170 | 171 | 同时，在 Resource Path 中输入：/，并键入回车，同时，要确保 recursive 开关开启。 172 | 173 | 配置如下图所示： 174 | 175 | ![ranger-20201117153018511](../../images/developer/ranger/ranger-20201117153018511.png) 176 | 177 | #### 5. 配置权限类型 178 | 179 | 配置权限可以分为两种类别：允许的权限、拒绝的权限。本例中，以配置拒绝的权限为例进行说明，即，拒绝 test1 用户对 HDFS 根目录及其子目录下的所有操作。如下 “配置拒绝权限” 所示。 180 | 181 | * 配置允许的权限 182 | 183 | ![ranger-20201106132922759](../../images/developer/ranger/ranger-20201106132922759.png) 184 | 185 | * 配置拒绝的权限 186 | 187 | ![ranger-20201117153740642](../../images/developer/ranger/ranger-20201117153740642.png) 188 | 189 | #### 6. 查看配置完成的权限 190 | 191 | 上述配置完成后，点击 Add 按钮完成添加，并回到权限概览页面，如下图所示： 192 | 193 | ![ranger-20201117153048597](../../images/developer/ranger/ranger-20201117153048597.png) 194 | 195 | ?>注：权限添加后，大约需要 1 分钟即可生效。 196 | 197 | ### 验证权限配置 198 | 199 | 在 Linux 中，使用如下命令，验证 test1 用户拥有对应权限： 200 | 201 | ~~~shell 202 | /srv/udp/1.0.0.0/hive/bin/beeline -u jdbc:hive2://10.9.136.30:10000 -n test1 203 | ~~~ 204 | 205 | 然后再 beeline 命令行输入： 206 | 207 | ~~~shell 208 | 0: jdbc:hive2://10.9.136.30:10000> insert into t_test values('nick'); 209 | ~~~ 210 | 211 | 结果如下： 212 | 213 | ~~~shell 214 | Error: Error while compiling statement: FAILED: HiveAccessControlException Permission denied: user [test1] does not have [UPDATE] privilege on [default/t_test] (state=42000,code=40000) 215 | ~~~ 216 | 217 | 此时证明 test1 已经失去对 t_test 表的操作权限，更多细粒度的控制，可以在上述 2.4.5 中进行配置。 -------------------------------------------------------------------------------- /developer/rule.md: -------------------------------------------------------------------------------- 1 | # 各组件服务部署规则说明 2 | 3 | 通过USDP所安装的大数据集群中，各类服务与组件的部署路径，遵循如下规则： 4 | 5 | ## 1.组件服务安装目录 6 | 7 | 默认规则： 8 | 9 | ~~~shell 10 | /srv/udp/${USDP 服务版本}/${服务名称} 11 | ~~~ 12 | 13 | 以 USDP V1.0.0.0 版本的集群 HDFS 服务安装为例： 14 | 15 | ~~~shell 16 | /srv/udp/1.0.0.0/hdfs 17 | ~~~ 18 | 19 | ## 2.组件服务配置文件目录 20 | 21 | 默认规则： 22 | 23 | ~~~shell 24 | /etc/udp/${USDP 服务版本}/${服务名称}/${原服务配置文件相对路径} 25 | ~~~ 26 | 27 | 以 USDP V1.0.0.0 版本的集群 HDFS 服务配置文件为例，其 core-site.xml 相关文件在如下目录中： 28 | 29 | ~~~shell 30 | /etc/udp/1.0.0.0/hdfs/etc/hadoop 31 | ~~~ 32 | 33 | ## 3.组件服务默认的数据存储路径 34 | 35 | 在部署服务时，默认的数据存储路径可以自定义修改，但官方推荐使用默认数据存储路径，方便后期运维，本例以默认路径为例进行说明。 36 | 37 | 默认规则： 38 | 39 | ~~~shell 40 | /data/udp/${USDP 服务版本}/${服务名称} 41 | ~~~ 42 | 43 | 以 USDP V1.0.0.0 版本的集群 HDFS 服务的数据存储为例： 44 | 45 | ~~~shell 46 | /data/udp/1.0.0.0/hdfs/ 47 | ~~~ 48 | 49 | ## 4.组件服务的日志存储路径 50 | 51 | 默认规则： 52 | ~~~shell 53 | /var/log/udp/${USDP 服务版本}/${服务名称}/ 54 | ~~~ 55 | 56 | 以 USDP V1.0.0.0 版本的集群 HBase 服务日志为例： 57 | 58 | ~~~shell 59 | /var/log/udp/1.0.0.0/hbase/hbase-hadoop-master-x.log 60 | ~~~ 61 | 62 | 当开发者需要基于某些服务、组件进行开发作业时，可以进入到相应目录进行脚本、API 等操作。如有特殊需要，也可以自行添加环境变量及classpath。 63 | -------------------------------------------------------------------------------- /images/.DS_Store: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/.DS_Store -------------------------------------------------------------------------------- /images/USDP智能大数据平台产品形象大图.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/USDP智能大数据平台产品形象大图.png -------------------------------------------------------------------------------- /images/developer/.DS_Store: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/developer/.DS_Store -------------------------------------------------------------------------------- /images/developer/atlas/16073970384716.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/developer/atlas/16073970384716.png -------------------------------------------------------------------------------- /images/developer/atlas/1607398637701.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/developer/atlas/1607398637701.png -------------------------------------------------------------------------------- /images/developer/atlas/16073989954242.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/developer/atlas/16073989954242.png -------------------------------------------------------------------------------- /images/developer/atlas/atlas_login.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/developer/atlas/atlas_login.png -------------------------------------------------------------------------------- /images/developer/atlas/usdp_atlas.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/developer/atlas/usdp_atlas.png -------------------------------------------------------------------------------- /images/developer/ranger/ranger-20201106131208683.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/developer/ranger/ranger-20201106131208683.png -------------------------------------------------------------------------------- /images/developer/ranger/ranger-20201106131359431.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/developer/ranger/ranger-20201106131359431.png -------------------------------------------------------------------------------- /images/developer/ranger/ranger-20201106131634840.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/developer/ranger/ranger-20201106131634840.png -------------------------------------------------------------------------------- /images/developer/ranger/ranger-20201106131950006.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/developer/ranger/ranger-20201106131950006.png -------------------------------------------------------------------------------- /images/developer/ranger/ranger-20201106132041822.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/developer/ranger/ranger-20201106132041822.png -------------------------------------------------------------------------------- /images/developer/ranger/ranger-20201106132157001.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/developer/ranger/ranger-20201106132157001.png -------------------------------------------------------------------------------- /images/developer/ranger/ranger-20201106132231930.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/developer/ranger/ranger-20201106132231930.png -------------------------------------------------------------------------------- /images/developer/ranger/ranger-20201106132317649.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/developer/ranger/ranger-20201106132317649.png -------------------------------------------------------------------------------- /images/developer/ranger/ranger-20201106132922759.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/developer/ranger/ranger-20201106132922759.png -------------------------------------------------------------------------------- /images/developer/ranger/ranger-20201106133930992.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/developer/ranger/ranger-20201106133930992.png -------------------------------------------------------------------------------- /images/developer/ranger/ranger-20201106134013185.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/developer/ranger/ranger-20201106134013185.png -------------------------------------------------------------------------------- /images/developer/ranger/ranger-20201106134404122.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/developer/ranger/ranger-20201106134404122.png -------------------------------------------------------------------------------- /images/developer/ranger/ranger-20201106134453012.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/developer/ranger/ranger-20201106134453012.png -------------------------------------------------------------------------------- /images/developer/ranger/ranger-20201106134520978.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/developer/ranger/ranger-20201106134520978.png -------------------------------------------------------------------------------- /images/developer/ranger/ranger-20201117145413710.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/developer/ranger/ranger-20201117145413710.png -------------------------------------------------------------------------------- /images/developer/ranger/ranger-20201117145448335.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/developer/ranger/ranger-20201117145448335.png -------------------------------------------------------------------------------- /images/developer/ranger/ranger-20201117152511115.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/developer/ranger/ranger-20201117152511115.png -------------------------------------------------------------------------------- /images/developer/ranger/ranger-20201117152706370.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/developer/ranger/ranger-20201117152706370.png -------------------------------------------------------------------------------- /images/developer/ranger/ranger-20201117153018511.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/developer/ranger/ranger-20201117153018511.png -------------------------------------------------------------------------------- /images/developer/ranger/ranger-20201117153048597.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/developer/ranger/ranger-20201117153048597.png -------------------------------------------------------------------------------- /images/developer/ranger/ranger-20201117153740642.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/developer/ranger/ranger-20201117153740642.png -------------------------------------------------------------------------------- /images/developer/ranger/ranger-202011241002151124.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/developer/ranger/ranger-202011241002151124.png -------------------------------------------------------------------------------- /images/developer/ranger/ranger-202011241004201124.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/developer/ranger/ranger-202011241004201124.png -------------------------------------------------------------------------------- /images/developer/ranger/ranger-202011242k385d789.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/developer/ranger/ranger-202011242k385d789.png -------------------------------------------------------------------------------- /images/developer/ranger/ranger-2020112773215ranger.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/developer/ranger/ranger-2020112773215ranger.png -------------------------------------------------------------------------------- /images/developer/ranger/ranger-2020112774628ranger.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/developer/ranger/ranger-2020112774628ranger.png -------------------------------------------------------------------------------- /images/operate/.DS_Store: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/.DS_Store -------------------------------------------------------------------------------- /images/operate/access/.DS_Store: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/access/.DS_Store -------------------------------------------------------------------------------- /images/operate/access/usdp_internet_access_051851257.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/access/usdp_internet_access_051851257.png -------------------------------------------------------------------------------- /images/operate/access/usdp_internet_access_051853403.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/access/usdp_internet_access_051853403.png -------------------------------------------------------------------------------- /images/operate/access/usdp_internet_access_73311.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/access/usdp_internet_access_73311.png -------------------------------------------------------------------------------- /images/operate/access/usdp_internet_access_73746.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/access/usdp_internet_access_73746.png -------------------------------------------------------------------------------- /images/operate/access/usdp_internet_access_73840.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/access/usdp_internet_access_73840.png -------------------------------------------------------------------------------- /images/operate/access/usdp_internet_access_74043.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/access/usdp_internet_access_74043.png -------------------------------------------------------------------------------- /images/operate/alarm/.DS_Store: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/alarm/.DS_Store -------------------------------------------------------------------------------- /images/operate/alarm/alarm_template/.DS_Store: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/alarm/alarm_template/.DS_Store -------------------------------------------------------------------------------- /images/operate/alarm/alarm_template/alarm_usdp_airflow_binding.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/alarm/alarm_template/alarm_usdp_airflow_binding.png -------------------------------------------------------------------------------- /images/operate/alarm/alarm_template/alarm_usdp_firstpage.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/alarm/alarm_template/alarm_usdp_firstpage.png -------------------------------------------------------------------------------- /images/operate/alarm/alarm_template/alarm_usdp_hdfs_rule_modify.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/alarm/alarm_template/alarm_usdp_hdfs_rule_modify.png -------------------------------------------------------------------------------- /images/operate/alarm/alarm_template/alarm_usdp_hive_content.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/alarm/alarm_template/alarm_usdp_hive_content.png -------------------------------------------------------------------------------- /images/operate/alarm/alarm_template/alarm_usdp_hive_hiveserver2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/alarm/alarm_template/alarm_usdp_hive_hiveserver2.png -------------------------------------------------------------------------------- /images/operate/alarm/alarm_template/alarm_usdp_tamplate_add.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/alarm/alarm_template/alarm_usdp_tamplate_add.png -------------------------------------------------------------------------------- /images/operate/alarm/alarm_template/alarm_usdp_tamplate_add_copy.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/alarm/alarm_template/alarm_usdp_tamplate_add_copy.png -------------------------------------------------------------------------------- /images/operate/alarm/alarm_template/alarm_usdp_tamplate_delete.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/alarm/alarm_template/alarm_usdp_tamplate_delete.png -------------------------------------------------------------------------------- /images/operate/alarm/alarm_template/alarm_usdp_tamplate_entrance.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/alarm/alarm_template/alarm_usdp_tamplate_entrance.png -------------------------------------------------------------------------------- /images/operate/alarm/alarm_template/alarm_usdp_tamplate_rule_delete.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/alarm/alarm_template/alarm_usdp_tamplate_rule_delete.png -------------------------------------------------------------------------------- /images/operate/alarm/alarm_template/alarm_usdp_tamplate_rule_delete_allow.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/alarm/alarm_template/alarm_usdp_tamplate_rule_delete_allow.png -------------------------------------------------------------------------------- /images/operate/alarm/alarm_template/alarm_usdp_tamplate_rule_setisstart.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/alarm/alarm_template/alarm_usdp_tamplate_rule_setisstart.png -------------------------------------------------------------------------------- /images/operate/alarm/alarm_template/alarm_usdp_tamplate_rule_setnotify.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/alarm/alarm_template/alarm_usdp_tamplate_rule_setnotify.png -------------------------------------------------------------------------------- /images/operate/alarm/notification_group/notify_usdp_set_notifygroup.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/alarm/notification_group/notify_usdp_set_notifygroup.png -------------------------------------------------------------------------------- /images/operate/alarm/notification_group/notify_usdp_set_notifygroup_default.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/alarm/notification_group/notify_usdp_set_notifygroup_default.png -------------------------------------------------------------------------------- /images/operate/alarm/notification_group/notify_usdp_set_notifygroup_groupadd.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/alarm/notification_group/notify_usdp_set_notifygroup_groupadd.png -------------------------------------------------------------------------------- /images/operate/alarm/notification_group/notify_usdp_set_notifygroup_management.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/alarm/notification_group/notify_usdp_set_notifygroup_management.png -------------------------------------------------------------------------------- /images/operate/alarm/notification_object/.DS_Store: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/alarm/notification_object/.DS_Store -------------------------------------------------------------------------------- /images/operate/alarm/notification_object/notify_usdp_notifyobject_delete.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/alarm/notification_object/notify_usdp_notifyobject_delete.png -------------------------------------------------------------------------------- /images/operate/alarm/notification_object/notify_usdp_set_notifyobject.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/alarm/notification_object/notify_usdp_set_notifyobject.png -------------------------------------------------------------------------------- /images/operate/alarm/notification_object/notify_usdp_set_notifyobject_api.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/alarm/notification_object/notify_usdp_set_notifyobject_api.png -------------------------------------------------------------------------------- /images/operate/alarm/notification_object/notify_usdp_set_notifyobject_dingding.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/alarm/notification_object/notify_usdp_set_notifyobject_dingding.png -------------------------------------------------------------------------------- /images/operate/alarm/notification_object/notify_usdp_set_notifyobject_down.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/alarm/notification_object/notify_usdp_set_notifyobject_down.png -------------------------------------------------------------------------------- /images/operate/alarm/notification_object/notify_usdp_set_notifyobject_email.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/alarm/notification_object/notify_usdp_set_notifyobject_email.png -------------------------------------------------------------------------------- /images/operate/alarm/notification_object/notify_usdp_set_notifyobject_qiwei.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/alarm/notification_object/notify_usdp_set_notifyobject_qiwei.png -------------------------------------------------------------------------------- /images/operate/alarm/set_alarm/set_alarm_entrance.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/alarm/set_alarm/set_alarm_entrance.png -------------------------------------------------------------------------------- /images/operate/alarm/set_alarm/set_alarm_set_template.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/alarm/set_alarm/set_alarm_set_template.png -------------------------------------------------------------------------------- /images/operate/alarm/set_alarm/set_alarm_show.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/alarm/set_alarm/set_alarm_show.png -------------------------------------------------------------------------------- /images/operate/alarm/set_emailserver/notify_usdp_entrance.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/alarm/set_emailserver/notify_usdp_entrance.png -------------------------------------------------------------------------------- /images/operate/alarm/set_emailserver/notify_usdp_set_email.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/alarm/set_emailserver/notify_usdp_set_email.png -------------------------------------------------------------------------------- /images/operate/alarm/set_emailserver/notify_usdp_set_email_down.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/alarm/set_emailserver/notify_usdp_set_email_down.png -------------------------------------------------------------------------------- /images/operate/alarm/set_emailserver/notify_usdp_set_email_like.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/alarm/set_emailserver/notify_usdp_set_email_like.png -------------------------------------------------------------------------------- /images/operate/alarm/set_emailserver/notify_usdp_seting_email.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/alarm/set_emailserver/notify_usdp_seting_email.png -------------------------------------------------------------------------------- /images/operate/cluster/.DS_Store: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/cluster/.DS_Store -------------------------------------------------------------------------------- /images/operate/cluster/ucloud_console_usdp.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/cluster/ucloud_console_usdp.png -------------------------------------------------------------------------------- /images/operate/cluster/创建集群.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/cluster/创建集群.png -------------------------------------------------------------------------------- /images/operate/cluster/地域和可用区选择.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/cluster/地域和可用区选择.png -------------------------------------------------------------------------------- /images/operate/cluster/安装并部署服务.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/cluster/安装并部署服务.png -------------------------------------------------------------------------------- /images/operate/cluster/安装并部署服务_log.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/cluster/安装并部署服务_log.png -------------------------------------------------------------------------------- /images/operate/cluster/安装并部署服务_retry.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/cluster/安装并部署服务_retry.png -------------------------------------------------------------------------------- /images/operate/cluster/安装并部署服务_stats.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/cluster/安装并部署服务_stats.png -------------------------------------------------------------------------------- /images/operate/cluster/服务配置.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/cluster/服务配置.png -------------------------------------------------------------------------------- /images/operate/cluster/服务配置_db.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/cluster/服务配置_db.png -------------------------------------------------------------------------------- /images/operate/cluster/服务配置_lib.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/cluster/服务配置_lib.png -------------------------------------------------------------------------------- /images/operate/cluster/服务配置_uds.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/cluster/服务配置_uds.png -------------------------------------------------------------------------------- /images/operate/cluster/添加服务和组件.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/cluster/添加服务和组件.png -------------------------------------------------------------------------------- /images/operate/cluster/节点设置.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/cluster/节点设置.png -------------------------------------------------------------------------------- /images/operate/cluster/访问设置.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/cluster/访问设置.png -------------------------------------------------------------------------------- /images/operate/cluster/输入登录信息.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/cluster/输入登录信息.png -------------------------------------------------------------------------------- /images/operate/cluster/选择服务.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/cluster/选择服务.png -------------------------------------------------------------------------------- /images/operate/cluster/选择组件安装节点.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/cluster/选择组件安装节点.png -------------------------------------------------------------------------------- /images/operate/cluster/部署中的集群.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/cluster/部署中的集群.png -------------------------------------------------------------------------------- /images/operate/cluster/部署服务.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/cluster/部署服务.png -------------------------------------------------------------------------------- /images/operate/cluster/集群和软件设置.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/cluster/集群和软件设置.png -------------------------------------------------------------------------------- /images/operate/monitor/.DS_Store: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/monitor/.DS_Store -------------------------------------------------------------------------------- /images/operate/monitor/basic_monitor/.DS_Store: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/monitor/basic_monitor/.DS_Store -------------------------------------------------------------------------------- /images/operate/monitor/basic_monitor/usdp_cloud_monitor.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/monitor/basic_monitor/usdp_cloud_monitor.png -------------------------------------------------------------------------------- /images/operate/monitor/service_monitor/usdp_console_cluster_monitor_grafana.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/monitor/service_monitor/usdp_console_cluster_monitor_grafana.png -------------------------------------------------------------------------------- /images/operate/monitor/service_monitor/usdp_console_cluster_monitor_grafana_hbase.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/monitor/service_monitor/usdp_console_cluster_monitor_grafana_hbase.png -------------------------------------------------------------------------------- /images/operate/monitor/service_monitor/usdp_console_cluster_monitor_grafana_hdfs.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/monitor/service_monitor/usdp_console_cluster_monitor_grafana_hdfs.png -------------------------------------------------------------------------------- /images/operate/monitor/service_monitor/usdp_console_cluster_monitor_grafana_hive.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/monitor/service_monitor/usdp_console_cluster_monitor_grafana_hive.png -------------------------------------------------------------------------------- /images/operate/monitor/service_monitor/usdp_console_cluster_monitor_grafana_jvm.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/monitor/service_monitor/usdp_console_cluster_monitor_grafana_jvm.png -------------------------------------------------------------------------------- /images/operate/monitor/service_monitor/usdp_console_cluster_monitor_grafana_usdp.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/monitor/service_monitor/usdp_console_cluster_monitor_grafana_usdp.png -------------------------------------------------------------------------------- /images/operate/monitor/service_monitor/usdp_console_cluster_monitor_grafana_yarn.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/monitor/service_monitor/usdp_console_cluster_monitor_grafana_yarn.png -------------------------------------------------------------------------------- /images/operate/monitor/service_monitor/usdp_console_cluster_monitor_grafana_zookeeper.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/monitor/service_monitor/usdp_console_cluster_monitor_grafana_zookeeper.png -------------------------------------------------------------------------------- /images/operate/node/.DS_Store: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/node/.DS_Store -------------------------------------------------------------------------------- /images/operate/node/cloud_node/.DS_Store: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/node/cloud_node/.DS_Store -------------------------------------------------------------------------------- /images/operate/node/cloud_node/控制台节点SSH登陆.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/node/cloud_node/控制台节点SSH登陆.png -------------------------------------------------------------------------------- /images/operate/node/cloud_node/添加节点.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/node/cloud_node/添加节点.png -------------------------------------------------------------------------------- /images/operate/node/cloud_node/申请EIP.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/node/cloud_node/申请EIP.png -------------------------------------------------------------------------------- /images/operate/node/cloud_node/绑定EIP.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/node/cloud_node/绑定EIP.png -------------------------------------------------------------------------------- /images/operate/node/node_ucloud_usdp_console_entrance.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/node/node_ucloud_usdp_console_entrance.png -------------------------------------------------------------------------------- /images/operate/node/node_ucloud_usdp_entrance.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/node/node_ucloud_usdp_entrance.png -------------------------------------------------------------------------------- /images/operate/node/node_ucloud_usdp_nodemanager.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/node/node_ucloud_usdp_nodemanager.png -------------------------------------------------------------------------------- /images/operate/node/node_usdp_console_login.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/node/node_usdp_console_login.png -------------------------------------------------------------------------------- /images/operate/node/node_usdp_nodemanager.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/node/node_usdp_nodemanager.png -------------------------------------------------------------------------------- /images/operate/node/usdp_node/usdp_console_node_component_count.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/node/usdp_node/usdp_console_node_component_count.png -------------------------------------------------------------------------------- /images/operate/node/usdp_node/usdp_console_node_component_management.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/node/usdp_node/usdp_console_node_component_management.png -------------------------------------------------------------------------------- /images/operate/node/usdp_node/usdp_console_node_component_show.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/node/usdp_node/usdp_console_node_component_show.png -------------------------------------------------------------------------------- /images/operate/node/usdp_node/usdp_console_node_single_details.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/node/usdp_node/usdp_console_node_single_details.png -------------------------------------------------------------------------------- /images/operate/node/usdp_node/usdp_console_node_single_entrance.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/node/usdp_node/usdp_console_node_single_entrance.png -------------------------------------------------------------------------------- /images/operate/service/.DS_Store: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/.DS_Store -------------------------------------------------------------------------------- /images/operate/service/compute_kind/.DS_Store: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/compute_kind/.DS_Store -------------------------------------------------------------------------------- /images/operate/service/compute_kind/service_yarn.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/compute_kind/service_yarn.png -------------------------------------------------------------------------------- /images/operate/service/compute_kind/service_yarn_details.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/compute_kind/service_yarn_details.png -------------------------------------------------------------------------------- /images/operate/service/compute_kind/service_yarn_ui_hs.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/compute_kind/service_yarn_ui_hs.png -------------------------------------------------------------------------------- /images/operate/service/compute_kind/service_yarn_ui_rm.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/compute_kind/service_yarn_ui_rm.png -------------------------------------------------------------------------------- /images/operate/service/compute_kind/service_yarn_ui_ts.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/compute_kind/service_yarn_ui_ts.png -------------------------------------------------------------------------------- /images/operate/service/compute_kind/service_yarn_uis.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/compute_kind/service_yarn_uis.png -------------------------------------------------------------------------------- /images/operate/service/monitor_kind/.DS_Store: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/monitor_kind/.DS_Store -------------------------------------------------------------------------------- /images/operate/service/monitor_kind/service_grafana.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/monitor_kind/service_grafana.png -------------------------------------------------------------------------------- /images/operate/service/monitor_kind/service_grafana_details.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/monitor_kind/service_grafana_details.png -------------------------------------------------------------------------------- /images/operate/service/monitor_kind/service_grafana_ui.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/monitor_kind/service_grafana_ui.png -------------------------------------------------------------------------------- /images/operate/service/monitor_kind/service_grafana_ui_details.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/monitor_kind/service_grafana_ui_details.png -------------------------------------------------------------------------------- /images/operate/service/monitor_kind/service_prometheus.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/monitor_kind/service_prometheus.png -------------------------------------------------------------------------------- /images/operate/service/monitor_kind/service_prometheus_details.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/monitor_kind/service_prometheus_details.png -------------------------------------------------------------------------------- /images/operate/service/monitor_kind/service_prometheus_details1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/monitor_kind/service_prometheus_details1.png -------------------------------------------------------------------------------- /images/operate/service/monitor_kind/service_prometheus_ui.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/monitor_kind/service_prometheus_ui.png -------------------------------------------------------------------------------- /images/operate/service/monitor_kind/service_prometheus_ui_details.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/monitor_kind/service_prometheus_ui_details.png -------------------------------------------------------------------------------- /images/operate/service/monitor_kind/service_prometheus_ui_details1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/monitor_kind/service_prometheus_ui_details1.png -------------------------------------------------------------------------------- /images/operate/service/service_configer_update/.DS_Store: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/service_configer_update/.DS_Store -------------------------------------------------------------------------------- /images/operate/service/service_configer_update/service_configer_yarn_reboot.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/service_configer_update/service_configer_yarn_reboot.png -------------------------------------------------------------------------------- /images/operate/service/service_configer_update/service_configer_yarn_update.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/service_configer_update/service_configer_yarn_update.png -------------------------------------------------------------------------------- /images/operate/service/service_configer_update/service_configer_zk_update.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/service_configer_update/service_configer_zk_update.png -------------------------------------------------------------------------------- /images/operate/service/service_configer_update/service_configer_zk_update1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/service_configer_update/service_configer_zk_update1.png -------------------------------------------------------------------------------- /images/operate/service/service_configer_update/service_configer_zk_update1_group.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/service_configer_update/service_configer_zk_update1_group.png -------------------------------------------------------------------------------- /images/operate/service/service_configer_update/service_configer_zk_update1_group0.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/service_configer_update/service_configer_zk_update1_group0.png -------------------------------------------------------------------------------- /images/operate/service/service_configer_update/service_configer_zk_update1_group1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/service_configer_update/service_configer_zk_update1_group1.png -------------------------------------------------------------------------------- /images/operate/service/service_configer_update/service_configer_zk_update1_group2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/service_configer_update/service_configer_zk_update1_group2.png -------------------------------------------------------------------------------- /images/operate/service/service_configer_update/service_configer_zk_update1_group3.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/service_configer_update/service_configer_zk_update1_group3.png -------------------------------------------------------------------------------- /images/operate/service/storage_kind/.DS_Store: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/storage_kind/.DS_Store -------------------------------------------------------------------------------- /images/operate/service/storage_kind/storage_hdfs.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/storage_kind/storage_hdfs.png -------------------------------------------------------------------------------- /images/operate/service/storage_kind/storage_hdfs_details.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/storage_kind/storage_hdfs_details.png -------------------------------------------------------------------------------- /images/operate/service/storage_kind/storage_hdfs_details1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/storage_kind/storage_hdfs_details1.png -------------------------------------------------------------------------------- /images/operate/service/storage_kind/storage_hdfs_details2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/storage_kind/storage_hdfs_details2.png -------------------------------------------------------------------------------- /images/operate/service/storage_kind/storage_hdfs_ui.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/storage_kind/storage_hdfs_ui.png -------------------------------------------------------------------------------- /images/operate/service/storage_kind/storage_hdfs_ui_details.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/storage_kind/storage_hdfs_ui_details.png -------------------------------------------------------------------------------- /images/operate/service/storage_kind/storage_zk.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/storage_kind/storage_zk.png -------------------------------------------------------------------------------- /images/operate/service/storage_kind/storage_zk_details.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/storage_kind/storage_zk_details.png -------------------------------------------------------------------------------- /images/operate/service/storage_kind/storage_zk_details_time.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/storage_kind/storage_zk_details_time.png -------------------------------------------------------------------------------- /images/operate/service/storage_kind/storage_zk_subpart.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/storage_kind/storage_zk_subpart.png -------------------------------------------------------------------------------- /images/operate/service/storage_kind/storage_zk_subpart_add.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/storage_kind/storage_zk_subpart_add.png -------------------------------------------------------------------------------- /images/operate/service/storage_kind/storage_zk_subpart_add_guide1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/storage_kind/storage_zk_subpart_add_guide1.png -------------------------------------------------------------------------------- /images/operate/service/storage_kind/storage_zk_subpart_add_guide2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/storage_kind/storage_zk_subpart_add_guide2.png -------------------------------------------------------------------------------- /images/operate/service/storage_kind/storage_zk_subpart_add_guide3.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/storage_kind/storage_zk_subpart_add_guide3.png -------------------------------------------------------------------------------- /images/operate/service/storage_kind/storage_zk_subpart_add_guide4.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/storage_kind/storage_zk_subpart_add_guide4.png -------------------------------------------------------------------------------- /images/operate/service/storage_kind/storage_zk_subpart_add_guide5.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/storage_kind/storage_zk_subpart_add_guide5.png -------------------------------------------------------------------------------- /images/operate/service/storage_kind/storage_zk_subpart_operate.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/storage_kind/storage_zk_subpart_operate.png -------------------------------------------------------------------------------- /images/operate/service/storage_kind/storage_zk_subpart_operate_delete.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/storage_kind/storage_zk_subpart_operate_delete.png -------------------------------------------------------------------------------- /images/operate/service/storage_kind/storage_zk_subpart_operate_delete_true.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/storage_kind/storage_zk_subpart_operate_delete_true.png -------------------------------------------------------------------------------- /images/operate/service/storage_kind/storage_zk_subpart_operate_stop.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/storage_kind/storage_zk_subpart_operate_stop.png -------------------------------------------------------------------------------- /images/operate/service/visual_kind/.DS_Store: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/visual_kind/.DS_Store -------------------------------------------------------------------------------- /images/operate/service/visual_kind/service_zkui.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/visual_kind/service_zkui.png -------------------------------------------------------------------------------- /images/operate/service/visual_kind/service_zkui_details.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/visual_kind/service_zkui_details.png -------------------------------------------------------------------------------- /images/operate/service/visual_kind/service_zkui_ui.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/visual_kind/service_zkui_ui.png -------------------------------------------------------------------------------- /images/operate/service/visual_kind/service_zkui_ui_details.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/visual_kind/service_zkui_ui_details.png -------------------------------------------------------------------------------- /images/operate/service/公有云控制台_服务管理.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/operate/service/公有云控制台_服务管理.png -------------------------------------------------------------------------------- /images/schedule/.DS_Store: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/schedule/.DS_Store -------------------------------------------------------------------------------- /images/schedule/airflow/airflow-16061397625039.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/schedule/airflow/airflow-16061397625039.png -------------------------------------------------------------------------------- /images/schedule/airflow/airflow-16061401802630.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/schedule/airflow/airflow-16061401802630.png -------------------------------------------------------------------------------- /images/schedule/airflow/airflow-16061904173106.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/schedule/airflow/airflow-16061904173106.png -------------------------------------------------------------------------------- /images/schedule/uds/dashboard.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/schedule/uds/dashboard.png -------------------------------------------------------------------------------- /images/schedule/uds/dashboard1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/schedule/uds/dashboard1.png -------------------------------------------------------------------------------- /images/schedule/uds/uds_login.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/schedule/uds/uds_login.png -------------------------------------------------------------------------------- /images/schedule/uds/usdp_uds.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/schedule/uds/usdp_uds.png -------------------------------------------------------------------------------- /images/schedule/uds/上传文件1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/schedule/uds/上传文件1.png -------------------------------------------------------------------------------- /images/schedule/uds/上传文件2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/schedule/uds/上传文件2.png -------------------------------------------------------------------------------- /images/schedule/uds/任务实例.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/schedule/uds/任务实例.png -------------------------------------------------------------------------------- /images/schedule/uds/任务日志.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/schedule/uds/任务日志.png -------------------------------------------------------------------------------- /images/schedule/uds/保存icon.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/schedule/uds/保存icon.png -------------------------------------------------------------------------------- /images/schedule/uds/保存工作流1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/schedule/uds/保存工作流1.png -------------------------------------------------------------------------------- /images/schedule/uds/保存工作流2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/schedule/uds/保存工作流2.png -------------------------------------------------------------------------------- /images/schedule/uds/其他任务.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/schedule/uds/其他任务.png -------------------------------------------------------------------------------- /images/schedule/uds/创建工作流1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/schedule/uds/创建工作流1.png -------------------------------------------------------------------------------- /images/schedule/uds/创建工作流2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/schedule/uds/创建工作流2.png -------------------------------------------------------------------------------- /images/schedule/uds/创建项目.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/schedule/uds/创建项目.png -------------------------------------------------------------------------------- /images/schedule/uds/删除icon.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/schedule/uds/删除icon.png -------------------------------------------------------------------------------- /images/schedule/uds/删除任务.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/schedule/uds/删除任务.png -------------------------------------------------------------------------------- /images/schedule/uds/删除依赖关系.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/schedule/uds/删除依赖关系.png -------------------------------------------------------------------------------- /images/schedule/uds/工作流实例.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/schedule/uds/工作流实例.png -------------------------------------------------------------------------------- /images/schedule/uds/授权UDF资源.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/schedule/uds/授权UDF资源.png -------------------------------------------------------------------------------- /images/schedule/uds/授权数据源.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/schedule/uds/授权数据源.png -------------------------------------------------------------------------------- /images/schedule/uds/授权文件.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/schedule/uds/授权文件.png -------------------------------------------------------------------------------- /images/schedule/uds/授权项目1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/schedule/uds/授权项目1.png -------------------------------------------------------------------------------- /images/schedule/uds/授权项目2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/schedule/uds/授权项目2.png -------------------------------------------------------------------------------- /images/schedule/uds/数据集成任务1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/schedule/uds/数据集成任务1.png -------------------------------------------------------------------------------- /images/schedule/uds/数据集成任务2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/schedule/uds/数据集成任务2.png -------------------------------------------------------------------------------- /images/schedule/uds/数据集成任务3.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/schedule/uds/数据集成任务3.png -------------------------------------------------------------------------------- /images/schedule/uds/数据集成任务4.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/schedule/uds/数据集成任务4.png -------------------------------------------------------------------------------- /images/schedule/uds/新建UDF函数1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/schedule/uds/新建UDF函数1.png -------------------------------------------------------------------------------- /images/schedule/uds/新建UDF函数2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/schedule/uds/新建UDF函数2.png -------------------------------------------------------------------------------- /images/schedule/uds/新建UDF函数3.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/schedule/uds/新建UDF函数3.png -------------------------------------------------------------------------------- /images/schedule/uds/新建告警组1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/schedule/uds/新建告警组1.png -------------------------------------------------------------------------------- /images/schedule/uds/新建告警组2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/schedule/uds/新建告警组2.png -------------------------------------------------------------------------------- /images/schedule/uds/新建告警组3.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/schedule/uds/新建告警组3.png -------------------------------------------------------------------------------- /images/schedule/uds/新建数据源1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/schedule/uds/新建数据源1.png -------------------------------------------------------------------------------- /images/schedule/uds/新建数据源2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/schedule/uds/新建数据源2.png -------------------------------------------------------------------------------- /images/schedule/uds/新建用户1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/schedule/uds/新建用户1.png -------------------------------------------------------------------------------- /images/schedule/uds/新建用户2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/schedule/uds/新建用户2.png -------------------------------------------------------------------------------- /images/schedule/uds/添加任务.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/schedule/uds/添加任务.png -------------------------------------------------------------------------------- /images/schedule/uds/添加任务顺序.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/schedule/uds/添加任务顺序.png -------------------------------------------------------------------------------- /images/schedule/uds/运行工作流.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/schedule/uds/运行工作流.png -------------------------------------------------------------------------------- /images/schedule/uds/进入项目.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/schedule/uds/进入项目.png -------------------------------------------------------------------------------- /images/schedule/uds/选中icon.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/schedule/uds/选中icon.png -------------------------------------------------------------------------------- /images/schedule/uds/项目筛选.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/schedule/uds/项目筛选.png -------------------------------------------------------------------------------- /images/usdp_console_1.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/usdp_console_1.jpg -------------------------------------------------------------------------------- /images/usdp_console_2.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/usdp_console_2.jpg -------------------------------------------------------------------------------- /images/usdp_console_3.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/images/usdp_console_3.jpg -------------------------------------------------------------------------------- /intro.md: -------------------------------------------------------------------------------- 1 | # 功能简介 2 | 3 | 4 | 5 | ## 一、功能点概述 6 | 7 | - 支持友好的Web浏览器管理控制台； 8 | - 支持集群节点管理，如节点监控、资源使用率、节点状态等； 9 | - 支持集群大数据服务的服务监控、组件管理、组件启停、组件扩展及删除，组件滚动重启； 10 | - 支持丰富的监控模板和视图； 11 | - 支持大数据服务的扩展； 12 | - 支持服务配置文件修改； 13 | - 支持配置文件修改后集群服务自动检测需要重启生效的依赖服务提示； 14 | - 支持各大数据服务Web UIs便捷访问； 15 | - 支持服务异常终止时自动拉起； 16 | - 提供丰富的监控模板，涵盖服务器监控及大数据服务监控等； 17 | - 支持监控模板规则自定义； 18 | - 支持通知组、通知对象管理； 19 | - 支持邮件、微信、钉钉、回调函数等多种告警通知方式； 20 | - 支持控制台与系统配置双向同步； 21 | - 提供丰富的智库和异常修复诊断及建议； 22 | 23 | 24 | 25 | ## 二、支持的大数据生态服务 26 | 27 | USDP-1.0.x 中，已支持的大数据生态服务有： 28 | 29 | | 大数据生态服务 | 服务版本 | 描述 | 30 | | -------------- | ---------- | -------------------------------------- | 31 | | FLINK | 1.10.1 | 分布式计算引擎 | 32 | | FLUME | 1.9.0 | 数据采集与转储服务 | 33 | | HIVE | 2.3.6 | 常用的 HQL 数仓工具 | 34 | | IMPALA | 2.10.0 | 分布式计算服务 | 35 | | KYLIN | 3.1.0 | 数仓维度建模服务 | 36 | | LIVY | 0.7.0 | Spark 的 REST 服务 | 37 | | PHOENIX | 4.14.3 | HBase SQL 化查询分析工具 | 38 | | PRESTO | 0.234 | 分布式计算服务 | 39 | | SPARK | 2.4.6 | 分布式计算引擎 | 40 | | SQOOP | 1.4.7 | 数据采集与转储服务 | 41 | | TEZ | 0.9.2 | 优化 MapReduce 任务的 DAG | 42 | | YARN | 2.8.5 | 分布式资源调度服务 | 43 | | ELASTICSEARCH | 7.8.0 | 分布式全文检索数据库 | 44 | | HBASE | 1.4.10 | 分布式非关系型数据库 | 45 | | HDFS | 2.8.5 | 分布式存储服务 | 46 | | KAFKA | 1.1.1_2.11 | 超高吞吐的分布式消息队列 | 47 | | KUDU | 1.10.0 | 分布式非关系型数据库 | 48 | | ZOOKEEPER | 3.4.13 | 分布式注册中心服务 | 49 | | HUE | 4.7.1 | 可视化管理服务 | 50 | | KAFKAEAGLE | 2.0.0 | Kafka 可视化管理服务 | 51 | | KIBANA | 7.8.0 | 为 ElasticSearch 提供 Web 页面分析入口 | 52 | | ZEPPELIN | 0.8.2 | 可视化管理服务 | 53 | | ZKUI | 2.0.0 | Zookeeper 可视化管理服务 | 54 | | AIRFLOW | 1.10.12 | 任务调度服务 | 55 | | OOZIE | 5.2.0 | 任务调度服务 | 56 | | RANGER | 1.2.0 | 授权服务 | 57 | | ATLAS | 1.2.0 | 元数据管理服务 | 58 | | ALERTMANAGER | 0.21.0 | 发送监控告警信息 | 59 | | GRAFANA | 6.5.1 | 展示监控数据 | 60 | | INFLUXDB | 1.8.0 | 存储监控数据 | 61 | | NODEEXPORTER | 1.0.0 | 读取节点资源监控指标 | 62 | | PROMETHEUS | 2.18.1 | 拉取监控数据 | 63 | 64 | -------------------------------------------------------------------------------- /operate/.DS_Store: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/UCloudDoc-Team/USDP/1ed9b8793d2bea674f9fdb3c8138d2e85e611f37/operate/.DS_Store -------------------------------------------------------------------------------- /operate/access/README.md: -------------------------------------------------------------------------------- 1 | # 集群访问及测试 2 | 3 | 当通过云控制台成功创建USDP集群后，为方便用户便捷访问USDP管理服务以及对大数据实现管理和维护工作，可选择一下几种方式进行操控USDP；当然还有其他的方法可用，譬如用户办公网与云端专线打通方案、自建VPN方案等；您可以根据您的实际情况选择其中一种，或根据实际情况调整更好的更安全的集群访问方式即可。 4 | 5 | -------- 6 | 7 | ### 访问云端USDP服务的其它方式： 8 | 9 | * **访问方式1：**[本地直接访问云端USDP集群](/USDP/operate/access/internet) 10 | 11 | 该方式配置相对简单，适用于集群规模较小，或服务测试等临时情况，该方式的缺点是，需为集群的各个节点单独绑定EIP地址，会增加用户云端管理员维护复杂度。 12 | 13 | -------- 14 | 15 | 16 | 17 | * **访问方式2：**[通过云端Windows主机访问USDP集群](/USDP/operate/access/cloud) 18 | 19 | 该方式配置略复杂，管理较为便利，有助于提升云端环境的安全性，但大数据研发、运营人员可能不够灵活。适用于操作及访问大数据集群的人数较少、频率较低等情况。 20 | 21 | -------- 22 | 23 | 24 | 25 | * **访问方式3：**[配置openvpn访问USDP集群](/USDP/operate/access/openvpn) 26 | 27 | 该方法为常见的方式，即通过openvpn将云端及用户本地网络进行内网打通，用户访问及操控云端大数据集群时较便捷，但用户较多的情况下，需要针对不的用户做一定的权限控制，以便较好的完成对云端大数据集群的安全性保护。 28 | 29 | -------- 30 | 31 | 32 | 33 | 相较于直接在UCLOUD云控制台中打开USDP服务控制台的方式，以上几种方式均可以较全面的操控USDP服务的WebUI中所有的功能，以及集群中各大数据服务原生的WebUIs。 34 | 35 | 36 | 37 | * **其他访问方式：** 38 | 39 | 如专线打通云端及办公网络、多种方式组合配置等方式，来平衡访问/操控便捷性与网络/数据安全性保护。 40 | 41 | ------------ 42 | 43 | !> 注意：
原则上，若非必要，尽可能减少将大数据集群的访问及连接方式暴露在公网中，数据安全、业务安全等时刻需要警惕。 -------------------------------------------------------------------------------- /operate/access/cloud.md: -------------------------------------------------------------------------------- 1 | # 通过云端Windows主机访问USDP集群 2 | 3 | ### 配置方式概述： 4 | 5 | 该方式，是通过在云端借用Windows主机，并通过内网来访问USDP集群，需为Windows云主机单独绑定1个 [EIP](https://docs.ucloud.cn/unet/eip/guide?id=%e7%94%b3%e8%af%b7%e5%bc%b9%e6%80%a7ip) ，结合云端主机 [防火墙](https://docs.ucloud.cn/unet/firewall/guide) 策略对Windows云主机实现访问限制和保护，用户本地直接使用远程桌面连接工具访问云端资源。 6 | 7 | 该方式配置略复杂，管理较为便利，有助于提升云端环境的安全性，但大数据研发、运营人员可能不够灵活。适用于操作及访问大数据集群的人数较少、频率较低等情况。 8 | 9 | -------- 10 | 11 | ### 工具及辅助产品： 12 | 13 | 1. 本地PC远程连接云端Windows主机桌面。 14 | 2. 使用云端Windows主机的Chrome浏览器内网访问USDP管理控制台。 15 | 16 | -------- 17 | 18 | ### 动手配置： 19 | 20 | **Step1：**创建Windows云主机 21 | 22 | 参见 [选购一台uhost主机](https://docs.ucloud.cn/uhost/newuser/briefguide) ，在云端创建一台Windows操作系统的云主机。 23 | 24 | ?> **注意：**
- 云主机操作系统选择Windows。
- 根据创建流程，为该主机绑定1个EIP。
- 为该云主机绑定“非Web服务器推荐(22，3389)” [**推荐防火墙**](https://docs.ucloud.cn/unet/firewall/guide?id=推荐防火墙) 。
- 需保证Windows云主机与USDP集群内网可以互通（可借助VPC及安全组等策略进行调整）。 25 | 26 | -------- 27 | 28 | **Step2：**远程桌面连接到Windows云主机 29 | 30 | ?> **PC端操作系统差异**
windows操作系统可直接使用系统再带的“远程桌面连接”工具。
Mac或其他PC设备可使用一些远程桌面连接工具。 31 | 32 | -------- 33 | 34 | **Step3：**为Windows云主机做适当配置修改 35 | 36 | 为Windows云主机安装Chrome浏览器。 37 | 38 | -------- 39 | 40 | **Step4：**修改Windows云主机的hosts配置文件 41 | 42 | hosts文件存储参考位置：c:\windows\system32\drivers\etc，打开hosts文件后，在末尾追加如下（样例）内容。 43 | 44 | ~~~shell 45 | # USDP Test Cluster 46 | 10.23.xxx.xxx usdp-1******-master1 47 | 10.23.xxx.xxx usdp-1******-master2 48 | 10.23.xxx.xxx usdp-1******-master3 49 | 10.23.xxx.xxx usdp-1******-monitor1 50 | 10.23.xxx.xxx usdp-1******-core1 51 | 10.23.xxx.xxx usdp-1******-core2 52 | 10.23.xxx.xxx usdp-1******-core3 53 | ~~~ 54 | 55 | ?> **样例所示：**左侧为USDP各个节点默认的 **内网IP** 地址，右侧为对应节点的“完全限定域名”（主机名）。 56 | 57 | -------- 58 | 59 | ### 效果验证： 60 | 61 | **Step5：**ping测试USDP集群各个节点的“完全限定域名”（主机名）。 62 | 63 | ![usdp_internet_access_73311](../../images/operate/access/usdp_internet_access_73311.png) 64 | 65 | -------- 66 | 67 | **Step6：**在本地PC浏览器中直接打开USDP管理控制台 68 | 69 | ~~~URL 70 | http:// 71 | ~~~ 72 | 73 | 或输入Master1节点的“完全限定域名”。 74 | 75 | ![usdp_internet_access_74043](../../images/operate/access/usdp_internet_access_74043.png) 76 | 77 | -------- 78 | 79 | **Step7：**访问分布在各节点上的其他大数据服务WebUIs 80 | 81 | ~~~URL 82 | http://usdp-1******-monitor1:3000 83 | ~~~ 84 | 85 | 如上示例URL，即会打开USDP大数据集群的监控查看页面Grafana。 86 | 87 | 或者可以在USDP管理控制台中，主动查看集群已安装的各个大数据服务的WebUIs；参见：[ 服务Web UIs便捷访问](/USDP/operate/service/compute_kind?id=yarn-服务web-uis便捷访问) 。 88 | 89 | ![usdp_internet_access_73746](../../images/operate/access/usdp_internet_access_73746.png) 90 | 91 | ![usdp_internet_access_73840](../../images/operate/access/usdp_internet_access_73840.png) 92 | 93 | -------------------------------------------------------------------------------- /operate/access/internet.md: -------------------------------------------------------------------------------- 1 | # 本地直接访问云端USDP集群 2 | 3 | ### 配置方式概述： 4 | 5 | 该方式，是为USDP的各个节点，单独绑定 EIP ，结合云端防火墙策略对USDP各节点实现访问限制和保护，并直接通过用户本地PC浏览器来访问USDP管理控制台。 6 | 7 | 该方式配置相对简单，适用于集群规模较小，或服务测试等临时情况，该方式的缺点是，需为集群的各个节点单独绑定EIP地址，会增加用户云端管理员维护复杂度。 8 | 9 | -------- 10 | 11 | ### 工具及辅助产品： 12 | 13 | 1. 本地PC的hosts更改； 14 | 15 | USDP通过“完全限定域名”并在本地解析需要访问的目的IP地址的。 16 | 17 | 2. 需N个 [EIP](https://docs.ucloud.cn/unet/eip/guide?id=%e7%94%b3%e8%af%b7%e5%bc%b9%e6%80%a7ip)； 18 | 19 | 可根据实际需要调整。 20 | 21 | 3. 云端 [防火墙](https://docs.ucloud.cn/unet/firewall/guide) 策略； 22 | 23 | -------- 24 | 25 | ### 动手配置： 26 | 27 | **Step1：**创建或更新云端防火墙策略 28 | 29 | 参见 [防火墙操作指南](https://docs.ucloud.cn/unet/firewall/guide) ，为云端USDP环境各节点准备防火墙及规则备用。 30 | 31 | ![usdp_internet_access_051851257](../../images/operate/access/usdp_internet_access_051851257.png) 32 | 33 | ?> **如上图所示：**
- 防火墙规则中，协议及端口，用户可根据实际需要进行灵活调整。
- 建议通过添加源地址，达到将互联网中无关IP来源的请求过滤掉的目的，使此方式访问集群更安全。 34 | 35 | -------- 36 | 37 | **Step2：**[创建EIP](https://docs.ucloud.cn/unet/eip/guide?id=%e7%94%b3%e8%af%b7%e5%bc%b9%e6%80%a7ip)，并在USDP 集群管理 - 节点管理 中，为集群各节点绑定EIP； 38 | 39 | 参见[在公有云端usdp集群资源节点管理](/USDP/operate/node/README?id=在公有云端usdp集群资源节点管理) 。 40 | 41 | ![usdp_internet_access_051853403](../../images/operate/access/usdp_internet_access_051853403.png) 42 | 43 | -------- 44 | 45 | **Step3：**配置本地PC的hosts文件 46 | 47 | 如前面的图片所示，此时，源地址端的PC本地hosts文件末尾追加如下（样例）内容。 48 | 49 | ~~~shell 50 | # USDP Test Cluster 51 | 106.75.xxx.xxx usdp-1******-master1 52 | 113.31.xxx.xxx usdp-1******-master2 53 | 106.75.xxx.xxx usdp-1******-master3 54 | 113.31.xxx.xxx usdp-1******-monitor1 55 | 106.75.xxx.xxx usdp-1******-core1 56 | 106.75.xxx.xxx usdp-1******-core2 57 | 106.75.xxx.xxx usdp-1******-core3 58 | ~~~ 59 | 60 | ?> **样例所示：**左侧为USDP各个节点已 **绑定的EIP** 地址，右侧为对应节点的“完全限定域名”（主机名）。 61 | 62 | -------- 63 | 64 | ### 效果验证： 65 | 66 | **Step4：**在本地PC浏览器中直接打开USDP管理控制台 67 | 68 | ~~~URL 69 | http:// 70 | ~~~ 71 | 72 | 或输入Master1节点的“完全限定域名”； 73 | 74 | 或在已创建的USDP集群条目右侧，点击 访问USDP 按钮，进入USDP自有管理控制台。 75 | 76 | ![node_ucloud_usdp_console_entrance](../../images/operate/node/node_ucloud_usdp_console_entrance.png) 77 | 78 | -------- 79 | 80 | **Step5：**访问分布在各节点上的其他大数据服务WebUIs 81 | 82 | ~~~URL 83 | http://usdp-1******-monitor1:3000 84 | ~~~ 85 | 86 | 如上示例URL，即会打开USDP大数据集群的监控查看页面Grafana。 87 | 88 | 或者可以在USDP管理控制台中，主动查看集群已安装的各个大数据服务的WebUIs；参见：[ 服务Web UIs便捷访问](/USDP/operate/service/compute_kind?id=yarn-服务web-uis便捷访问) 。 89 | 90 | -------------------------------------------------------------------------------- /operate/access/login.md: -------------------------------------------------------------------------------- 1 | # 各服务Web UIs登录账号 2 | 3 | 4 | 5 | ## USDP 各服务 WebUI 默认账号密码 6 | 7 | | 服务名称 | 账号 | 密码 | 8 | | ---------- | ------ | ------ | 9 | | Grafana | hadoop | hadoop | 10 | | Hue | hadoop | hadoop | 11 | | Zeppelin | hadoop | hadoop | 12 | | Atlas | hadoop | hadoop | 13 | | Airflow | hadoop | hadoop | 14 | | ZKUI | hadoop | hadoop | 15 | | KafkaEagle | admin | 123456 | 16 | | UDS | admin | uds | 17 | | Kylin | ADMIN | KYLIN | 18 | | Ranger | admin | admin | 19 | 20 | 其他大数据服务原生Web UI不需要登陆即可打开。 -------------------------------------------------------------------------------- /operate/access/openvpn.md: -------------------------------------------------------------------------------- 1 | 2 | # 配置openvpn访问USDP集群 3 | 4 | 为保障云端大数据集群环境安全，防止受到来自互联网的攻击、病毒等威胁而带来的侵害和数据安全隐患，建议您在使用云端服务时，能对云端环境配置相对严苛的安全防护措施，此问题不容忽视。 5 | 6 | 为便于开发者、维护人员等能便捷的对云端大数据环境操作和管理，我们推荐您在云端与您的办公内网/PC端之间，搭建VPN服务，可按以下步骤，在绑定EIP的UHost主机安装openvpn服务，下面以centos7操作系统示例： 7 | 8 | ## VPN服务端 9 | 10 | ### 1. 环境准备 11 | 12 | [创建一台UHost云主机](https://docs.ucloud.cn/uhost/newuser/briefguide)及[创建一个EIP](https://docs.ucloud.cn/unet/eip/guide)，并为UHost云主机绑定EIP，为防火墙开放1194端口，选择udp协议，此处参见[防火墙操作指南](https://docs.ucloud.cn/unet/firewall/guide) 13 | 14 | ### 2. VPN安装包及脚本下载 15 | 16 | 从github下载自动部署脚本（使用其中的openvpn-install.sh脚本），git地址：`https://github.com/Nyr/openvpn-install` 17 | 18 | ``` 19 | git clone https://github.com/Nyr/openvpn-install.git 20 | ``` 21 | ### 3. 配置VPN服务 22 | 23 | 直接运行 openvpn-install.sh脚本 24 | 25 | ``` 26 | cd openvpn-install 27 | sh openvpn-install.sh 28 | ``` 29 | 30 | 这里会自动识别eip的地址，如果需要修改对外server的IP，可以手动输入，如果使用默认，直接回车： 31 | 32 | ``` 33 | Welcome to this OpenVPN road warrior installer! 34 | 35 | This server is behind NAT. What is the public IPv4 address or hostname? 36 | Public IPv4 address / hostname [10.75.37.68]: 37 | ``` 38 | 选择vpn server的协议类型，输入1是udp，2是tcp，默认使用udp，如果选择默认，直接回车： 39 | ``` 40 | Which protocol should OpenVPN use? 41 | 1) UDP (recommended) 42 | 2) TCP 43 | Protocol [1]: 44 | ``` 45 | 执行完后，查看openvpn启动是否正常。 46 | 47 | vpn port设置，如果选择默认，可以直接回车 48 | ``` 49 | What port should OpenVPN listen to? 50 | Port [1194]: 51 | ``` 52 | 53 | vpn dns设置，如果选择默认，可以直接回车： 54 | ``` 55 | Select a DNS server for the clients: 56 | 1) Current system resolvers 57 | 2) Google 58 | 3) 1.1.1.1 59 | 4) OpenDNS 60 | 5) Quad9 61 | 6) AdGuard 62 | DNS server [1]: 63 | ``` 64 | 创建server的同时，也会给创建一个客户端文件，输入客户端文件名（这里测试生成一个client-test.ovpn的文件）： 65 | 66 | ``` 67 | Enter a name for the first client: 68 | Name [client]: client-test 69 | ``` 70 | 一路回车下去，会生成client.ovpn文件 71 | 72 | ``` 73 | Write out database with 1 new entries 74 | Data Base Updated 75 | 76 | client added. Configuration available in: /root/client.ovpn 77 | ``` 78 | ## VPN客户端 79 | 80 | 把server部署时生成的客户端用户文件，拷贝到本地。 81 | 82 | ### MAC端 83 | 84 | 下载安装Tunnelblick[客户端下载](https://tunnelblick.net/downloads.html) 85 | 86 | 将client.ovpn拖到Tunnelblick即可访问vpn server。 87 | 88 | ### Windows端 89 | 90 | 可以直接在openvpn官网下载客户端，选择自己操作系统对应的版本[客户端下载](https://openvpn.net/community-downloads/) 91 | 92 | 通过openvpn上点击import profile选择client.ovpn，把对应的信息加载进去 93 | 94 | ### Liunx端 95 | 96 | 安装openvpn 97 | 98 | ``` 99 | yum install -y openvpn 100 | ``` 101 | 102 | 将key和client.ovpn放在同一目录下，并在该目录下执行启动命令： 103 | 104 | ``` 105 | openvpn --daemon --config client.ovpn 106 | ``` 107 | 108 | ## 大数据客户端 109 | 110 | ### 配置hosts 111 | 112 | 确保服务端和客户端里，集群的所有节点的主机名和IP相匹配，便于客户端通过浏览器访问大数据组件提供的原生UI服务，如HDFS UI、Spark UI等，需在客户端hosts文件中添加如下示例内容，格式：“集群节点内网ip 主机名” 113 | 114 | 10.10.229.204 usdp-2gz2ny-core3 115 | 10.10.240.154 usdp-2gz2ny-master2 116 | 10.10.227.236 usdp-2gz2ny-core2 117 | 10.10.222.134 usdp-2gz2ny-core1 118 | 10.10.243.138 usdp-2gz2ny-master1 119 | -------------------------------------------------------------------------------- /operate/alarm/README.md: -------------------------------------------------------------------------------- 1 | # 告警管理 2 | 3 | 在智能大数据平台USDP中，为便于用户快速获知集群相关健康状态，USDP提供较为友好的告警管理功能，譬如集群资源节点的系统级告警、大数据服务的基本告警配置、以及USDP提供的统一的告警模板管理等，辅助用户更好的管理和使用USDP。 4 | 5 | 6 | 7 | ## 集群告警设置 8 | 9 | - 在已创建的USDP集群条目右侧，点击 访问USDP 按钮，进入USDP自有管理控制台。 10 | 11 | ![node_ucloud_usdp_console_entrance](../../images/operate/node/node_ucloud_usdp_console_entrance.png) 12 | 13 | !>为防止USDP被恶意盗取登陆用户及密码，USDP集群默认的URL会在一定时间后过期，可能会对用户的操作带来些许不便，请谅解。
其他稳定且便捷的访问方式，建议参考 [集群访问及测试-指南](/USDP/operate/access/README) 进行配置。 14 | 15 | - 登陆USDP控制台 16 | 17 | ![node_usdp_console_entrance](../../images/operate/node/node_usdp_console_login.png) 18 | 19 | 详尽的集群告警模板管理、通知方式管理、告警设置生效，均需在USDP控制台内完成，参考如下内容： 20 | 21 | * [告警模板管理](/USDP/operate/alarm/alarm_template) 22 | * [设置告警邮件发送服务](/USDP/operate/alarm/set_emailserver) 23 | * [通知对象管理](/USDP/operate/alarm/notification_object) 24 | * [通知组管理](/USDP/operate/alarm/notification_group) 25 | * [告警设置](/USDP/operate/alarm/set_alarm) 26 | 27 | 关于USDP大数据集群告警相关的所有配置更改及管理，均可参考本篇指南完成。 28 | 29 | -------------------------------------------------------------------------------- /operate/alarm/alarm_template.md: -------------------------------------------------------------------------------- 1 | # 告警模板管理 2 | 3 | 告警模板，即为一组监控指标的集合，由告警模板来限制该模板中的所有监控指标的作用域，即“监控类型”。 4 | 5 | 监控指标，即为一组监控规则的集合，由监控指标来控制是否启用及通知组的绑定。 6 | 7 | 告警模板与USDP集群绑定，及可对该集群实施监控，当触发监控规则是，即及时向 [通知组](/USDP/operate/alarm/notification_group) 中的各个 [通知对象](/USDP/operate/alarm/notification_object) 发送告警信息。 8 | 9 | 在USDP-1.0.0.0版本中，已默认提供了丰富的集群的服务告警模板，诸如计算类、存储类、监控类、调度类、可视化类、安全类等在内的6大类服务及组件的告警模板。用户亦可自定义设置告警模板、监控指标、监控规则等。 10 | 11 | 12 | 13 | **通过本篇指南，您可以了解到：** 14 | 15 | - [告警模板管理](/USDP/operate/alarm/alarm_template?id=告警模板管理) 16 | - [模板监控指标管理](/USDP/operate/alarm/alarm_template?id=模板监控指标管理) 17 | - [监控指标详情查看/编辑](/USDP/operate/alarm/alarm_template?id=监控指标详情查看/编辑) 18 | - [删除监控指标](/USDP/operate/alarm/alarm_template?id=删除监控指标) 19 | - [给监控指标设置通知组](/USDP/operate/alarm/alarm_template?id=给监控指标设置通知组) 20 | - [给监控指标设置启停](/USDP/operate/alarm/alarm_template?id=给监控指标设置启停) 21 | - [告警模板快速绑定集群并生效](/USDP/operate/alarm/alarm_template?id=告警模板快速绑定集群并生效) 22 | - [新建告警模板](/USDP/operate/alarm/alarm_template?id=新建告警模板) 23 | - [删除告警模板](/USDP/operate/alarm/alarm_template?id=删除告警模板) 24 | 25 | 26 | 27 | ## 告警模板管理 28 | 29 | 登陆USDP控制台后，点击/鼠标滑至左上交 “橙色警报器” 图表位置，会自动展开下拉菜单项目，点击 告警模板管理 菜单项，进入 告警模板管理 页面，如下图所示： 30 | 31 | ![](../../images/operate/alarm/alarm_template/alarm_usdp_tamplate_entrance.png) 32 | 33 | ![](../../images/operate/alarm/alarm_template/alarm_usdp_firstpage.png) 34 | 35 | USDP已预置了如AIRFLOW、ALERTMANAGER、ELASTICSEARCH、FLINK、GRAFANA、HBASE、HDFS、HIVE、HUE、IMPALA、INFLUXDB、KAFKAEAGLE、KIBANA、KUDU、KYLIN、LIVY、NODEEXPORTER、OOZIE、PRESTO、PROMETHEUS、RANGER、SPARK、TEZ、UDS、USDPMONITOR、YARN、ZEPPELIN、ZKUI、ZOOKEEPER、NODE等30组告警模板。 36 | 37 | ### 模板监控指标管理 38 | 39 | 对于每一组告警模板的详细告警监控指标项，可点击告警模板条目右侧的 设置规则 按钮进入查看。此处以 “默认HIVE告警模板” 为例，如下图所示： 40 | 41 | ![](../../images/operate/alarm/alarm_template/alarm_usdp_hive_content.png) 42 | 43 | ?>USDP提供的 默认告警模板 不允许修改告警项。如需调整，可复制默认告警模板来调整具体告警指标，参见 [新建告警模板](/USDP/operate/alarm/alarm_template?id=新建告警模板)。 44 | 45 | 上图以Hive服务的告警模板为例，该模板包含9项具体监控指标。 46 | 47 | ### 监控指标详情查看/编辑 48 | 49 | 例如针对 “HiveServer2进程存活” 的告警规则，点击右侧 详情 按钮，在弹出的对话框中显示，如下图所示： 50 | 51 | ![](../../images/operate/alarm/alarm_template/alarm_usdp_hive_hiveserver2.png) 52 | 53 | 若用户是在自定义的告警模板查看 “监控指标” 具体的 “监控规则”，此时应该点击右侧的 编辑 按钮，会在弹出的编辑对话框中显示该指标的详细监控规则，用户亦可在此完成修改监控规则的操作。如下图所示： 54 | 55 | ![](../../images/operate/alarm/alarm_template/alarm_usdp_hdfs_rule_modify.png) 56 | 57 | 关于自定义告警模板，参见 [新建告警模板](/USDP/operate/alarm/alarm_template?id=新建告警模板)。 58 | 59 | ### 删除监控指标 60 | 61 | 在告警模板中，用户可根据实际需求来调整各监控指标，对于不合理的监控指标执行删除操作。如下图所示： 62 | 63 | ![](../../images/operate/alarm/alarm_template/alarm_usdp_tamplate_rule_delete_allow.png) 64 | 65 | ![](../../images/operate/alarm/alarm_template/alarm_usdp_tamplate_rule_delete.png) 66 | 67 | !>USDP预置的 “监控指标” 不允许用户自行删除，用户可选择将相应的 “监控指标” 设为不启用，参考 [给监控指标设置启停](/USDP/operate/alarm/alarm_template?id=给监控指标设置启停) 即可。 68 | 69 | ### 给监控指标设置通知组 70 | 71 | 无论是USDP系统预置的告警模板，还是用户自定义的告警模板，用户均可对每一条监控指标独立规划告警 [通知组](/USDP/operate/alarm/notification_group) ，以便于用户根据其组织架构及大数据环境使用人员的不同来灵活配置告警内容。如下图所示： 72 | 73 | ![](../../images/operate/alarm/alarm_template/alarm_usdp_tamplate_rule_setnotify.png) 74 | 75 | ### 给监控指标设置启停 76 | 77 | 无论是USDP系统预置的告警模板，还是用户自定义的告警模板，用户均可对每一条监控指标独立设置 “启用/停用”状态控制。 78 | 79 | ![](../../images/operate/alarm/alarm_template/alarm_usdp_tamplate_rule_setisstart.png) 80 | 81 | ?>对于USDP预置的监控指标，若用户认为其触发规则设置不合理，用户可以自行添加相同的监控指标，并将对应的默认监控指标置为 “停用”状态均可。 82 | 83 | ## 告警模板快速绑定集群并生效 84 | 85 | 默认告警模板内容，是UCloud依据多年大数据产品维护经验的沉淀，用户可以快速使用默认告警模板对欲监控告警的集群生效使用。 86 | 87 | 点击 “告警模板管理” 页面用户指定的模板条目右侧的 修改绑定 按钮，这里以 “默认AIRFLOW告警模板” 为例，如下图所示： 88 | 89 | ![](../../images/operate/alarm/alarm_template/alarm_usdp_airflow_binding.png) 90 | 91 | 在弹出的 “修改绑定” 对话框中 “设置绑定” 处左侧 “可选集群” 部分，列出来可以绑定该模板的集群信息，用户仅需勾选对应的集群复选框，点击 > 按钮，即可将已选集群添加到右侧 “已选集群” 栏，此后，点击对话框 确定 按钮，即可完成当前告警模板与所选集群的绑定操作。 92 | 93 | 用户亦可在您自己的集群上来设置绑定哪些告警模板，相关操作请参考 [告警设置](/USDP/operate/alarm/set_alarm) 指南。 94 | 95 | ?>为告警模板绑定集群后，即代表此集群已使用该模板中的所有监控指标，对该集群中的相应服务实施监控，当集群一但发生相关告警规则设置的条件时，即会触发告警，USDP将会通过该模板中事先设置好的 [通知组](/USDP/operate/alarm/notification_group) 来发送告警详细信息。 96 | 97 | ## 新建告警模板 98 | 99 | 当用户在熟悉USDP预置的众多告警模板后，仍然可能无法满足需求时，此时，可自定义新建告警模板，点击 “告警模板管理” 页面左上角 新建 按钮，弹出 “新增告警模板” 对话框，如下图所示： 100 | 101 | ![](../../images/operate/alarm/alarm_template/alarm_usdp_tamplate_add.png) 102 | 103 | USDP允许用户创建全新的空白模板，亦可通过复制现有的模板进行更改，如下图所示： 104 | 105 | ![](../../images/operate/alarm/alarm_template/alarm_usdp_tamplate_add_copy.png) 106 | 107 | 新增告警模板，模板需指定其可运用的 “监控类别”，下拉选择相应的监控类别即可。 108 | 109 | 若是从其他已有的告警模板复制，在 “复制于” 下拉框中选择选择相应的模板（支持选择 “默认告警模板” 及 “自定义告警模板”）即可。 110 | 111 | 输入模板名称后点击 确定 按钮保存即可。 112 | 113 | ## 删除告警模板 114 | 115 | 勾选 欲删除的告警模板左侧的复选框，之后点击左上角 删除 按钮即可。 116 | 117 | ![](../../images/operate/alarm/alarm_template/alarm_usdp_tamplate_delete.png) 118 | 119 | !>USDP不允许用户 “勾选” 及 “删除” 系统预置的所有默认告警模板。 -------------------------------------------------------------------------------- /operate/alarm/notification_group.md: -------------------------------------------------------------------------------- 1 | # 通知组管理 2 | 3 | USDP支持通知组管理的能力，结合 [通知组](/USDP/operate/alarm/notification_group) 与 [告警模块](/USDP/operate/alarm/alarm_template) “监控指标”的绑定，实现监控规则触发时，即使将告警信息发送给绑定的通知组中的 [通知对象](/USDP/operate/alarm/notification_object)。 4 | 5 | 这里将介绍通知组的的管理和维护的方法。 6 | 7 | 8 | 9 | **通过本篇指南，您可以了解到：** 10 | 11 | - [进入通知组管理页面](/USDP/operate/alarm/notification_group?id=进入通知组管理页面) 12 | - [添加通知组](/USDP/operate/alarm/notification_group?id=添加通知组) 13 | 14 | 15 | 16 | 17 | ## 进入通知组管理页面 18 | 19 | 登陆USDP控制台后，点击/鼠标滑至左上交 “橙色警报器” 图表位置，会自动展开下拉菜单项目，点击 通知方式管理 菜单项，进入 通知方式管理 页面，如下图所示： 20 | 21 | ![](../../images/operate/alarm/set_emailserver/notify_usdp_entrance.png) 22 | 23 | 进入 “通知方式管理” 页面时，点击 “通知组” 选项卡，如下图所示： 24 | 25 | ![](../../images/operate/alarm/notification_group/notify_usdp_set_notifygroup.png) 26 | 27 | 28 | 29 | ## 添加通知组 30 | 31 | 默认情况下，当初始执行 “通知组”-“新建” 时，USDP要求必须先添加 “默认通知组”，通知组名称不可更改，勾选 “通知对象” 并点击 > 按钮，再在对话框右下角点击 确定 按钮，即可完成。如下图所示： 32 | 33 | ![](../../images/operate/alarm/notification_group/notify_usdp_set_notifygroup_default.png) 34 | 35 | !>“默认通知组”，一经创建，不得删除。
“默认通知组” 中的 “通知对象”，可以灵活调整，但不得少于一个 “通知对象”。
每个“通知组”（含默认通知组）中，至少需要保留一个 “通知对象”。 36 | 37 | 再次操作 “通知组”-“新建” 时，用户可灵活定义 “通知组名称”，勾选 “通知对象” 并点击 > 按钮，再在对话框右下角点击 确定 按钮，即可完成。如下图所示： 38 | 39 | ![](../../images/operate/alarm/notification_group/notify_usdp_set_notifygroup_groupadd.png) 40 | 41 | 添加好 “通知组” 后，如下图所示： 42 | 43 | ![](../../images/operate/alarm/notification_group/notify_usdp_set_notifygroup_management.png) 44 | 45 | 在此，用户可对已添加的通知组实行管理操作，例如 “删除” 某个通知组，“编辑”通知组等。 -------------------------------------------------------------------------------- /operate/alarm/notification_object.md: -------------------------------------------------------------------------------- 1 | # 通知对象管理 2 | 3 | 通知对象，是USDP系统中，告警信息发送的目标用户，通知对象是由 [通知组](/USDP/operate/alarm/notification_group) 进行管理的；通知组再与 [告警模板](/USDP/operate/alarm/alarm_template) 中的监控指标关联。 4 | 5 | USDP支持多种通知对象类型，提供对各类通知对象的管理和维护方法。 6 | 7 | ?>当前，USDP支持的通知对象类型有：
邮箱
钉钉
企业微信
回调接口 8 | 9 | 10 | 11 | **通过本篇指南，您可以了解到：** 12 | 13 | - [进入通知对象管理页面](/USDP/operate/alarm/notification_object?id=进入通知对象管理页面) 14 | - [添加通知对象](/USDP/operate/alarm/notification_object?id=添加通知对象) 15 | - [新建邮箱类型的通知对象](/USDP/operate/alarm/notification_object?id=新建邮箱类型的通知对象) 16 | - [新建钉钉类型的通知对象](/USDP/operate/alarm/notification_object?id=新建钉钉类型的通知对象) 17 | - [新建企业微信类型的通知对象](/USDP/operate/alarm/notification_object?id=新建企业微信类型的通知对象) 18 | - [新建回调接口类型的通知对象](/USDP/operate/alarm/notification_object?id=新建回调接口类型的通知对象) 19 | - [管理已有通知对象](/USDP/operate/alarm/notification_object?id=管理已有通知对象) 20 | 21 | 22 | 23 | ## 进入通知对象管理页面 24 | 25 | 登陆USDP控制台后，点击/鼠标滑至左上交 “橙色警报器” 图表位置，会自动展开下拉菜单项目，点击 通知方式管理 菜单项，进入 通知方式管理 页面，如下图所示： 26 | 27 | ![](../../images/operate/alarm/set_emailserver/notify_usdp_entrance.png) 28 | 29 | 进入 “通知方式管理” 页面时，点击 “通知对象” 选项卡，如下图所示： 30 | 31 | ![](../../images/operate/alarm/notification_object/notify_usdp_set_notifyobject.png) 32 | 33 | 34 | 35 | ## 添加通知对象 36 | 37 | 新建 “通知对象” 时，选择相应的 “通知对象类型”，并按要求填入其余信息，即可完成 “通知对象” 添加的操作。 38 | 39 | ### 新建邮箱类型的通知对象 40 | 41 | 在 “通知对象” 标签页，点击左上角 新建 按钮，在弹出的 “新建通知对象” 对方框中 “通知对象类型” 处，选择 “邮箱”，如下图所示： 42 | 43 | ![](../../images/operate/alarm/notification_object/notify_usdp_set_notifyobject_email.png) 44 | 45 | “通知对象名称”，填写该对象的名称等信息；并输入此人 “邮箱地址” 后，点击 获取验证码 按钮，此时该邮箱即收到一条验证邮件，内容中包含“验证码” 等信息，索要 “验证码” 后填入，点击 确定 按钮完成添加操作。 46 | 47 | 48 | 49 | ### 新建钉钉类型的通知对象 50 | 51 | 在 “通知对象” 标签页，点击左上角 新建 按钮，在弹出的 “新建通知对象” 对方框中 “通知对象类型” 处，选择 “钉钉”，如下图所示： 52 | 53 | ![](../../images/operate/alarm/notification_object/notify_usdp_set_notifyobject_dingding.png) 54 | 55 | 通知对象名称，填写该对象的名称等信息；并输入钉钉的 “Webhook地址”，及 “自定义关键字” 后，点击 获取验证码 按钮，此时该钉钉即收到一条验证信息，内容中包含“验证码” 等信息，索要 “验证码” 后填入，点击 确定 按钮完成添加操作。 56 | 57 | 58 | 59 | ### 新建企业微信类型的通知对象 60 | 61 | 在 “通知对象” 标签页，点击左上角 新建 按钮，在弹出的 “新建通知对象” 对方框中 “通知对象类型” 处，选择 “企业微信”，如下图所示： 62 | 63 | ![](../../images/operate/alarm/notification_object/notify_usdp_set_notifyobject_qiwei.png) 64 | 65 | 通知对象名称，填写该对象的名称等信息；并输入企业微信的 “Webhook地址” 后，点击 获取验证码 按钮，此时该企业微信即收到一条验证信息，内容中包含“验证码” 等信息，索要 “验证码” 后填入，点击 确定 按钮完成添加操作。 66 | 67 | 68 | 69 | ### 新建回调接口类型的通知对象 70 | 71 | 在 “通知对象” 标签页，点击左上角 新建 按钮，在弹出的 “新建通知对象” 对方框中 “通知对象类型” 处，选择 “回调接口”，如下图所示： 72 | 73 | ![](../../images/operate/alarm/notification_object/notify_usdp_set_notifyobject_api.png) 74 | 75 | 通知对象名称，填写该对象的名称等信息；并输入 “自定义接口的地址”，点击 确定 按钮完成添加操作。 76 | 77 | ## 管理已有通知对象 78 | 79 | 完成新建通知对象后，页面显示已添加后的所有 “通知对象”，如下图所示： 80 | 81 | ![](../../images/operate/alarm/notification_object/notify_usdp_set_notifyobject_down.png) 82 | 83 | 若因某通知对象工作变动原因，管理员可能需要删除该通知对象是；此时，勾选该对象左侧的复选框，并点击 删除 按钮完成，并确认后，完成删除操作，如下图所示： 84 | 85 | ![](../../images/operate/alarm/notification_object/notify_usdp_notifyobject_delete.png) -------------------------------------------------------------------------------- /operate/alarm/set_alarm.md: -------------------------------------------------------------------------------- 1 | # 告警设置 2 | 3 | 通过本篇指南，即可完成将已有的 [告警模板](/USDP/operate/alarm/alarm_template) 应用至当前 集群 并开始按 “告警模板” 中的 “监控指标” 及 “监控规则” 实施监控并生效。当集群出现被检测的某种异常时，USDP会主动通过 “监控指标” 绑定的 [通知组](/USDP/operate/alarm/notification_group) 为组内的各个 [通知对象](/USDP/operate/alarm/notification_object) 发送告警信息。 4 | 5 | 6 | 7 | ## 开始给集群设置告警 8 | 9 | 登陆USDP控制台后，点击左侧导航栏 “监控管理” - “告警设置”，进入开始为集群配置 告警设置 的页面，如下图所示： 10 | 11 | ![](../../images/operate/alarm/set_alarm/set_alarm_entrance.png) 12 | 13 | ?>初始状态下，新创建的集群并未绑定任何告警模板。 14 | 15 | 点击 绑定告警模板 按钮，在弹出的 “绑定告警模板” 对话框中进行绑定操作，如下图所示： 16 | 17 | ![](../../images/operate/alarm/set_alarm/set_alarm_set_template.png) 18 | 19 | 对话框中 “设置绑定” 处左侧 “可选模板” 部分，列出来可以绑定到当前集群的所有模板列表，用户仅需 “勾选” 对应的 告警模板左侧的复选框，点击 > 按钮，即可将已选 告警模板 添加到右侧 “已选模板” 栏，此后，点击对话框 确定 按钮，即可完成当前告警模板与所选集群的绑定操作。 20 | 21 | ?>为集群绑定告警模板后，即代表此集群已使用这些模板中的所有监控指标，对该集群中的相应服务实施监控，当集群一但发生相关告警规则设置的条件时，即会触发告警，USDP将会通过这些模板中事先设置好的 [通知组](/USDP/operate/alarm/notification_group) 来发送告警详细信息。 22 | 23 | 完成绑定操作后，如下图所示： 24 | 25 | ![](../../images/operate/alarm/set_alarm/set_alarm_show.png) 26 | 27 | 此时，已将上图中的六项告警模板应用于当前集群。若需调整，再次点击左上角的 绑定告警模板 按钮即开始调整即可。 -------------------------------------------------------------------------------- /operate/alarm/set_emailserver.md: -------------------------------------------------------------------------------- 1 | # 设置告警邮件发送服务 2 | 3 | USDP管理服务是每个用户独享的，因此在使用邮件接收集群相关监控告警信息前，用户需要为USDP管理服务配置邮件发送服务器及账号等操作，通过本指南的内容，指引用户完成相关配置。 4 | 5 | 6 | 7 | ## 开始配置邮件发送服务 8 | 9 | - 登陆USDP控制台后，点击/鼠标滑至左上交 “橙色警报器” 图表位置，会自动展开下拉菜单项目，点击 通知方式管理 菜单项，进入 通知方式管理 页面，如下图所示： 10 | 11 | ![](../../images/operate/alarm/set_emailserver/notify_usdp_entrance.png) 12 | 13 | - 进入 “通知方式管理” 页面时，点击 “邮件发送设置” 选项卡，系统提示 “尚未配置邮件发送服务器及账号”，如下图所示： 14 | 15 | ![](../../images/operate/alarm/set_emailserver/notify_usdp_set_email.png) 16 | 17 | !> USDP管理服务即为用户独享，且USDP管理服务默认是部署在集群Master1节点上，因此，需要为该集群Master1节点配置EIP，否则将无法配置邮件发送服务器及发送告警邮件。添加 EIP及防火配置，可前往 [绑定EIP、设置防火墙](/USDP/operate/node/cloud_node?id=绑定eip、设置防火墙) 参考。 18 | 19 | - 点击 立即配置 按钮，在弹出的 “配置邮件发送服务器” 对话框中来配置，如下图所示： 20 | 21 | ![](../../images/operate/alarm/set_emailserver/notify_usdp_seting_email.png) 22 | 23 | 此时，用户可参考如下列表内容，选择合适的 “邮箱类型”、“SMTP服务器地址”、“是否开启SSL”、端口，来完成对话框配置填写： 24 | 25 | ![](../../images/operate/alarm/set_emailserver/notify_usdp_set_email_like.png) 26 | 27 | - 验证通过后，显示如下（这里是以UCloud邮箱服务器配置为示例）： 28 | 29 | ![](../../images/operate/alarm/set_emailserver/notify_usdp_set_email_down.png) 30 | 31 | 若需变更，可参考上图，点击 修改配置 按钮，在对话框中完成邮箱服务器及账号的变更操作。 32 | 33 | 至此，告警邮件发送服务的配置即已完成。 -------------------------------------------------------------------------------- /operate/cluster.md: -------------------------------------------------------------------------------- 1 | # 集群创建 2 | 3 | 智能大数据平台USDP集群的创建过程，分为两个部分，即在公有云控制台中，创建USDP的集群资源，待创建完成后，进入您独享的USDP管理服务开始规划并创建大数据集群。 4 | 5 | 6 | 7 | **通过本篇指南，您可以了解到：** 8 | 9 | - [开始创建集群资源](/USDP/operate/cluster?id=开始创建集群资源) 10 | - [开始部署集群服务和组件](/USDP/operate/cluster?id=开始部署集群服务和组件) 11 | 12 | 参考本篇指南，开始创建并部署您的USDP集群吧。 13 | 14 | 15 | 16 | ## 开始创建集群资源 17 | 18 | 登陆[UCloud云控制台](https://console.ucloud.cn/)。 19 | 20 | ### 1 进入产品页面 21 | 22 | 进入公有云控制台首页后，点击左上角“全部产品”，在“数据分析”类目中点击“智能大数据平台USDP”，进入USDP集群管理页面。 23 | 24 | ![ucloud_console_usdp](../images/operate/cluster/ucloud_console_usdp.png) 25 | 26 | ### 2 点击 创建集群 按钮开始创建USDP集群资源 27 | 28 | ![](../images/operate/cluster/创建集群.png) 29 | 30 | ### 3 设置地域和可用区信息 31 | 32 | 请根据您的需要，在创建集群向导中设置新集群所归属的地域及可用区信息。 33 | 34 | ![](../images/operate/cluster/地域和可用区选择.png) 35 | 36 | ### 4 集群和软件设置 37 | 38 | 在此模块需要您设置并完善新集群所属VPC和子网信息、集群名称填写、框架及版本信息。 39 | 40 | ?>集群名称也是高可用NameNode的Namespace名称，需要字母和数字的组合，首位必须是字母 41 | 42 | ![](../images/operate/cluster/集群和软件设置.png) 43 | 44 | 45 | ### 5 节点设置 46 | 47 | ![](../images/operate/cluster/节点设置.png) 48 | 49 | - **Master节点** 50 | 51 | 管理节点，主要适合用于部署zookeeper、Journalnode、NameNode、Resourcemanager、Hmaster、Hive等管理服务，可视化组件如Hue、oozie也建议部署在Master节点上。 52 | 53 | - **core节点** 54 | 55 | 核心节点，适合用于存储数据（HDFS）与运行任务。建议部署datanode、nodemanager、regionserver等服务。 56 | 57 | - **Task节点** 58 | 59 | 适合用于补充计算资源，建议只部署Nodemanager 60 | 61 | - **Monitor节点** 62 | 63 | 适合用于部署AlterManager、Grafana、InfluxDB、NodeExporter、Prometheus、USDPMonitor等监控服务 64 | 65 | ### 6 访问设置 66 | 67 | 在此处填写该集群资源的所有节点root用户统一的密码。 68 | 69 | ![](../images/operate/cluster/访问设置.png) 70 | 71 | 72 | ### 7 等待集群部署 73 | 74 | 根据集群节点资源规模不同，可能需要的部署时间会有所差异，一般情况下，创建大约会在30分钟左右完成。如下图所示，状态为正在部署中。 75 | 76 | 当状态处于“运行”状态的时，即可点击 访问USDP 按钮，进入USDP管理页面进行集群服务规划及部署操作。 77 | 78 | ![](../images/operate/cluster/部署中的集群.png) 79 | 80 | ## 开始部署集群服务和组件 81 | 82 | ### 使用USDP管理控制台部署服务 83 | 在已创建的USDP集群条目右侧，点击 访问USDP 按钮，进入USDP自有管理控制台。 84 | 85 | ![node_ucloud_usdp_console_entrance](../images/operate/node/node_ucloud_usdp_console_entrance.png) 86 | 87 | #### 1 进入登录页面登录到USDP管理控制台 88 | 初始登录需要设置admin用户名的登录密码。如下所示： 89 | ![](../images/operate/cluster/输入登录信息.png) 90 | 91 | #### 2 添加服务和组件 92 | 在右上角“当前集群”右侧点击集群名称，点击选择"添加服务或组件"，开始部署集群服务。 93 | ![](../images/operate/cluster/添加服务和组件.png) 94 | 95 | #### 3 选择服务 96 | USDP支持大数据生态服务较多，在集群安装时，用户根据业务需要，灵活选择所需安装的组件。 97 | 98 | 您可以在“服务组合方案”出从推荐方案A\B\C中进行选择，或“自定义”您需要的服务，其中“监控”服务是默认必须选择的，您无法取消。如下图所示： 99 | ![](../images/operate/cluster/选择服务.png) 100 | 101 | #### 4 选择组件安装 102 | 大数据生态各服务，均由不同的组件构成，安装集群时，用户可根据业务需求规划，将不同的服务及组件分别都安装到集群的那些节点上。 103 | 104 | 若用户选择安装的服务较多或如上图中用户选择推荐方案A（全量部署方案），由于组件选项非常多，建议采用“智能推荐”的方式进行选择，或者在“智能推荐”的基础上进行修改。如下图所示： 105 | 106 | ![](../images/operate/cluster/选择组件安装节点.png) 107 | 108 | > 以下，USDP建议，请您参考：
NameNode建议安装在usdp-xxx-masster的节点上，否则NameNode出现异常时，主从切换会失败。
节点名称为usdp-xxx-masster的节点，建议用于部署zookeeper、Journalnode、NameNode、Resourcemanager、Hmaster、Hive等服务和组件的master节点，可视化和调度组件如Hue、oozie、kibana、zkui也建议部署在Master节点上。
节点名称usdp-xxx-core核心节点，建议用于存储数据（HDFS）与运行任务。建议部署datanode、nodemanager、regionserver、presto work、impala。
节点名称usdp-xxx-task的节点，建议用于部署计算资源，建议用来部署Nodemanager、Client。
节点名称usdp-xxx-monitor的节点，建议用于部署AlterManager、Grafana、InfluxDB、NodeExporter、Prometheus、USDPMonitor等监控服务。 109 | 110 | 您也可根据您的需要，进行灵活规划并实时部署。 111 | 112 | #### 5 服务配置 113 | USDP默认将自身管理元信息、集群中大数据服务的相关元信息，统一配置至Master1节点的MySQL数据库中，默认开启“元信息数据库统一配置”、默认填充该MySQL的相关连接信息，点击 测试连接 按钮即可测试是否正常，如下图所示： 114 | 115 | ![](../images/operate/cluster/服务配置.png) 116 | 117 | ?> 元信息数据库配置涉及的服务有：
HIVE、HUE、OOZIE、RANGER、UDS等五个服务。
MySQL版本：5.7.30 118 | 119 | 在此，请填写其他相关服务的配置信息，其中“ELASTICSEARCH”、“HDFS”、“KAFKA”、“KUDU”等相关数据存储目录信息。如下图所示： 120 | 121 | ![](../images/operate/cluster/服务配置_lib.png) 122 | 123 | “UDS”邮件服务器配置信息，可默认不填，并在集群安装完成后进入USDP控制台后，即可进入向导“下一步”。 124 | 125 | ![](../images/operate/cluster/服务配置_uds.png) 126 | 127 | ##### 元信息数据库独立配置 128 | 129 | 若用户计划将“HIVE”、“HUE”、“OOZIE”、“RANGER”、“UDS”等服务的元信息数据库独立管理，此时，可点击取消 “元信息数据库统一配置” 右侧的滑块，同时，下方页面即会显示这些服务所需的数据库连接填写的表单，按要求填写，并分别点击下方的 测试连接 按钮，按钮变为绿色，即为测试连接成功。此后，即可进入向导下一步中。如下图所示： 130 | 131 | ![](../images/operate/cluster/服务配置_db.png) 132 | 133 | #### 6 部署信息总览 134 | 至此，为您总览以上向导步骤中完成的所有选择及配置信息汇总展示，请确认无误后点击“开始部署”按钮开始集群的服务组件部署工作。如下图所示： 135 | ![](../images/operate/cluster/部署服务.png) 136 | 137 | #### 7 安装并启动服务 138 | 当服务安装发生错误时，您可以点击查看报错节点“失败”详情，参考详情提示信息，进行手动修复错误操作，之后点击“全部重试”按钮，重新进行服务组件部署工作。 139 | ![](../images/operate/cluster/安装并部署服务.png) 140 | 141 | 部署过程中，各个节点正在进行的部署进展，均可通过进度条实时展示，可点击 “详情” 栏中的各个链接，查看当前进展详情，如下图所示： 142 | 143 | ![](../images/operate/cluster/安装并部署服务_stats.png) 144 | 145 | 点击对话框 - “安装任务栏” 的各个链接，几个查看其单个安装任务的执行日志，这将在安装过程中出错时变得很有用。如下图所示： 146 | 147 | ![](../images/operate/cluster/安装并部署服务_log.png) 148 | 149 | ![](../images/operate/cluster/安装并部署服务_retry.png) 150 | 151 | 当安装过程中出现任务失败的情况，USDP会在左上角显示 全部重试 按钮，可点击重试安装。 152 | 153 | 待所有节点正常安装成功后，即可点击 完成 按钮，退出集群服务安装向导。此时新集群服务已安装完成。 154 | 155 | 156 | 157 | 其他更多操作，请参考本文档 “操作指南” 和 “开发指南” 相关章节文档内容。 158 | 159 | -------------------------------------------------------------------------------- /operate/monitor/README.md: -------------------------------------------------------------------------------- 1 | # 监控管理 2 | 3 | 在智能大数据平台USDP中，为便于用户对集群及相关服务的监控管理，USDP提供较为友好的监控管理功能，譬如集群资源节点的系统级监控、大数据服务的基本监控信息查看、以及USDP统一的监控服务查看，辅助用户更好的管理和使用USDP。 4 | 5 | 6 | 7 | **通过本篇指南，您可以了解到：** 8 | 9 | - [集群基础监控](/USDP/operate/monitor/README?id=集群基础监控) 10 | - [集群服务监控](/USDP/operate/monitor/README?id=集群服务监控) 11 | 12 | 13 | 14 | ## 集群基础监控 15 | 16 | - 登陆[UCloud云控制台](https://console.ucloud.cn/)。 17 | 18 | - 进入首页后，点击左上角“全部产品”，在“数据分析”类目中点击“智能大数据平台USDP”，进入USDP集群管理页面。 19 | 20 | ![node_ucloud_usdp_entrance](../../images/operate/node/node_ucloud_usdp_entrance.png) 21 | 22 | 在已创建的USDP集群条目右侧，点击 集群管理 按钮，进入USDP集群管理页面，再点击 监控信息 标签页后，即可查看针对当前集群的所有云端节点资源的指标监控。 23 | 24 | - [集群基础监控详情](/USDP/operate/monitor/basic_monitor) 25 | 26 | 27 | 28 | ## 集群服务监控 29 | 30 | - 在已创建的USDP集群条目右侧，点击 访问USDP 按钮，进入USDP自有管理控制台。 31 | 32 | ![node_ucloud_usdp_console_entrance](../../images/operate/node/node_ucloud_usdp_console_entrance.png) 33 | 34 | !>为防止USDP被恶意盗取登陆用户及密码，USDP集群默认的URL会在一定时间后过期，可能会对用户的操作带来些许不便，请谅解。
其他稳定且便捷的访问方式，建议参考 [集群访问及测试-指南](/USDP/operate/access/README) 进行配置。 35 | 36 | - 登陆USDP控制台 37 | 38 | ![node_usdp_console_entrance](../../images/operate/node/node_usdp_console_login.png) 39 | 40 | 在USDP控制台左侧导航栏 “监控管理” - “监控图表”，参考下方快捷方式的描述。 41 | 42 | - [集群服务监控详情](/USDP/operate/monitor/service_monitor) 43 | 44 | 关于USDP大数据集群中各个节点管理及各服务的监控查看，均可参考此处完成。 45 | 46 | -------------------------------------------------------------------------------- /operate/monitor/basic_monitor.md: -------------------------------------------------------------------------------- 1 | # 集群基础监控 2 | 3 | 集群基础监控信息及图表，可通过以下两种途径查看。 4 | 5 | - [在公有云端USDP集群“监控管理”](/USDP/operate/monitor/basic_monitor?id=在公有云端USDP集群"监控管理") 6 | - [在USDP控制台查看集群节点监控信息](/USDP/operate/monitor/basic_monitor?id=在USDP控制台查看集群节点监控信息) 7 | 8 | ## 在公有云端USDP集群“监控管理” 9 | 10 | 在集群管理详情 监控信息 选项卡后，即可查看针对当前集群的所有云端节点资源的指标监控。 11 | 12 | ![usdp_cloud_monitor](../../images/operate/monitor/basic_monitor/usdp_cloud_monitor.png) 13 | 14 | ### 对单台资源节点丰富的指标项监控 15 | 16 | > CPU使用率(%) 17 | > 18 | > 内存使用率(%) 19 | > 20 | > 网卡出/入带宽(Mbps) 21 | > 22 | > 网卡出/入包量(个/s) 23 | > 24 | > 系统盘使用率(%) 25 | > 26 | > 数据盘使用率(%) 27 | > 28 | > 系统盘磁盘io使用率(%) 29 | > 30 | > 数据盘磁盘io使用率(%) 31 | > 32 | > 磁盘读/写吞吐(KBps) 33 | > 34 | > 磁盘读/写次数(次/s) 35 | > 36 | > 运行进程数(个) 37 | > 38 | > 阻塞进程数(个) 39 | > 40 | > 只读磁盘数量(个) 41 | > 42 | > 进程总数(个) 43 | > 44 | > TCP连接数(个) 45 | > 46 | > LoadAverage 47 | > 48 | > 探活节点个数(个) 49 | 50 | ### 对各资源节点的监控信息查看 51 | 52 | 可在上图所示页面左侧，点击不同节点的 “节点域名”，来切换查看各资源节点的详细监控指标图标。 53 | 54 | 55 | 56 | ## 在USDP控制台查看集群节点监控信息 57 | 58 | 可前往 USDP控制台集群节点管理 - [集群单节点管理](/USDP/operate/node/usdp_node?id=集群单节点管理) 参考查看。 59 | 60 | -------------------------------------------------------------------------------- /operate/monitor/service_monitor.md: -------------------------------------------------------------------------------- 1 | # 集群服务监控 2 | 3 | USDP提供丰富的服务监控能力，对集群中各服务实现统一的监控数据采集，并通过Grafana统一管理和展示给使用用户，便于集群管理及开发者，对集群监控状况进行维护。 4 | 5 | - [集群服务监控-监控图表](/USDP/operate/monitor/service_monitor?id=集群服务监控-监控图表) 6 | - [查看各服务的监控图表](/USDP/operate/monitor/service_monitor?id=查看各服务的监控图表) 7 | - [查看HDFS服务监控图表](/USDP/operate/monitor/service_monitor?id=查看HDFS服务监控图表) 8 | - [查看YARN服务监控图表](/USDP/operate/monitor/service_monitor?id=查看YARN服务监控图表) 9 | - [查看HIVE服务监控图表](/USDP/operate/monitor/service_monitor?id=查看HIVE服务监控图表) 10 | - [查看HBASE服务监控图表](/USDP/operate/monitor/service_monitor?id=查看HBASE服务监控图表) 11 | - [查看ZOOKEEPER服务监控图表](/USDP/operate/monitor/service_monitor?id=查看ZOOKEEPER服务监控图表) 12 | - [查看集群节点JVM监控图表](/USDP/operate/monitor/service_monitor?id=查看集群节点JVM监控图表) 13 | - [查看更多其他服务监控图表](/USDP/operate/monitor/service_monitor?id=查看更多其他服务监控图表) 14 | 15 | ## 集群服务监控-监控图表 16 | 17 | - 登陆USDP控制台。 参考 监控管理 - [集群服务监控](/USDP/operate/monitor/README?id=集群服务监控) 登陆。 18 | - 点击USDP控制台左侧导航栏 “监控管理” - “监控图表”，打开集群服务监控 Grafana 页面，并登陆。如下图所示： 19 | 20 | ![storage_grafana_ui_details](../../images/operate/service/monitor_kind/service_grafana_ui_details.png) 21 | 22 | !>默认登陆口令如下，请登陆后及时修改密码！
- 用户名：当前集群名称 - 密码：0okm9ijn)OKM(IJN 23 | 24 | - 登陆后进入Grafana首页，如下图所示： 25 | 26 | ![usdp_console_cluster_monitor_grafana](../../images/operate/monitor/service_monitor/usdp_console_cluster_monitor_grafana.png) 27 | 28 | 29 | 30 | ## 查看各服务的监控图表 31 | 32 | 在Grafana首页，点击左上角 Home 菜单栏按钮，打开下来菜单，选择您需要查看的集群服务名称，即可查看USDP已预置的对该服务的监控指标图表信息信息。如下所示： 33 | 34 | ### 查看HDFS服务监控图表 35 | 36 | ![usdp_console_cluster_monitor_grafana_hdfs](../../images/operate/monitor/service_monitor/usdp_console_cluster_monitor_grafana_hdfs.png) 37 | 38 | ### 查看YARN服务监控图表 39 | 40 | ![usdp_console_cluster_monitor_grafana_yarn](../../images/operate/monitor/service_monitor/usdp_console_cluster_monitor_grafana_yarn.png) 41 | 42 | ### 查看HIVE服务监控图表 43 | 44 | ![usdp_console_cluster_monitor_grafana_hive](../../images/operate/monitor/service_monitor/usdp_console_cluster_monitor_grafana_hive.png) 45 | 46 | ### 查看HBASE服务监控图表 47 | 48 | ![usdp_console_cluster_monitor_grafana_hbase](../../images/operate/monitor/service_monitor/usdp_console_cluster_monitor_grafana_hbase.png) 49 | 50 | ### 查看ZOOKEEPER服务监控图表 51 | 52 | ![usdp_console_cluster_monitor_grafana_zookeeper](../../images/operate/monitor/service_monitor/usdp_console_cluster_monitor_grafana_zookeeper.png) 53 | 54 | ### 查看集群节点JVM监控图表 55 | 56 | ![usdp_console_cluster_monitor_grafana_jvm](../../images/operate/monitor/service_monitor/usdp_console_cluster_monitor_grafana_jvm.png) 57 | 58 | ### 查看USDP管理服务监控图表 59 | 60 | 将USDP自身的集群管理服务也作为独立的监控图表，便于用户查看维护。 61 | 62 | ![usdp_console_cluster_monitor_grafana_usdp](../../images/operate/monitor/service_monitor/usdp_console_cluster_monitor_grafana_usdp.png) 63 | 64 | ## 查看更多其他服务监控图表 65 | 66 | 更多其他服务的监控图表，均可在Grafana首页点击左上角 Home 菜单栏按钮，打开下来菜单，选择您需要查看的集群服务名称，即可查看。 -------------------------------------------------------------------------------- /operate/node/README.md: -------------------------------------------------------------------------------- 1 | # 节点管理 2 | 3 | 在智能大数据平台USDP中，在云端实现了两层管理能力，即公有云端的集群资源管理控制，和USDP自身控制台的管理控制。为便于用户对集群资源节点及节点上承载的服务组件的管理，USDP提供较为友好的节点管理功能，譬如集群资源节点增删、节点的资源监控、节点上承载的各大数据服务组件的管理等，辅助用户更好的管理和使用USDP。 4 | 5 | 6 | 7 | **通过本篇指南，您可以了解到：** 8 | 9 | - [在公有云端USDP集群资源“节点管理”](/USDP/operate/node/README?id=在公有云端USDP集群资源"节点管理") 10 | - [在USDP控制台查看集群“节点管理”](/USDP/operate/node/README?id=在USDP控制台查看集群"节点管理") 11 | 12 | 13 | 14 | ## 在公有云端USDP集群资源“节点管理” 15 | 16 | - 登陆[UCloud云控制台](https://console.ucloud.cn/)。 17 | 18 | - 进入首页后，点击左上角“全部产品”，在“数据分析”类目中点击“智能大数据平台USDP”，进入USDP集群管理页面。 19 | 20 | ![node_ucloud_usdp_entrance](../../images/operate/node/node_ucloud_usdp_entrance.png) 21 | 22 | - 在已创建的USDP集群条目右侧，点击 集群管理 按钮，进入USDP集群管理页面，再点击 节点管理 标签页后，即可查看当前集群的所有云端资源列表信息。 23 | 24 | ![node_ucloud_usdp_nodemanager](../../images/operate/node/node_ucloud_usdp_nodemanager.png) 25 | 26 | 在此，可针对该集群的所有云端资源实现管理操作，如添加/删除节点、快捷登陆节点、给节点绑定公网EIP、给节点绑定防火墙、关机/启动节点等操作，点击下方链接前往查阅。 27 | 28 | - [公有云端USDP集群资源节点管理详情](/USDP/operate/node/cloud_node) 29 | 30 | ## 在USDP控制台查看集群“节点管理” 31 | 32 | - 在已创建的USDP集群条目右侧，点击 访问USDP 按钮，进入USDP自有管理控制台。 33 | 34 | ![node_ucloud_usdp_console_entrance](../../images/operate/node/node_ucloud_usdp_console_entrance.png) 35 | 36 | !>为防止USDP被恶意盗取登陆用户及密码，USDP集群默认的URL会在一定时间后过期，可能会对用户的操作带来些许不便，请谅解。
其他稳定且便捷的访问方式，建议参考 [集群访问及测试-指南](/USDP/operate/access/README) 进行配置。 37 | 38 | - 登陆USDP控制台 39 | 40 | ![node_usdp_console_entrance](../../images/operate/node/node_usdp_console_login.png) 41 | 42 | - 点击USDP控制台左侧导航菜单 节点管理 ，即可查看当前集群的所有节点列表信息。 43 | 44 | ![node_usdp_nodemanager](../../images/operate/node/node_usdp_nodemanager.png) 45 | 46 | 在此，可针对该集群的所有节点实现管理操作，如各节点上组件部署情况查询和管理、节点资源监控、节点资源监控图表、节点运行查看等操作，点击下方链接前往查阅。 47 | 48 | - [USDP控制台集群节点管理详情](/USDP/operate/node/usdp_node) 49 | 50 | 关于USDP大数据集群中各个节点管理功能、配置修改等操作，均可参考此处完成。 51 | 52 | -------------------------------------------------------------------------------- /operate/node/cloud_node.md: -------------------------------------------------------------------------------- 1 | # 公有云端USDP集群资源节点管理 2 | 3 | 通过本章节介绍，即可对USDP集群的所有公有云端集群资源实现节点资源管理操作，如添加/删除节点、快捷登陆节点、给节点绑定公网EIP、给节点绑定防火墙、关机/启动节点等。 4 | 5 | - [添加节点资源](/USDP/operate/node/cloud_node?id=添加节点资源) 6 | - [删除节点资源](/USDP/operate/node/cloud_node?id=删除节点资源) 7 | - [绑定EIP、设置防火墙](/USDP/operate/node/cloud_node?id=绑定EIP、设置防火墙) 8 | - [资源节点登录](/USDP/operate/node/cloud_node?id=资源节点登录) 9 | - [节点基本操作](/USDP/operate/node/cloud_node?id=节点基本操作) 10 | 11 | ## 添加节点资源 12 | 13 | 点击 添加节点 按钮后弹窗如下，设置“节点角色”，“机型”、“节点个数”，此处支持批量创建同角色、同机型的多个节点； 14 | 15 | 待您输入新创建节点的初始密码后，点击 确定 按钮，等待节点创建。如下图所示： 16 | 17 | ![](../../images/operate/node/cloud_node/添加节点.png) 18 | 19 | ## 删除节点资源 20 | 21 | 在Core节点、Task节点条目右侧点击 … 按钮，在弹出的菜单中，点击 删除 按钮。 22 | 23 | ?>注意：
删除节点前，需要您先在“USDP管理控制台”中，对相应节点上的服务进行下线操作，待下线完成之后，才能在“节点管理”页面中完成删除节点。
目前暂不支持用户主动对主节点（master）、监控节点（monitor）的删除操作。 24 | 25 | !>不允许对Master、Monitor节点执行删除操作，且Core节点至少保留3台。 26 | 27 | ## 绑定EIP、设置防火墙 28 | 29 | 1）首先需要在基础网络产品页面申请一个EIP，可参考[EIP操作指南](https://docs.ucloud.cn/unet/eip/guide) 30 | ![](../../images/operate/node/cloud_node/申请EIP.png) 31 | 32 | 2）回到到智能大数据平台USDP的节点管理进行绑定EIP操作。 33 | 34 | ![](../../images/operate/node/cloud_node/绑定EIP.png) 35 | 36 | ?>仅允许给Master节点、Monitor节点绑定EIP。 37 | 38 | !>提示：
为避免受到来自互联网的入侵和攻击，事先配置好防火墙策略[防火墙操作指南](https://docs.ucloud.cn/unet/firewall/guide)，再执行给资源节点“绑定EIP”的操作。 39 | 40 | ## 资源节点登录 41 | 42 | **方式一：** 通过控制台登录。 43 | 44 | ![](../../images/operate/node/cloud_node/控制台节点SSH登陆.png) 45 | 46 | !>如果节点机型是物理机，可能由于不同服务器厂商的标准不同，造成暂不能通过控制台登录节点的情况，此时，可尝试其他登陆方式。 47 | 48 | **方式二：** 给集群Master节点绑定外网EIP，您即可从本地通过外网ssh连接登录节点。 49 | 50 | **方式三：** 通过云主机（UHost）内网ssh进行登录。例如您可在您的云主机上通过“ssh root@10.13.186.23 -p22”进行登录。 登录密码为集群创建时设置的密码。 51 | 52 | ?>当需要通过云主机ssh登陆大数据集群节点时，请留意云主机与大数据集群的内网是否可达，如在同一VPC中，或不同VPC设置了VPC互通。 53 | 54 | ## 节点基本操作 55 | 56 | 支持对指定的节点进行 关机 、开机 、重启 、删除 等操作。请点击节点列表右侧具体节点操作栏中相关按钮，及 ... 按钮展开操作菜单。 57 | 58 | !>删除节点之前需要到[USDP控制台“节点管理”页面](/USDP/operate/node/usdp_node)下线该节点上部署的服务，否则会删除失败。 59 | 60 | -------------------------------------------------------------------------------- /operate/node/usdp_node.md: -------------------------------------------------------------------------------- 1 | # USDP控制台集群节点管理 2 | 3 | 通过本章节介绍，即可在USDP控制台中对当前集群的所有节点管理操作，如各节点上组件部署情况查询和管理、节点资源监控（CPU、内存、磁盘等维度）、节点资源监控图表、节点运行查看等。 4 | 5 | - [集群各节点运行的组件查看](/USDP/operate/node/usdp_node?id=集群各节点运行的组件查看) 6 | - [集群单节点管理](/USDP/operate/node/usdp_node?id=集群单节点管理) 7 | - [集群单节点上的组件管理](/USDP/operate/node/usdp_node?id=集群单节点上的组件管理) 8 | 9 | ## 集群各节点运行的组件查看 10 | 11 | 在当前集群的所有节点列表信息页面，已针对单个节点上部署的大数据服务组件进行统计，如下图所示： 12 | 13 | ![usdp_console_node_ component_count](../../images/operate/node/usdp_node/usdp_console_node_component_count.png) 14 | 15 | 点击统计数字，即可在弹出的对话框中查看到该接节点上所有已部署的组件及组件运行状态，方便集中的、滚动查看。如下图所示： 16 | 17 | ![usdp_console_node_ component_show](../../images/operate/node/usdp_node/usdp_console_node_component_show.png) 18 | 19 | ## 集群单节点管理 20 | 21 | 在当前集群的所有节点列表信息页面，点击“节点域名”中单个节点域名快捷方式，进入该节点的详情概览页面。如下图所示： 22 | 23 | ![usdp_console_node_single_entrance](../../images/operate/node/usdp_node/usdp_console_node_single_entrance.png) 24 | 25 | 在节点“概览”页面，已针对当前节点的系统监控指标实现图表展示，如下图所示： 26 | 27 | ![usdp_console_node_single_details](../../images/operate/node/usdp_node/usdp_console_node_single_details.png) 28 | 29 | ?>概览页支持按既定的时间范围查看当前节点的性能表现，支持自定时间范围。
可选的有：
- **1小时内**
- **6小时内**
- **12小时内**
- **1天内**
- **7天内**
- **15天内**
- **30天内**
- **自定义** 30 | 31 | 对当前节点更加丰富的监控指标维度图表信息查看，可参考 监控管理 - [集群基础监控](/USDP/operate/monitor/README?id=集群基础监控) 查看。 32 | 33 | ## 集群单节点上的组件管理 34 | 35 | 点击切换至 组件管理 标签页，USDP已将该节点上所以已部署的组件列表展示出来，为便于查找组件，该页面支持按“组件名称”、“所属服务”进行搜索。在当前页面中，可查看已部署的各个组件的“组件名称”、“所属服务”、“组件状态”，亦可对单个组件进行操作“启动”、“停止”、“重启”、“删除”等控制，如下图所示： 36 | 37 | ![usdp_console_node_component_management](../../images/operate/node/usdp_node/usdp_console_node_component_management.png) 38 | 39 | 40 | 41 | -------------------------------------------------------------------------------- /operate/service/README.md: -------------------------------------------------------------------------------- 1 | # 服务管理 2 | 3 | 在智能大数据平台USDP中，为便于用户对集群及相关服务的管理，USDP提供较为友好的服务管理功能，譬如集群资源管理与服务管理的分离管理、大数据服务的基本监控信息查看、服务配置文件修改、服务的组件启停及管理、服务的Web UIs便捷访问等功能，辅助用户更好的管理和使用USDP。 4 | 5 | 6 | 7 | **通过本篇指南，您可以了解到：** 8 | 9 | - [在公有云端USDP集群查看“服务管理”](/USDP/operate/service/README?id=在公有云端USDP集群查看"服务管理") 10 | - [在USDP控制台查看集群“服务管理”](/USDP/operate/service/README?id=在USDP控制台查看集群"服务管理") 11 | 12 | 13 | 14 | ## 在公有云端USDP集群查看“服务管理” 15 | 16 | - 登陆[UCloud云控制台](https://console.ucloud.cn/)。 17 | - 进入首页后，点击左上角“全部产品”，在“数据分析”类目中点击“智能大数据平台USDP”，进入USDP集群管理页面。 18 | 19 | ![node_ucloud_usdp_entrance](../../images/operate/node/node_ucloud_usdp_entrance.png) 20 | 21 | - 在已创建的USDP集群条目右侧，点击 集群管理 按钮，进入USDP集群管理页面，再点击 服务管理 标签页面，即可查看集群已部署的服务列表信息预览。 22 | 23 | ![公有云控制台_服务管理](../../images/operate/service/公有云控制台_服务管理.png) 24 | 25 | 服务管理 标签页中，仅支持该USDP创建的大数据集群已安装使用的大数据生态服务组件的“服务名称”、“版本”、服务运行“状态”等基本信息查看。 26 | 27 | 28 | 29 | ## 在USDP控制台查看集群“服务管理” 30 | 31 | 关于USDP智能大数据集群中各个服务管理功能、配置修改等操作，均可参考本节指南完成管理工作。 32 | 33 | - 在已创建的USDP集群条目右侧，点击 访问USDP 按钮，进入USDP自有管理控制台。 34 | 35 | ![node_ucloud_usdp_console_entrance](../../images/operate/node/node_ucloud_usdp_console_entrance.png) 36 | 37 | !>为防止USDP被恶意盗取登陆用户及密码，USDP集群默认的URL会在一定时间后过期，可能会对用户的操作带来些许不便，请谅解。
其他稳定且便捷的访问方式，建议参考 [集群访问及测试-指南](/USDP/operate/access/README) 进行配置。 38 | 39 | - 登陆USDP控制台 40 | 41 | ![node_usdp_console_entrance](../../images/operate/node/node_usdp_console_login.png) 42 | 43 | 在USDP控制台左侧导航栏 “服务管理”，USDP已将该集群所部署使用的所有大数据服务组件按以下7类统一归类，可点击前往查看各类中相关组件服务的管理操作方法： 44 | 45 | - [计算类服务管理](/USDP/operate/service/compute_kind) 46 | - [存储类服务管理](/USDP/operate/service/storage_kind) 47 | - [监控类服务管理](/USDP/operate/service/monitor_kind) 48 | - [可视化类服务管理](/USDP/operate/service/visual_kind) 49 | 50 | 对上述各类服务的配置文件管理，USDP有统一的方法说明，请参考如下方法： 51 | 52 | - [服务配置文件管理](/USDP/operate/service/service_configer_update) -------------------------------------------------------------------------------- /operate/service/compute_kind.md: -------------------------------------------------------------------------------- 1 | 2 | 3 | # 计算类服务管理 4 | 5 | 在USDP-1.0.0.0版本中，集群的计算类服务组件主要有Flink、Flume、Hive、Impala、Kylin、Livy、Phoenix、Presto、Spark、Sqoop、Tez、Yarn在内的11个服务组件，下面将以Yarn为代表，介绍计算类组件的管理操作方式。 6 | 7 | 8 | 9 | **通过本篇指南，您可以了解到：** 10 | 11 | - [YARN服务管理](/USDP/operate/service/compute_kind?id=YARN服务管理) 12 | - [其他计算类服务管理](/USDP/operate/service/compute_kind?id=其他计算类服务管理) 13 | 14 | ## YARN服务管理 15 | 16 | 点击选择左边菜单导航栏-“服务管理”-“计算类”，在展开的子类中点击“YARN”，即可在右侧窗口打开Yarn的管理页面，如下图所示： 17 | 18 | ![service_yarn](../../images/operate/service/compute_kind/service_yarn.png) 19 | 20 | ### YARN 服务详情概览 21 | 22 | Yarn服务管理首页展示了Yarn服务的监控指标（ResourceManager活跃状态、JobHistoryServer存活状态、JobHistoryServer健康状态、虚拟核心数VCores、总节点数、集群节点存活数量、重启过的节点数量、非健康节点数量、已退役节点数量、丢失节点数量，以及各个节点的监控状态等）如下图所示： 23 | 24 | ![service_yarn_details](../../images/operate/service/compute_kind/service_yarn_details.png) 25 | 26 | ### YARN 服务相关组件管理 27 | 28 | 参考 [Zookeeper 服务相关组件管理](/USDP/operate/service/storage_kind?id=Zookeeper服务相关组件管理) 方式 29 | 30 | ### YARN 服务Web UIs便捷访问 31 | 32 | 鼠标悬停/点击Yarn服务管理页面中“Web UIs”选项卡时，自动下拉展开Yarn相关的页面选项链接，如下图所示： 33 | 34 | ![service_yarn_uis](../../images/operate/service/compute_kind/service_yarn_uis.png) 35 | 36 | 点击“[udp08] ResourceManager1 Web UI”，会自动在浏览器中打开新的标签页，并显示udp08节点上的ResourceManager管理页面，如下图所示： 37 | 38 | ![service_yarn_ui_rm](../../images/operate/service/compute_kind/service_yarn_ui_rm.png) 39 | 40 | 点击“[udp08] HistoryServer Web UI”，会自动在浏览器中打开新的标签页，并显示udp08节点上的HistoryServer管理页面，如下图所示： 41 | 42 | ![service_yarn_ui_hs](../../images/operate/service/compute_kind/service_yarn_ui_hs.png) 43 | 44 | 点击“[udp08] TimelineServer Web UI”，会自动在浏览器中打开新的标签页，并显示udp08节点上的TimelineServer管理页面，如下图所示： 45 | 46 | ![service_yarn_ui_ts](../../images/operate/service/compute_kind/service_yarn_ui_ts.png) 47 | 48 | ### YARN服务配置文件修改 49 | 50 | 参考 [服务配置文件管理](/USDP/operate/service/service_configer_update?id=在USDP控制台中更改服务配置文件) 方式。 51 | 52 | ## 其他计算类服务管理 53 | 54 | 其他计算类服务还包括Flink、Flume、Hive、Impala、Kylin、Livy、Phoenix、Presto、Spark、Sqoop、Tez等，对这些计算服务的管理方式，均与本篇指南中 Yarn服务管理 的管理方式类似，此处不再过多赘述。 55 | 56 | -------------------------------------------------------------------------------- /operate/service/monitor_kind.md: -------------------------------------------------------------------------------- 1 | # 监控类服务管理 2 | 3 | 在USDP1.0.0.0版本中，集群监控类服务组件主要有AlterManager、Grafana、InfluxDB、NodeExporter、Prometheus在内的5个服务组件，下面，将以Prometheus及Grafana为代表展示监控类组件的管理操作，其他组件的管理方式均类似。 4 | 5 | 6 | 7 | **通过本篇指南，您可以了解到：** 8 | 9 | - [Prometheus服务管理](/USDP/operate/service/monitor_kind?id=Prometheus服务管理) 10 | - [Grafana服务管理](/USDP/operate/service/monitor_kind?id=Grafana服务管理) 11 | - [其他监控类服务管理](/USDP/operate/service/monitor_kind?id=其他监控类服务管理) 12 | 13 | ## Prometheus服务管理 14 | 15 | 点击选择左边菜单导航栏-“服务管理”-“监控类”，在展开的子类中点击“Prometheus”，即可在右侧窗口打开Prometheus的管理页面，如下图： 16 | 17 | ![storage_prometheus](../../images/operate/service/monitor_kind/service_prometheus.png) 18 | 19 | ### Prometheus 服务详情概览 20 | 21 | Prometheus服务管理首页展示了Prometheus服务的监控指标（WAL Corruptions、Samples Appended、Scrape Duration、Memory Profile、Active Appenders、Blocks Loaded、Head Chunks、Compaction Activity、Reload Count、Query Durations、Rule Group Eval Duration、Rule Group Eval Activity）如下图所示： 22 | 23 | ![storage_prometheus_details](../../images/operate/service/monitor_kind/service_prometheus_details.png) 24 | 25 | ![storage_prometheus_details1](../../images/operate/service/monitor_kind/service_prometheus_details1.png) 26 | 27 | ### Prometheus 服务相关组件管理 28 | 29 | 参考 [Zookeeper 服务相关组件管理](/USDP/operate/service/storage_kind?id=Zookeeper服务相关组件管理) 方式 30 | 31 | ### Prometheus 服务Web UIs便捷访问 32 | 33 | 鼠标悬停/点击Prometheus服务管理页面中“Web UIs”选项卡时，自动下拉展开Prometheus相关的页面选项链接，如下图所示： 34 | 35 | ![storage_prometheus_ui](../../images/operate/service/monitor_kind/service_prometheus_ui.png) 36 | 37 | 点击“[udp08] Prometheus Graph Web UI”，会自动在浏览器中打开新的标签页，并显示udp08节点上的Prometheus Graph管理页面，如下图所示： 38 | 39 | ![storage_prometheus_ui_details](../../images/operate/service/monitor_kind/service_prometheus_ui_details.png) 40 | 41 | 点击“[udp08] Prometheus Targets Web UI”，会自动在浏览器中打开新的标签页，并显示udp08节点上的Prometheus Targets管理页面，如下图所示： 42 | 43 | ![storage_prometheus_ui_details1](../../images/operate/service/monitor_kind/service_prometheus_ui_details1.png) 44 | 45 | ### Prometheus 服务配置文件修改 46 | 47 | 参考 [服务配置文件管理](/USDP/operate/service/service_configer_update?id=在USDP控制台中更改服务配置文件) 方式。 48 | 49 | ## Grafana服务管理 50 | 51 | 点击选择左边菜单导航栏-“服务管理”-“监控类”，在展开的子类中点击“Grafana”，即可在右侧窗口打开Grafana的管理页面，如下图： 52 | 53 | ![storage_grafana](../../images/operate/service/monitor_kind/service_grafana.png) 54 | 55 | ### Grafana 服务详情概览 56 | 57 | Grafana服务管理首页展示了Grafana“服务是否存活”的状态监控。如下图所示： 58 | 59 | ![storage_grafana_details](../../images/operate/service/monitor_kind/service_grafana_details.png) 60 | 61 | ### Grafana 服务相关组件管理 62 | 63 | 参考 [Zookeeper 服务相关组件管理](/USDP/operate/service/storage_kind?id=Zookeeper服务相关组件管理) 方式 64 | 65 | ### Grafana 服务Web UIs便捷访问 66 | 67 | 鼠标悬停/点击Grafana服务管理页面中“Web UIs”选项卡时，自动下拉展开Grafana相关的页面选项链接，如下图所示： 68 | 69 | ![storage_grafana_ui](../../images/operate/service/monitor_kind/service_grafana_ui.png) 70 | 71 | 点击“[udp08] Grafana Web UI”，会自动在浏览器中打开新的标签页，并显示udp08节点上的Grafana管理页面，如下图所示： 72 | 73 | ![storage_grafana_ui_details](../../images/operate/service/monitor_kind/service_grafana_ui_details.png) 74 | 75 | !>默认登陆口令如下，请登陆后及时修改密码！
- 用户名：hadoop - 密码：hadoop 76 | 77 | ### Grafana 服务配置文件修改 78 | 79 | 参考 [服务配置文件管理](/USDP/operate/service/service_configer_update?id=在USDP控制台中更改服务配置文件) 方式。 80 | 81 | ## 其他监控类服务管理 82 | 83 | 其他监控类服务还包括AlterManager、InfluxDB、NodeExporter等，对这些监控服务的管理方式，均与本篇指南中 Prometheus、Grafana服务管理 的管理方式类似，此处不再过多赘述。 -------------------------------------------------------------------------------- /operate/service/safe_kind.md: -------------------------------------------------------------------------------- 1 | # 安全类服务管理 2 | 3 | 待补充 4 | 5 | -------------------------------------------------------------------------------- /operate/service/scheduler_kind.md: -------------------------------------------------------------------------------- 1 | # 调度类服务管理 2 | 3 | 待补充 -------------------------------------------------------------------------------- /operate/service/service_configer_update.md: -------------------------------------------------------------------------------- 1 | # 服务配置文件管理 2 | 3 | 在USDP中，无论USDP提供的那种集群组件服务，对于这些服务的配置文件修改，均可采用以下两种方式： 4 | 5 | - 在USDP控制台中更改服务配置文件，这是我们强烈推荐方式 6 | - 逐一登陆服务分布式节点并更改其配置文件 7 | 8 | 9 | 10 | **通过本篇指南，您可以了解到：** 11 | 12 | - [在USDP控制台中更改服务配置文件](/USDP/operate/service/service_configer_update?id=在USDP控制台中更改服务配置文件) 13 | - [配置文件默认分组](/USDP/operate/service/service_configer_update?id=配置文件默认分组) 14 | - [配置文件分组手动调整](/USDP/operate/service/service_configer_update?id=配置文件分组手动调整) 15 | - [服务组件重启提示](/USDP/operate/service/service_configer_update?id=服务组件重启提示) 16 | - [逐一登陆服务分布式节点并更改其配置文件](/USDP/operate/service/service_configer_update?id=逐一登陆服务分布式节点并更改其配置文件) 17 | 18 | 19 | 20 | 下文以Zookeeper的配置文件修改为示例，介绍上述两种修改方式。 21 | 22 | ## 在USDP控制台中更改服务配置文件 23 | 24 | 为简化维护人员操作复杂度，USDP支持对同一服务的多个节点配置文件同时进行配置文件修改，亦可对该组件服务的单个节点配置文件进行修改，方法如下： 25 | 26 | - 点击Zookeeper服务的 概览 标签页- 修改配置 按钮，选择需要修改配置文件的节点。如下图所示： 27 | 28 | ![storage_zk_update](../../images/operate/service/service_configer_update/service_configer_zk_update.png) 29 | 30 | - 在选择节点对话框中勾选好节点后，点击 修改配置 按钮进入配置修改页面，如下图所示： 31 | 32 | ![storage_zk_update1](../../images/operate/service/service_configer_update/service_configer_zk_update1.png) 33 | 34 | USDP会将Zookeeper的所有配置文件内容加载到该页面的编辑框内，您可以翻阅查找需要修改的配置项后进行修改及参数调优。更改好配置文件后，即可点击“确定”按钮保存即可完成修改。 35 | 36 | ?>注意：以上图示例，一般情况下，Zookeeper对配置文件“Log4j.properties”内容要求在各个节点是一致的，因此，当您选择对Master1、Master2个节点的Log4j.properties文件进行配置修改并确定修改后，此次修改仅对Master1、Master2两个节点同时生效（因为Master1、Master2属于同一个“[分组](/USDP/operate/service/service_configer_update?id=配置文件默认分组)”），但Master3节点未勾选，则需要单独再给Master3节点的Log4j.properties配置文件另行修改操作。 37 | 38 | ### 配置文件默认分组 39 | 40 | USDP支持对同一服务的同一配置文件进行比对和自动分组，避免混乱，遵循以下分组原则： 41 | 42 | - 原则1：该服务的多个节点上的同一配置文件内容一致，则默认分配到同一组； 43 | 44 | - 原则2：该服务的多个节点上的同一配置文件内容部分不一致的，则按相同的分配一个组，不同的另行分组； 45 | 46 | - 原则3：该服务的多个节点上的同一配置文件内容全部不一致的，则每个配置文件单独分配一个组； 47 | 48 | 分组的意义，是对您在配置文件修改操作时能更好的结合您的调整计划，便于区分某些配置项作用域为局部，而非全局，哪些是全局，而非局部；而且，USDP的分组，是无状态的，即仅对本次配置文件修改时生效，USDP并不记录分组的状态；保存配置文件的修改时，USDP将根据配置文件所在分组，仅在同属该分组的节点上生效更改。 49 | 50 | 不好理解的话，还是以举例来辅助理解吧~ 51 | 52 | ?>原则1举例：如本篇上文所述，同时对Zookeeper的Master1、Master2节点上的“Log4j.properties”配置文件做修改时，因修改前，这两个配置文件内容一致，因此在进入编辑配置文件页面时，这两个节点自动分配到同一个组(分组1)中（如上图）；对该配置文件的任何修改，保存配置时会自动对该分组中的每个节点按更改后的内容保存。
原则2举例：当完成原则1举例的场景后，此时，Zookeeper的三个节点的“Log4j.properties”文件出现部分不一致情况，即Master1、Master2的“Log4j.properties”文件内容一致，而Master3的与另外两个的“Log4j.properties”文件内容不一致；在这种情况下，再次同时在USDP控制台中对Master1、Master2、Master3的“Log4j.properties”更改时，此时您会发现，出现了两个分组，即Master1、Master2分配一组，Master3独自属于另一组。
原则3举例：譬如Zookeeper的“myid”配置文件，Zookeeper要求各个节点上该配置文件的值均不同，因此，当您修改“myid”配置文件时，您会发现，每个节点均各自归属独立的一个分组。如下图所示： 53 | 54 | ![storage_zk_update1_group2](../../images/operate/service/service_configer_update/service_configer_zk_update1_group2.png) 55 | 56 | ![storage_zk_update1_group3](../../images/operate/service/service_configer_update/service_configer_zk_update1_group3.png) 57 | 58 | ### 配置文件分组手动调整 59 | 60 | 当集群节点较少是，对分布式服务的某一配置文件的修改，相对并不复杂；但当集群规模随业务的增长扩容，节点数增至几十、几百时，对部分服务的配置文件统一更改将带来很大不便利，虽然有很多方法，但均容易出错，即使写个脚本批量操作，也将在各种大小BUG中煎熬，而且灵活性不佳。因此，配置文件的默认分组及手动调整分组，成为了一个很灵活很高效好用的实用工具。 61 | 62 | 调整分组的方法如下： 63 | 64 | - 将当前分组下的一个/多个节点，通过“创建新的分组”、“移至其他分组”的方式，调整原有的分组逻辑，如下图所示： 65 | 66 | ![storage_zk_update1_group](../../images/operate/service/service_configer_update/service_configer_zk_update1_group.png) 67 | 68 | 图解：将“Log4j.properties”的四个节点的其中两个单独的创建一个新分组。 69 | 70 | - 此时，分组变为两个，且分组2中包含的节点即为上一步操作选择的两个节点，如下图所示： 71 | 72 | ![storage_zk_update1_group1](../../images/operate/service/service_configer_update/service_configer_zk_update1_group0.png) 73 | 74 | ![storage_zk_update1_group1](../../images/operate/service/service_configer_update/service_configer_zk_update1_group1.png) 75 | 76 | ### 服务组件重启提示 77 | 78 | 如下图所示，这里对YARN服务的“yarn-env.sh”进行修改（在文件末尾加了一行备注文字），确认 保存更改后。 79 | 80 | ![storage_zk_update1_group1](../../images/operate/service/service_configer_update/service_configer_yarn_update.png) 81 | 82 | 此时，左侧导航菜单处“YARN”服务后侧出现橙色叹号警示，提醒您执行服务重启生效。且YARN服务“组件管理”中亦有详细提示，如下图所示： 83 | 84 | ![storage_zk_update1_group1](../../images/operate/service/service_configer_update/service_configer_yarn_reboot.png) 85 | 86 | ?>可根据您当前业务的重要性情况，在分析业务低峰期勾选提示项组件，执行滚动重启/批量重启。
部分服务配置文件修改，与其关联性比较强的其他服务可能需要进行重启生效，其他的并非必须重启。 87 | 88 | ## 逐一登陆服务分布式节点并更改其配置文件 89 | 90 | SSH登陆至服务所在节点，参考《各组件服务部署规则说明》- [组件服务配置文件目录](/USDP/developer/rule?id=2.组件服务配置文件目录) 的描述，前往修改相应的配置文件。 91 | 92 | 譬如Zookeeper的“Log4j.properties”配置文件所在位置参考如下： 93 | 94 | ~~~shell 95 | [root@usdp-********-master2 conf]# pwd 96 | /etc/udp/1.0.0.0/zookeeper/conf 97 | [root@usdp-********-master2 conf]# ls 98 | configuration.xsl log4j.properties zoo.cfg zoo_sample.cfg 99 | [root@usdp-********-master2 conf]# 100 | ~~~ -------------------------------------------------------------------------------- /operate/service/storage_kind.md: -------------------------------------------------------------------------------- 1 | # 存储类服务管理 2 | 3 | 在USDP1.0.0.0版本中，集群存储类服务组件主要有Elasticsearch、HBase、HDFS、Kafka、KUDU、Zookeeper在内的6个服务组件，下面将以Zookeeper及HDFS为代表展示存储类组件的管理操作方式。 4 | 5 | 6 | 7 | **通过本篇指南，您可以了解到：** 8 | 9 | - [Zookeeper服务管理](/USDP/operate/service/storage_kind?id=Zookeeper服务管理) 10 | - [HDFS服务管理](/USDP/operate/service/storage_kind?id=HDFS服务管理) 11 | - [其他存储类服务管理](/USDP/operate/service/storage_kind?id=其他存储类服务管理) 12 | 13 | ## Zookeeper服务管理 14 | 15 | 点击选择左边菜单导航栏-“服务管理”-“存储类”，在展开的子类中点击“ZOOKEEPER”，即可在右侧窗口打开Zookeeper的管理页面，如下图： 16 | 17 | ![storage_zk](../../images/operate/service/storage_kind/storage_zk.png) 18 | 19 | ### Zookeeper 服务详情概览 20 | 21 | USDP会对支持的单个组件服务实现监控，并在USDP控制台进行相关监控指标的可视化展示。 22 | 23 | Zookeeper服务管理首页展示了Zookeeper服务的监控指标（Leader数量、Followers数量、未同步的Followers数量、等待同步的数量、临时节点数、数据大小、Znode数量，以及该服务不同角色对应的一些更细致的指标情况）如下图所示： 24 | 25 | ![storage_zk_details](../../images/operate/service/storage_kind/storage_zk_details.png) 26 | 27 | 控制台监控指标可视化支持按时间进行查看，USDP预置了一些时间周期（默认为“1小时内”，还有“6小时内”、“12小时内”、“1天内”、“7天内”、“15天内”、“30天内”），也支持时间周期“自定义”，如下图所示： 28 | 29 | ![storage_zk_details_time](../../images/operate/service/storage_kind/storage_zk_details_time.png) 30 | 31 | ### Zookeeper服务相关组件管理 32 | 33 | 在Zookeeper组件管理页面种，点击“组件管理”选项卡，打开Zookeeper相关组件管理列表，如下图所示： 34 | 35 | ![storage_zk_subpart](../../images/operate/service/storage_kind/storage_zk_subpart.png) 36 | 37 | 在该管理页面中，支持对Zookeeper分布的多台节点上的QuarumPeermain组件进行单一/批量节点操作（服务的启动、停止、重启、删除等），如下图所示： 38 | 39 | ![storage_zk_subpart_operate](../../images/operate/service/storage_kind/storage_zk_subpart_operate.png) 40 | 41 | 例如，对所有节点上的QuarumPeermain组件进行“停止”运行状态操作时，管理平台将自动检测所选组件当前的工作状态，如下图所示： 42 | 43 | ![storage_zk_subpart_operate_stop](../../images/operate/service/storage_kind/storage_zk_subpart_operate_stop.png) 44 | 45 | 例如，对所有节点上的QuarumPeermain组件进行“删除”操作时，管理平台将给您做出警示提醒，请您仔细阅读提示信息，确保此次操作不是误操作。如下图所示： 46 | 47 | ![storage_zk_subpart_operate_delete](../../images/operate/service/storage_kind/storage_zk_subpart_operate_delete.png) 48 | 49 | 点击“确认”删除按钮，管理平台将自动检测所选组件当前的工作状态，QuarumPeermain组件正在运行（“已启动”状态）时，是不允许直接删除的。如下图所示： 50 | 51 | ![storage_zk_subpart_operate_delete_true](../../images/operate/service/storage_kind/storage_zk_subpart_operate_delete_true.png) 52 | 53 | 若确认需要删除所选QuarumPeermain组件，请先“停止”运行，并再次执行“删除”操作。 54 | 55 | #### Zookeeper 服务组件扩展 56 | 57 | USDP管理控制台支持对当前Zookeeper服务扩展更多节点。如下图所示： 58 | 59 | ![storage_zk_subpart_add](../../images/operate/service/storage_kind/storage_zk_subpart_add.png) 60 | 61 | 点击“新增组件”按钮，进入“新增组件或服务”向导，如下图所示： 62 | 63 | ![storage_zk_subpart_add_guide1](../../images/operate/service/storage_kind/storage_zk_subpart_add_guide1.png) 64 | 65 | 选择QuarumPeermain组件需要扩展的节点主机，如下对话框截图所示： 66 | 67 | ![storage_zk_subpart_add_guide2](../../images/operate/service/storage_kind/storage_zk_subpart_add_guide2.png) 68 | 69 | 管理平台检测出，已加入该平台的所有节点主机中，udp02节点上暂未运行QuarumPeermain组件，“勾选”udp02左侧的复选框，点击“确定”按钮，进入“部署信息总览”向导页，如下图所示： 70 | 71 | ![storage_zk_subpart_add_guide3](../../images/operate/service/storage_kind/storage_zk_subpart_add_guide3.png) 72 | 73 | 经浏览确认无误，点击“开始部署”按钮，管理平台将为udp02节点安全QuarumPeermain组件，安装无误，将显示安装成功状态，平台会自动启动该组件，如下图所示： 74 | 75 | ![storage_zk_subpart_add_guide4](../../images/operate/service/storage_kind/storage_zk_subpart_add_guide4.png) 76 | 77 | 安装进度完成后，点击“完成”按钮。如下图所示： 78 | 79 | ![storage_zk_subpart_add_guide5](../../images/operate/service/storage_kind/storage_zk_subpart_add_guide5.png) 80 | 81 | 此时，可根据向导中表单要求，选择需要扩展的新集群节点及服务预览等，点击“开始部署”即可完成服务扩展操作。 82 | 83 | ### Zookeeper服务配置文件修改 84 | 85 | 参考 [服务配置文件管理](/USDP/operate/service/service_configer_update?id=在USDP控制台中更改服务配置文件) 方式。 86 | 87 | ## HDFS服务管理 88 | 89 | 点击选择左边菜单导航栏-“服务管理”-“存储类”，在展开的子类中点击“HDFS”，即可在右侧窗口打开Hdfs的管理页面，如下图： 90 | 91 | ![storage_hdfs](../../images/operate/service/storage_kind/storage_hdfs.png) 92 | 93 | ### HDFS 服务详情概览 94 | 95 | HDFS服务管理首页展示了HDFS服务的监控指标（NameNode是否存活、NameNode Active正常、JournalNode是否存活、ZKFC是否存活、Datanode死亡数、Datanode存活数、Datanode心跳超时数、HDFS空间使用率、HDFS块丢失数、Block副本损坏个数、坏盘数量、Block个数、HDFS文件及目录个数、HDFS已用容量、HDFS副本不足的Block数、未分配给HDFS的磁盘大小、可用堆内存、初始堆内存等）如下图所示： 96 | 97 | ![storage_hdfs_details](../../images/operate/service/storage_kind/storage_hdfs_details.png) 98 | 99 | 对HDFS GC相关监控（GC5分钟内的频率、GC耗时、GC MarkSweep标记耗时、GC MarkSweep 5分钟标记频率）如下图所示： 100 | 101 | ![storage_hdfs_details1](../../images/operate/service/storage_kind/storage_hdfs_details1.png) 102 | 103 | 对HDFS “堆内存使用大小”的监控，如下图所示： 104 | 105 | ![storage_hdfs_details2](../../images/operate/service/storage_kind/storage_hdfs_details2.png) 106 | 107 | ### HDFS 服务相关组件管理 108 | 109 | 参考 [Zookeeper 服务相关组件管理](/USDP/operate/service/storage_kind?id=Zookeeper服务相关组件管理) 方式 110 | 111 | ### HDFS 服务Web UIs便捷访问 112 | 113 | USDP管理系统，根据HDFS 自身支持相关Web UI的特性，在集群管理页面提供快速打开其相关的UI的能力。 114 | 115 | 鼠标悬停/点击HDFS 服务管理页面中“Web UIs”选项卡时，自动下拉展开HDFS 相关的页面选项链接，如下图所示： 116 | 117 | ![storage_hdfs_ui](../../images/operate/service/storage_kind/storage_hdfs_ui.png) 118 | 119 | 点击“[udp08] NameNode1 Web UI”/“[udp09] NameNode2 Web UI”，会自动在浏览器中打开新的标签页，并显示udp08/udp09节点上的HDFS管理页面，如下图所示： 120 | 121 | ![storage_hdfs_ui_details](../../images/operate/service/storage_kind/storage_hdfs_ui_details.png) 122 | 123 | ### HDFS 服务配置文件修改 124 | 125 | 参考 [服务配置文件管理](/USDP/operate/service/service_configer_update?id=在USDP控制台中更改服务配置文件) 方式。 126 | 127 | ## 其他存储类服务管理 128 | 129 | 其他存储服务还有HBase、Kafka、Elasticsearch、KUDU等，对这些存储服务的管理方式，均与本篇指南中 Zookeeper、HDFS 服务管理 的管理方式类似，此处不再过多赘述。 130 | 131 | -------------------------------------------------------------------------------- /operate/service/visual_kind.md: -------------------------------------------------------------------------------- 1 | # 可视化类服务管理 2 | 3 | 在USDP1.0.0.0版本中，集群可视化类服务组件主要有Hue、Kafkaeagle、Kibana、Zeppelin、ZKUI在内的5个服务组件，下面将以ZKUI为代表展示可视化类组件的管理操作，其他组件的管理方式均类似。 4 | 5 | 6 | 7 | **通过本篇指南，您可以了解到：** 8 | 9 | - [ZKUI服务管理](/USDP/operate/service/visual_kind?id=ZKUI服务管理) 10 | - [其他可视化类服务管理](/USDP/operate/service/visual_kind?id=其他可视化类服务管理) 11 | 12 | ## ZKUI服务管理 13 | 14 | 点击选择左边菜单导航栏-“服务管理”-“可视化类”，在展开的子类中点击“ZKUI”，即可在右侧窗口打开ZKUI的管理页面，如下图： 15 | 16 | ![storage_zkui](../../images/operate/service/visual_kind/service_zkui.png) 17 | 18 | ### ZKUI 服务详情概览 19 | 20 | ZKUI服务管理首页展示了ZKUI“服务是否存活”的监控指标，如下图所示： 21 | 22 | ![storage_zkui_details](../../images/operate/service/visual_kind/service_zkui_details.png) 23 | 24 | ### ZKUI 服务相关组件管理 25 | 26 | 参考 [Zookeeper 服务相关组件管理](/USDP/operate/service/storage_kind?id=Zookeeper服务相关组件管理) 方式 27 | 28 | ### ZKUI 服务Web UIs便捷访问 29 | 30 | 鼠标悬停/点击ZKUI服务管理页面中“Web UIs”选项卡时，自动下拉展开ZKUI相关的页面选项链接，如下图所示： 31 | 32 | ![storage_zkui_ui](../../images/operate/service/visual_kind/service_zkui_ui.png) 33 | 34 | 点击“[udp08] ZKUI Web UI”，会自动在浏览器中打开新的标签页，并显示udp08节点上的ZKUI登陆管理页面，如下图所示： 35 | 36 | ![storage_zkui_ui_details](../../images/operate/service/visual_kind/service_zkui_ui_details.png) 37 | 38 | ### ZKUI 服务配置文件修改 39 | 40 | 参考 [服务配置文件管理](/USDP/operate/service/service_configer_update?id=在USDP控制台中更改服务配置文件) 方式。 41 | 42 | ## 其他可视化类服务管理 43 | 44 | 其他可视化服务还包括Hue、Kafkaeagle、Kibana、Zeppelin等，对这些可视化服务的管理方式，均与本篇指南中 ZKUI服务管理 的管理方式类似，此处不再过多赘述。 -------------------------------------------------------------------------------- /price.md: -------------------------------------------------------------------------------- 1 | # 产品价格 2 | 3 | 智能大数据平台 USDP 集群总价格，根据节点类型、数量及配置而不同 ；国内可用区价格、海外可用区价格、华北一E可用区价格、价格如下，价格疑问可及时咨询客户经理。 4 | 5 | 6 | 7 | USDP支持的节点机型有： 8 | 9 | - [普通机型](/USDP/price?id=普通机型) 10 | - [SSD机型](/USDP/price?id=SSD机型) 11 | - [快杰机型](/USDP/price?id=快杰机型) 12 | - [物理机型](/USDP/price?id=物理机型) 13 | 14 | 15 | 16 | ## 普通机型 17 | 18 | | 机型 | 资源类型 | 配置 | 系统盘 | 数据盘及类型 | 国内(元/月) | 海外(元/月) | 华北一E(元/月) | 19 | | ---------- | -------- | --------- | ------ | ------------ | ----------- | ----------- | -------------- | 20 | | D2-large | 虚拟机 | 2C 6GB | 60GB | 8T SATA | 568 | 679 | 与国内价格一致 | 21 | | D2-xlarge | 虚拟机 | 4C 12GB | 60GB | 8T*2 SATA | 1135 | 1358 | 与国内价格一致 | 22 | | D2-2xlarge | 虚拟机 | 8C 24GB | 60GB | 8T*4 SATA | 2235 | 2716 | 与国内价格一致 | 23 | | D2-4xlarge | 虚拟机 | 16C 48GB | 60GB | 8T*8 SATA | 4541 | 5732 | 与国内价格一致 | 24 | | C1-large | 虚拟机 | 4C 16GB | 60GB | 200GB SATA | 800 | 908 | 570 | 25 | | C1-xlarge | 虚拟机 | 8C 32GB | 60GB | 300GB SATA | 1600 | 1768 | 1140 | 26 | | C1-2xlarge | 虚拟机 | 16C 64GB | 60GB | 500GB SATA | 3200 | 3488 | 2200 | 27 | | C1-4xlarge | 虚拟机 | 32C 128GB | 60GB | 1000GB SATA | 6400 | 6976 | 4460 | 28 | 29 | 30 | 31 | ## SSD机型 32 | 33 | | 机型 | 资源类型 | 配置 | 系统盘 | 数据盘及类型 | 国内(元/月) | 海外(元/月) | 华北一E(元/月) | 34 | | ---------- | -------- | --------- | ------ | ------------ | ----------- | ----------- | -------------- | 35 | | H1-large | 虚拟机 | 4C 16GB | 60GB | 200GB SSD | 850 | 1112 | 680 | 36 | | H1-xlarge | 虚拟机 | 8C 32GB | 60GB | 300GB SSD | 1580 | 2074 | 1300 | 37 | | H1-2xlarge | 虚拟机 | 16C 64GB | 60GB | 500GB SSD | 3050 | 3698 | 2490 | 38 | | H1-4xlarge | 虚拟机 | 32C 128GB | 60GB | 1000GB SSD | 6064 | 7996 | 5000 | 39 | 40 | 41 | 42 | ## 快杰机型 43 | 44 | 快杰机型，支持用户自定义数据盘容量。 45 | 46 | - **计算资源** 47 | 48 | | 机型 | 资源类型 | 配置 | 系统盘 | 数据盘 | 国内(元/月) | 海外(元/月) | 49 | | ----------- | -------- | --------- | ------ | ------------------ | ----------- | ----------- | 50 | | N1-large | 快杰机型 | 2C 8GB | 80GB | 参考下方N-RSSD价格 | 265 | 286 | 51 | | N1-xlarge | 快杰机型 | 4C 16GB | 80GB | 参考下方N-RSSD价格 | 530 | 572 | 52 | | N1-2xlarge | 快杰机型 | 8C 32GB | 80GB | 参考下方N-RSSD价格 | 1060 | 1144 | 53 | | N1-4xlarge | 快杰机型 | 16C 64GB | 80GB | 参考下方N-RSSD价格 | 2120 | 2288 | 54 | | N1-8xlarge | 快杰机型 | 32C 126GB | 80GB | 参考下方N-RSSD价格 | 4224 | 4464 | 55 | | N1-16xlarge | 快杰机型 | 56C 256GB | 80GB | 参考下方N-RSSD价格 | 7832 | 8816 | 56 | | N2-large | 快杰机型 | 2C 16GB | 80GB | 参考下方N-RSSD价格 | 401 | 438 | 57 | | N2-xlarge | 快杰机型 | 4C 32GB | 80GB | 参考下方N-RSSD价格 | 802 | 876 | 58 | | N2-2xlarge | 快杰机型 | 8C 64GB | 80GB | 参考下方N-RSSD价格 | 1604 | 1752 | 59 | | N2-4xlarge | 快杰机型 | 16C 128GB | 80GB | 参考下方N-RSSD价格 | 3208 | 3504 | 60 | | N2-8xlarge | 快杰机型 | 32C 256GB | 80GB | 参考下方N-RSSD价格 | 6200 | 6896 | 61 | 62 | - **数据盘** 63 | 64 | | 磁盘类型 | 资源类型 | 国内价格 | 海外价格 | 65 | | -------- | -------- | ---------- | -------- | 66 | | N-RSSD | RSSD云盘 | 0.6元/G/月 | 1元/G/月 | 67 | 68 | 69 | 70 | ## 物理机型 71 | 72 | | 机型 | 资源类型 | 配置 | 系统盘 | 数据盘及类型 | 国内(元/月) | 华北一E(元/月) | 73 | | ------------ | -------- | -------- | ------ | ------------ | ----------- | -------------- | 74 | | Uhadoop-4 | 物理机 | 32C 96GB | 1000GB | 8T*12 SATA | 6600 | 6072 | 75 | | Uhadoop-4-V2 | 物理机 | 32C 96GB | 1000GB | 8T*12 SATA | 6600 | 6072 | 76 | 77 | -------------------------------------------------------------------------------- /schedule/airflow.md: -------------------------------------------------------------------------------- 1 | # USDP 任务调度服务-AIRFLOW 2 | 3 | Airflow 是一个工作流分配管理系统，它通过有向无环图的方式管理任务流程，可以设置任务依赖关系和时间调度。Airflow 服务会在对应安装节点上启动2个服务，AirflowScheduler和 AirflowWebserver。其中，AirflowScheduler 用于管理所有DAGs、Tasks和Tasks之间的调度。AirflowWebserver 是 Airflow 的 web 服务，用于可视化管理。 4 | 5 | - ## Airflow **基本操作命令** 6 | - ### 运行自己写的 dags 任务： 7 | 8 | - python3 /srv/udp/1.0.0.0/airflow/dags/tutorial.py 9 | 10 | - ### 查看任务是否运行： 11 | 12 | - airflow list_dags：查看存活 DAG 任务 13 | - airflow list_tasks tutorial：显示 “tutorial” 任务 dag_id 列表 14 | - airflow list_tasks tutorial --tree：显示 “tutorial” 任务树状结构 15 | 16 | - ### 测试 dags 是不是可以正常传参 17 | 18 | - airflow test tutorial print_date 2020-11-23 19 | 20 | - ## Airflow 的使用实例 21 | 22 | 设置 Airflow Web 访问端口为 28999，通过安装节点 IP:28999 访问 ，如 http://106.75.16.72:28999/admin。进入如下界面： 23 | 24 | ![airflow-16061397625039](../images/schedule/airflow/airflow-16061397625039.png) 25 | 26 | 输入默认设置的用户名和密码 hadoop , hadoop。登录如下界面： 27 | 28 | ![airflow-16061401802630](../images/schedule/airflow/airflow-16061401802630.png) 29 | 30 | 在 /srv/udp/1.0.0.0/airflow/dags/ 放入需要执行的 dag 任务代码 example2.py ，刷新 DAGS 页面， 示例代码如下： 31 | 32 | ```python 33 | # -*- coding: utf-8 -*- 34 | from datetime import datetime, timedelta 35 | 36 | from airflow import DAG 37 | from airflow.utils import dates 38 | from airflow.utils.helpers import chain 39 | from airflow.operators.bash_operator import BashOperator 40 | from airflow.operators.python_operator import PythonOperator 41 | 42 | 43 | def default_options(): 44 | default_args = { 45 | 'owner': 'airflow', # 拥有者名称 46 | 'start_date': dates.days_ago(1), # 初始开始执行的时间，为 UTC 时间 47 | 'retries': 1, # 失败重试次数 48 | 'retry_delay': timedelta(seconds=5) # 失败重试间隔 49 | } 50 | return default_args 51 | 52 | 53 | # 定义DAG 54 | def test1(dag): 55 | t = "pwd" 56 | # operator 支持多种类型， 这里使用 BashOperator 57 | task = BashOperator( 58 | task_id='test1', # task_id 59 | bash_command=t, # 指定要执行的命令 60 | dag=dag # 指定归属的dag 61 | ) 62 | return task 63 | 64 | 65 | def hello_world_1(): 66 | current_time = str(datetime.today()) 67 | print('hello world at {}'.format(current_time)) 68 | 69 | 70 | def test2(dag): 71 | # PythonOperator 72 | task = PythonOperator( 73 | task_id='test2', 74 | python_callable=hello_world_1, # 指定要执行的函数 75 | dag=dag) 76 | return task 77 | 78 | 79 | def test3(dag): 80 | t = "/srv/udp/1.0.0.0/yarn/bin/yarn jar /srv/udp/1.0.0.0/yarn/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.5.jar wordcount /input /out_`date '+%Y-%m-%d-%s'`" 81 | task = BashOperator( 82 | task_id='test3', 83 | bash_command=t, 84 | dag=dag) 85 | return task 86 | 87 | 88 | with DAG( 89 | 'test_task1', # dag_id 90 | default_args=default_options(), # 指定默认参数 91 | schedule_interval="20 8 * * *" # 执行周期 92 | ) as d: 93 | task1 = test1(d) 94 | task2 = test2(d) 95 | task3 = test3(d) 96 | chain(task1, task2, task3) # 指定执行顺序 97 | ``` 98 | 99 | 页面刷新后，存在 test_task2 DAG，查看运行 task 如下图： 100 | 101 | ![airflow-16061904173106](../images/schedule/airflow/airflow-16061904173106.png) 102 | 103 | -------------------------------------------------------------------------------- /schedule/uds.md: -------------------------------------------------------------------------------- 1 | # USDP 任务调度服务-UDS 2 | 3 | UCloud Data Studio（简称 UDS），是 UCloud 推出的是一款轻量级、分布式、易扩展的可视化DAG工作流任务调度系统，能够帮您快速高效实现大数据的分析任务工作流管理能力。 4 | 5 | 6 | 7 | UDS 是基于开源工作流任务调度系统 Apache DolphinScheduler（[https://dolphinscheduler.apache.org/](https://dolphinscheduler.apache.org/)）二次开发而来，由衷感谢 DolphinScheduler 为开源社区所做的贡献。 8 | 9 | 10 | 11 | ### UDS的特点： 12 | 13 | - **稳定** 14 | - **单点故障：**支持去中心化的Master和多Worker； 15 | - **过载处理：**任务队列机制，单个机器上调度的任务数量可以灵活配置，当任务过多时会缓存在任务队列中，不会造成机器卡死； 16 | - **易用** 17 | - **DAG监控页面：**任务状态、任务类型、重试次数、任务运行机器、变量一目了然； 18 | - **多样化的任务：**支持Shell、Python、Hive、Spark、MR、SQL、子流程等； 19 | - **数据集成：**提供异构数据源之间高速稳定的数据移动及同步能力； 20 | - **可视化流程定义：**流程定义均可视化操作； 21 | - **部署：**是USDP服务之一，支持一键部署； 22 | - **可拓展** 23 | - **支持集群拓展：**调度器分布式调度，整体的调度能力会随集群的规模线性增长，Master和Worker支持动态上下线； 24 | 25 | 26 | 27 | ## 1. 登录UDS控制台 28 | 29 | 点击 USDP 控制台左侧导航菜单 服务管理 - 调度类 - UDS ，进入UDS详情页，点击 Web UIs 即可打开当前集群的 UDS 任务管理服务控制台。 30 | 31 | ![1](../images/schedule/uds/usdp_uds.png) 32 | 33 | ![2](../images/schedule/uds/uds_login.png) 34 | 35 | UDS管理员账号，参见 [各服务Web UIs登录账号](/USDP/operate/access/login) 指南文档。 36 | 37 | ## 2. 概览（Dashboard） 38 | 39 | 进入UDS后，展示给用户的初始页面，即为 Dashboard 页，其中显示了该用户（非管理）所有项目的重点指标、任务状态、当天任务完成情况、运行时长TOP5和任务失败TOP5。如下图所示： 40 | 41 | ![](../images/schedule/uds/dashboard.png) 42 | 43 | ![](../images/schedule/uds/dashboard1.png) 44 | 45 | 用户可通过顶部提供的工具进行时间、项目的筛选，便于快速查看整体情况，如下图所示： 46 | 47 | ![](../images/schedule/uds/项目筛选.png) 48 | 49 | 50 | 51 | ## 3. 项目模块 52 | 53 | UDS所有的任务管理，均按照项目进行划分，接下来将介绍 “项目” 模块的使用方法。 54 | 55 | 56 | 57 | ### 3.1 创建项目 58 | 59 | 点击"项目"进入项目管理页面，点击“创建项目”按钮，输入项目名称，项目描述，点击“确定”，创建新的项目。 60 | 61 | ![](../images/schedule/uds/创建项目.png) 62 | 63 | 64 | 65 | ### 3.2 进入项目 66 | 67 | 点击项目名称或者在操作栏点击进入项目，可以进入项目详情 68 | 69 | ![](../images/schedule/uds/进入项目.png) 70 | 71 | 72 | 73 | ### 3.3 创建工作流 74 | 75 | 进入项目详情后，在工作流列表，点击“创建工作流”，进入工作流定义页面 76 | 77 | ![](../images/schedule/uds/创建工作流1.png) 78 | 79 | ![](../images/schedule/uds/创建工作流2.png) 80 | 81 | 82 | 83 | #### 3.3.1 添加任务 84 | 85 | ##### 3.3.1.1 SHELL\PYTHON\SQL任 86 | 87 | 将工具栏中的组件拖拽到右侧画布中创建任务，其中SHELL、PYTHON、SQL任务拖入画布后，可以双击进入编辑页面 88 | 89 | ![](../images/schedule/uds/添加任务.png) 90 | 91 | ##### 3.3.1.2 数据集成任务 92 | 93 | 将工具栏中的数据集成组件（DI）拖入到画布中，双击进入编辑页面 94 | 95 | ![](../images/schedule/uds/数据集成任务1.png) 96 | 97 | 左侧节点设置栏可以设置数据集成节点的基本信息，切换至集成组件tab，可将数据集成的来源数据源、转置组件和目标数据源拖拽至画布中。 98 | 99 | ![](../images/schedule/uds/数据集成任务2.png) 100 | 101 | 使用连线工具，将来源、转置和目标组件连接起来。 102 | 103 | ![](../images/schedule/uds/数据集成任务3.png) 104 | 105 | 双击任意组件，可打开编辑页面 106 | 107 | ![](../images/schedule/uds/数据集成任务4.png) 108 | 109 | ##### 3.3.1.2 其他任务 110 | 111 | 其余类型任务可以直接在右侧填写节点信息 112 | 113 | ![](../images/schedule/uds/其他任务.png) 114 | 115 | 116 | 117 | #### 3.3.2 删除任务 118 | 119 | 在任务上点击鼠标右键，删除 120 | 121 | ![](../images/schedule/uds/删除任务.png) 122 | 123 | 124 | 125 | #### 3.3.3 添加任务执行的先后顺序 126 | 127 | 点击左上角图标 \\连接任务；如下图所示，任务2和任务3并行执行，当任务1执行完，任务2、3会同时执行。 128 | 129 | ![](../images/schedule/uds/添加任务顺序.png) 130 | 131 | 132 | 133 | #### 3.3.3 删除依赖关系 134 | 135 | 点击左上角 “选中” 图标，选中连接线，点击右上角 "删除"图标，删除任务间的依赖关系。 136 | 137 | ![](../images/schedule/uds/删除依赖关系.png) 138 | 139 | 140 | 141 | ### 3.4 保存工作流 142 | 143 | 点击左上工具栏的“保存” 图标，然后填写名称、描述等信息 144 | 145 | ![](../images/schedule/uds/保存工作流1.png) 146 | 147 | ![](../images/schedule/uds/保存工作流2.png) 148 | 149 | ### 3.5 工作流操作 150 | 151 | > - 编辑： 只能编辑"下线"的工作流定义。工作流DAG编辑同[创建工作流定义](https://dolphinscheduler.apache.org/zh-cn/docs/1.3.2/user_doc/system-manual.html#creatDag)。 152 | > - 上线： 工作流状态为"下线"时，上线工作流，只有"上线"状态的工作流能运行，但不能编辑。 153 | > - 下线： 工作流状态为"上线"时，下线工作流，下线状态的工作流可以编辑，但不能运行。 154 | > - 运行： 只有上线的工作流能运行。 155 | > - 定时任务： 只有上线的工作流能设置定时，系统自动定时调度工作流运行。定时任务状态为开启时才会执行。 156 | > - 删除： 删除工作流定义。 157 | > - 下载： 下载工作流定义到本地。 158 | > - 树形图： 以树形结构展示任务节点的类型及任务状态 159 | 160 | 161 | 162 | ### 3.6 运行工作流 163 | 164 | 只有***上线***状态的工作流才能运行，点击“运行”按钮，弹出启动参数设置弹框 165 | 166 | ![](../images/schedule/uds/运行工作流.png) 167 | 168 | > **失败策略：**当某一个任务节点执行失败时，其他***并行***的任务节点需要执行的策略。”继续“表示：某一任务失败后，其他任务节点正常执行；”结束“表示：终止所有正在执行的任务，并终止整个流程。 169 | > 170 | > **通知策略：**当流程结束，根据流程状态发送流程执行信息通知邮件，包含任何状态都不发，成功发，失败发，成功或失败都发。 171 | > 172 | > **流程优先级：**流程运行的优先级，分五个等级：HIGHEST、HIGH、MEDIUM、LOW、LOWEST。当master线程数不足时，级别高的流程在执行队列中会优先执行，相同优先级的流程按照先进先出的顺序执行。 173 | > 174 | > **worker分组：**该流程只能在指定的worker机器组里执行。默认是Default，可以在任一worker上执行。 175 | > 176 | > **通知组：**选择通知策略||超时报警||发生容错时，会发送流程信息或邮件到通知组里的所有成员。 177 | > 178 | > **补数：**包括串行补数、并行补数2种模式。串行补数：指定时间范围内，从开始日期至结束日期依次执行补数，只生成一条流程实例；并行补数：指定时间范围内，多天同时进行补数，生成N条流程实例。 179 | 180 | 181 | 182 | ### 3.7 工作流实例 183 | 184 | 工作流运行后生成一条工作流实例，项目-工作流实例列表显示所有的工作流实例 185 | 186 | ![](../images/schedule/uds/工作流实例.png) 187 | 188 | 189 | 190 | #### 3.7.1 工作流实例功能 191 | 192 | > **重跑：** 重新执行已经终止的流程。 193 | > 194 | > **恢复失败：** 针对失败的流程，可以执行恢复失败操作，从失败的节点开始执行。 195 | > 196 | > **停止：** 对正在运行的流程进行停止操作，后台会先killworker进程,再执行kill操作 197 | > 198 | > **暂停：** 对正在运行的流程进行暂停操作，系统状态变为等待执行，会等待正在执行的任务结束，暂停下一个要执行的任务。 199 | > 200 | > **恢复暂停：** 对暂停的流程恢复，直接从暂停的节点开始运行 201 | > 202 | > **删除：** 删除工作流实例及工作流实例下的任务实例 203 | > 204 | > **甘特图：** Gantt图纵轴是某个工作流实例下的任务实例的拓扑排序，横轴是任务实例的运行时间 205 | 206 | 207 | 208 | ### 3.8 任务实例 209 | 210 | 单独运行任务或运行工作流后，会生成任务实例，项目详情-任务实例列表会显示所有任务实例 211 | 212 | ![](../images/schedule/uds/任务实例.png) 213 | 214 | 215 | 216 | #### 3.8.1 查看任务日志 217 | 218 | 点击“查看日志”按钮，可以查看任务运行产生的日志 219 | 220 | ![](../images/schedule/uds/任务日志.png) 221 | 222 | ## 4. 资源模块 223 | 224 | 225 | 226 | ### 4.1 数据源 227 | 228 | 229 | 230 | #### 4.1.1 新建数据源 231 | 232 | 资源-数据源列表，点击“新建数据源”，填写数据源相关信息，测试连接成功后可添加。 233 | 234 | ![](../images/schedule/uds/新建数据源1.png) 235 | 236 | ![](../images/schedule/uds/新建数据源2.png) 237 | 238 | ### 4.2 文件 239 | 240 | 241 | 242 | #### 4.2.1 上传文件 243 | 244 | 资源-文件列表，点击“上传文件” 245 | 246 | ![](../images/schedule/uds/上传文件1.png) 247 | 248 | 填写文件名称和描述，选择是否是UDF资源，UDF资源是新建UDF函数时所需的资源。 249 | 250 | ![](../images/schedule/uds/上传文件2.png) 251 | 252 | 253 | 254 | ### 4.3 UDF函数 255 | 256 | 257 | 258 | #### 4.3.1 新建UDF函数 259 | 260 | ![](../images/schedule/uds/新建UDF函数1.png) 261 | 262 | 填写函数名称、描述、包名类名，选择UDF资源，UDF资源需提前上传。 263 | 264 | ![](../images/schedule/uds/新建UDF函数2.png) 265 | 266 | 新建好的UDF函数可以在HIVE的SQL查询中使用 267 | 268 | ![](../images/schedule/uds/新建UDF函数3.png) 269 | 270 | 271 | 272 | ## 5. 管理模块 273 | 274 | 275 | 276 | ### 5.1 用户管理 277 | 278 | 用户分为管理员用户和普通用户，管理员拥有全部权限。普通用户可以创建项目和对工作流定义的创建，编辑，执行等操作，没有管理权限。初始admin账户为管理员，其余所有创建的账号均为普通用户。 279 | 280 | 281 | 282 | #### 5.1.1 新建用户 283 | 284 | 在管理-用户管理列表，点击“新建用户”，弹窗填写用户基本信息 285 | 286 | ![](../images/schedule/uds/新建用户1.png) 287 | 288 | ![](../images/schedule/uds/新建用户2.png) 289 | 290 | #### 5.1.2 授权项目 291 | 292 | 点击“授权项目”，从现有的项目中选择项目授权给该用户，只有拥有项目权限的用户才能进入该项目进行创建工作等操作。 293 | 294 | ![](../images/schedule/uds/授权项目1.png) 295 | 296 | ![](../images/schedule/uds/授权项目2.png) 297 | 298 | 299 | 300 | #### 5.1.3 授权数据源 301 | 302 | 点击“授权数据源”，在弹窗中选择需要授权的数据源，用户在工作流中只能访问已获得授权的数据源。 303 | 304 | ![](../images/schedule/uds/授权数据源.png) 305 | 306 | #### 5.1.4 授权文件 307 | 308 | 在更多操作中，点击“授权文件”，选择文件授权给指定用户。 309 | 310 | ![](../images/schedule/uds/授权文件.png) 311 | 312 | 313 | 314 | #### 5.1.5 授权UDF资源 315 | 316 | 在更多操作中，点击“授权UDF函数”，选择UDF函数授权给指定用户。 317 | 318 | ![](../images/schedule/uds/授权UDF资源.png) 319 | 320 | 321 | 322 | ### 5.2 告警组管理 323 | 324 | 告警组是一组用户的集合，用于任务执行发生异常（或任务已完成）时，邮件通知该组用户。 325 | 326 | 327 | 328 | #### 5.2.1 新建告警组 329 | 330 | 在管理-告警组管理列表中点击“新建告警组”，弹窗填写组名称，选择人员后提交。 331 | 332 | ![](../images/schedule/uds/新建告警组1.png) 333 | 334 | ![](../images/schedule/uds/新建告警组2.png) 335 | 336 | 添加好的告警组可以在运行工作流的参数弹窗中选择 337 | 338 | ![](../images/schedule/uds/新建告警组3.png) -------------------------------------------------------------------------------- /update_history.md: -------------------------------------------------------------------------------- 1 | # 产品动态 2 | 3 | 4 | 5 | ## 2021年7月 6 | 7 | USDP 2.0.0.0 版本中，组件持续更新： 8 | 9 | 1、集成 DolphinScheduler 1.3.6 版本。 10 | 11 | 2、集成 Flume 1.9.0 版本。 12 | 13 | 3、集成 Ranger 2.1.0 版本。 14 | 15 | 4、更新 Kafka 版本为 2.0.1。 16 | 17 | 5、更新 KafkaEagle 版本为 2.0.6。 18 | 19 | ## 2021年6月 20 | 21 | 1、上线 USDP Server 及各个服务组件日志集中查看下载功能。 22 | 23 | 2、修复了部分服务组件的 WebUI 无法访问的问题。 24 | 25 | ## 2021年5月 26 | 27 | USDP 2.0.0.0 版本上线，支持组件版本： 28 | 29 | | 服务组件 | 版本号 | 30 | | ----------- | ------ | 31 | | Hadoop | 3.1.1 | 32 | | Spark | 3.0.1 | 33 | | HBase | 2.1.10 | 34 | | Hive | 3.1.2 | 35 | | Tez | 0.10.0 | 36 | | Phoenix | 5.1.1 | 37 | | KafakaEagle | 2.0.0 | 38 | | Sqoop | 1.4.7 | 39 | | Flink | 1.12.1 | 40 | | Hue | 4.8.0 | 41 | | Zeppelin | 0.9.0 | 42 | | Atlas | 2.1.0 | 43 | | Kylin | 3.1.2 | 44 | | Trino | 358 | 45 | 46 | ## 2021年2月 47 | 48 | 1、优化服务组件概览页面、Grafana 监控指标模板及展示页面。 49 | 50 | 2、针对 USDP Server 的部署，提供环境初始化工具，自动初始化系统环境使其满足部署要求。 51 | 52 | 3、提供 USDP 增量更新工具。 53 | 54 | ## 2020年11月 55 | 56 | 参数配置优化： 57 | 58 | 1、自动配置各个服务组件的环境变量。 59 | 60 | 2、根据服务器硬件配置给部分服务组件动态分配内存。 61 | 62 | 3、对于 Hue，YARN，Atlas，Hive，Presto 等服务组件的配置文件联动修改。 63 | 64 | ## 2020年8月 65 | 66 | 监控告警功能优化： 67 | 68 | 1、新增对钉钉、企业微信、回调接口等告警方式的支持。 69 | 70 | 2、对各个组件提供了预置的告警模板，一键绑定即可启用，并支持在此基础上创建自定义告警模板。 71 | 72 | 3、告警配置方式优化，提供配置向导，一站式配置通知方式、通知对象、通知组、告警规则等各项内容。 73 | 74 | ## 2020年5月 75 | 76 | 1、上线账号角色权限管理功能，支持创建系统管理员、集群管理员、只读用户等多种不同操作权限的角色和用户。 77 | 78 | 2、上线多集群管理功能，支持在一个 USDP Server 中管理多个大数据集群。 79 | 80 | ## 2020年3月 81 | 82 | USDP 1.0.0.0 版本上线，支持组件版本： 83 | 84 | | 服务组件 | 版本号 | 85 | | ------ | ------ | 86 | | Hadoop | 2.8.5 | 87 | | Flink | 1.10.1 | 88 | | Flume | 1.9.0 | 89 | | Hive | 2.3.6 | 90 | | Impala | 2.10.0 | 91 | | Kylin | 3.1.0 | 92 | | Livy | 0.7.0 | 93 | | Phoenix | 4.14.3 | 94 | | Presto | 0.234 | 95 | | Spark | 2.4.6 | 96 | | Sqoop | 1.4.7 | 97 | | Tez | 0.9.2 | 98 | | Elasticsearch | 7.8.0 | 99 | | HBase | 1.4.10 | 100 | | Kafka | 1.1.1_2.11 | 101 | | Kudu | 1.10.0 | 102 | | ZooKeeper | 3.4.13 | 103 | | Hue | 4.7.1 | 104 | | KafkaEagle | 2.0.0 | 105 | | Kibana | 7.8.0 | 106 | | Zeppelin | 0.8.2 | 107 | | ZKUI | 2.0.0 | 108 | | Airflow | 1.10.12 | 109 | | Oozie | 5.2.0 | 110 | | Ranger | 1.2.0 | 111 | | Atlas | 1.2.0 | 112 | 113 | 114 | 115 | 116 | 117 | 118 | --------------------------------------------------------------------------------