导图社区 一期收尾工作3
这是一篇关于一期收尾工作3的思维导图,本图包括了该时期的收尾工作内容,具体清晰,大家可以参考下。
一期收尾工作3当原有的引擎,运行的平台,组件在元数据表中标记为已删除时,做红色显示,升级提交时,校验已选的引擎。
当原有的引擎,运行的平台,组件在元数据表中标记为已删除时,做红色显示,升级提交时,校验已选的引擎。
社区模板帮助中心,点此进入>>
夏令营
2019商城活动时间表
部门规划
技术部门
项目经理管理培训
创业计划书经典案例
项目复盘的九步法
篮球大纲
调研事项
PPT统计图图像展示-职场工具报告
一期收尾工作
引擎(华越)(19号)
bug
01. 链路删除后在streamsets上仍存在
02. 前端界面下拉框选型切换未联动(data generater)
03. 片段有时在界面上没有展开功能
04. 组件处理的输入数,输出数,错误数,错误信息无法看见
05. 链路图形界面去掉可跳转的pipeline
06. JDBC组件的配置项显示成了MySQL binary log的选项(偶发)
07. 链路跳转的模糊查询问题
08. 引擎关于端口及url使用外部统一的配置文件
09. 运行平台解析片段类型调整
10. 引擎数据库进行内置,不做配置
11. 连接资源的界面显示优化
12. 链路查询时,会查出片段
13. 启动invalid的数据链路时,会导致链路卡在starting状态
发现停止时,也会卡在STOPPING
剩余功能
01. 运行时数据发到运行平台统一保存 (二期处理)
02. MySQL Binary Log连接资源
运行平台(华越)(21号)
01. 资源升级(华越)
02. 资源库管理
创建
创建一个新的资源
相同类型的资源,如果不存在相同名称的资源,则版本为V0001
如果存在相关名称的资源,则版本递增,为V0002
新建的资源状态为“未发布”
修改
可修改未发布的资源
删除
可删除未发布的资源
发布
未发布的资源可以做发布
发布后,在界面中,可以使用到该资源
撤销发布
将资源做撤销发布
撤销发布时,要求该资源没有被数据链路使用
升级
对相同名称的资源,进行版本升级
默认升级到已发布的最新版本
可选择升级到特定版本
要求数据链路为停止状态
要求资源已发布
02. 链路定义
增加复制功能,对选中的数据链路进行复制创建
增加导出功能,对选中的数据链路进行导出为json格式
增加导入功能,对选中的数据链路进行导入创建
导入创建使用原链路名,当名称存在时,字段加后缀 _1
创建与更新跳转到画布界面,不可对数据链路进行启动和停止,只能进行以下操作
展开或折叠片段
错误信息(三角形的定义错误提示图标,查看日志的按钮不要)
撤销、返回
删除步骤
复制阶段
自动排列
校验
预览
03. 链路运行管理
图形查看与列表查看跳转到的画布页面,不可对数据链路定义做修改,只能进行以下操作
查看日志
快照功能
只有在数据链路运行时才可使用该功能
重置开始节点
只有在数据链路停止时才可使用该功能
启动、停止
01. 数据链路管理页面定时刷新
02. 数据链路列表查看节点跳转404(吉鑫)
03. 数据链路列表查看层级显示错误(吉鑫)
管理中心(吉鑫)(21号)
01. 端口与配置文件优化与简化
运行平台
引擎请求运行平台端口
8220
运行平台对外端口
引擎
引擎前端端口
8010
引擎后端端口
18640
02. 模块中心优化
组件管理
取消组件版本,组件版本与包版本一致
要求整个组件库中的组件,一个componentCode只存在于一个包中
组件导入时
校验当前导入的组件,是否已存在
已存在,包名与当前上传的包名不一致
不允许上传
已存在,包名与当前上传的包名一致
判断包版本
当版本高于已存在包时,将低版本自动做删除(删除物理文件,变更记录状态)
版本一致时或版本低时,不允许上传
处理将组件移包场景
假设rest组件原先存在于jdbc包,后续需移入到http包
1. 在组件中心,删除jdbc包
不影响已生成的套件
2. 重新打包jdbc包,移除rest组件后,上传
已生成的套件升级时,原jdbc套件需做升级更换
3. 将rest组件打包到Http包后上传
引擎管理
版本相同不允许上传
运行平台管理
同一类型,同一版本运行平台不允许上传
删除组件、引擎、运行平台时,删除物理文件,保留记录,并标记记录为已删除
03. 套件中心优化
当原有的引擎,运行平台,组件在元数据表中标记为已删除时,做红色显示
升级提交时,校验已选的引擎,运行平台,组件中,如果有已删除项时,不允许提交,提醒“所需XXX”已不存在
更新引擎、运行平台、组件弹窗的选择页面中,对于已删除的项目以红色高亮,并增加“已删除”列
在提交时,校验是否有选择已删除的项目,有则不允许提交
套件增加废弃功能,废弃的套件无法做项目发布,不删除物理文件,只对数据做废弃标记
未被任何发布项目使用的套件可进行“删除”,删除做物理删除
04. 上传下载功能优化
上传点击后出现loading,不允许重复点击,下载开始时有提示
目前上传确认的动作会造成2次上传,需优化上传与读取标识文件的功能
二期处理
01. 界面展示优化(按RP调整)
不显示主键
表格显示列按RP要求
组件不显示版本
录入时参考RP要求,必填字段做提示与卡控
02. 组件标记功能处理
03. 运行平台列表与运行平台关联
目前只做两个类型
ETL
已开发
SCADA
04. 生成套件选择组件时同一个包中的组件一起选择
05. 运行平台前端的跳转地址需要可配置化(唐莹优化)
组件库
一期组件中文化
前端界面优化
数据链路界面
去掉“规则”页签
“配置”页签
只保留“基础信息”页签,不可使用高级选项
片段定义界面
“配置”页签下只显示“基础信息”,并且不可显示高级选项。不显示“管道ID”
颜色说明
1月8号增加,未分配