工作日报 2020年5月
2020-05-06T13:12:17.000Z
1.保理项目
a.完善管理端遗留问题，配合联调前端接口
2.探针项目
a.熟悉bitnodes源码和目前做出的改动，在内网服务器上搭建环境并运行程序
b.目前数据收集速度慢，数量少
1.保理项目
a.根据页面原型完善前端接口
b.再次测试管理端问题
2020-05-07T12:40:02.000Z
1.保理项目
a.修改操作记录、列表接口，加上操作人信息
b.加了复核不通过的接口，修改登录接口，登录后加上用户状态
1.保理项目
a.修复今天遗留问题
b.管理端增加用户信息完善审核
c.接口调试、修改等
2020-05-09T01:07:34.000Z
(昨天)
1.保理项目
a.调试修复法人信息注册接口
b.增加文件下载接口
c.配合调试、修改、测试其他接口等
1.保理项目
a.加商后台用户资料审核页面、相应接口
b.前端法人审核进度、企业审核进度接口
c.其他已经发现的问题
2020-05-09T11:58:07.000Z
1.保理项目
a.管理端企业用户信息完善页面、法人页面身份证图片显示
b.加了几个接口，修改接口，用户、权限等
a.缺一个判断法人是否通过审核的接口
1.保理项目
a.修复今天下午长剑提出的管理端的问题
2020-05-11T12:56:26.000Z
1.保理项目
a.修复管理端昨天长剑提出的问题
b.配合前端联调接口、修改接口
1.保理项目
a.配合前端联调接口、修改接口
b.给工作流加单独的状态记录
2020-05-12T11:21:23.000Z
1.保理项目
a.给流程加上单独的状态，在状态表里
b.前端接口目前1s以内，管理端改了两个页面，之前速度10s以上，现在速度2s左右
1.保理项目
a.一起过一下整个项目
b.改一下管理端的其他页面，优先还款页面
2020-05-13T12:29:06.000Z
1.保理项目
a.修改了昨天晚上长剑提出的问题
b.会议过了一下项目整体的流程
1.保理项目
a.修改今天会议发现的问题
b.测试整个流程
2020-05-14T12:38:45.000Z
1.保理项目
a.修改了管理端昨天会议发现的问题
b.测试流程
1.保理项目
a.优化项目里存在的问题
b.再一起过一下整个流程
2020-05-15T12:03:38.000Z
1.保理项目
a.修改法人审核、资质审核等页面样式
b.写了一部分消息通知的内容
c.会议过了一下整体流程
1.保理项目
a.完善消息通知功能
b.修复今天会议发现的问题
2020-05-18T13:04:06.000Z
1.保理项目
a.下午会议演示沟通项目
b.修改会议上发现的问题，额度显示、发票归档等
2.探针
a.确认接下来的工作计划，熟悉crawler部分的代码
1.探针
a.熟悉比特币的p2p协议，看懂探针代码对比特币节点信息的解析方式，尽量能走通一遍crawler的流程，了解探针与节点从建立连接到解析数据入redis的整个过程
2020-05-19T12:43:56.000Z
1.探针
a.主要是参考bitnodes的代码，试着写了一下把参数序列化成比特币文档上要求的格式，向节点发请求、接收数据、反序列化等操作
2.保理
a.修改了一点遗留的问题，发票页面的文件显示、还款的流程控制等
1.探针
a.分步骤运行bitnodes官网的代码，搞清楚每个文件都是做什么的
2020-05-20T12:06:09.000Z
1.探针项目，看明白了crawler和ping两个脚本文件的程序逻辑
1.探针项目，熟悉其余文件的程序逻辑、相应的redis里key的变化、值的含义等
2020-05-21T12:34:08.000Z
1.探针项目
a.分析项目其他文件源码
b.找到以前在docker跑报错的原因是redis客户端连接数超了，redis没有设置连接超时
1.探针项目
a.写一下并且测试解析抓包出来的文件
b.梳理程序对节点数据过期时间的处理
2020-05-22T11:46:28.000Z
1.探针
a.测试容器化部署，目前已经确认能在docker里正常运行
b.内部会议同步探针信息、解决发现的问题；讨论关于信通院项目二期加下来的安排
1.加密资产，熟悉flink结构、功能、与数据源的兼容情况等
2.探针，梳理关键数据、状态，画时序图等
2020-05-25T12:03:42.000Z
1.加密资产，了解flink数据处理的关键概念，搭建测试基本任务
1.加密资产，测试flink与hadoop和kafka等数据源的交互情况
2020-05-26T12:50:19.000Z
1.加密资产，搭建配置hadoop、hbase，现在flink能从hdfs里读文件，hbase能连上，但是数据没有取出来
1.加密资产，跑通flink到hbase的连接，分析tidb数据到hbase的迁移方式
2.沟通信通院二期需求
2020-05-27T13:33:52.000Z
1.加密资产：java客户端连通和操作hbase；tidb部分数据导入hbase，今天晚上正在跑
1.加密资产：用flink处理hbase的数据，模拟一个90天频繁交易的分析任务，跑通分析任务
2020-05-28T13:37:21.000Z
1.加密资产
a.从tidb导了100万条数据，用flink做简单计算，相同地址的amount值累计，并输出到文件
b.刚才跑了一下，结果：批处理，在没有用并行计算的情况下用了59秒，内存消耗忽略不计
2.加密资产
a.测试直接从tidb取数，如何处理、结果怎样
b.从tidb导更多的数据到hbase，测试更大数据量的情况
2020-05-29T12:59:17.000Z
1.加密资产
a.主要是测试 flink 从 tidb 取数据，先把数据都查出来然后计算，100万条数据要1个小时左右；但是目前的 tidb 如果直接用 sql 计算就很快了
1.探针
a.分析实现展示界面的需求，数据来源、数据的处理方式、页面的显示形式等
b.测试并在 144 的服务器上搭一个 flink 集群，用于后续探针项目的数据分析任务
2.加密资产
a.了解 flink 任务原理，结合我们之前的数据处理任务，分析 flink 的应用场景