BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

刘弟新:基于多项目的离线缓存技术
录制于:

| 受访者 刘弟新 关注 0 他的粉丝 作者 InfoQ 关注 13 他的粉丝 发布于 2018年7月21日 | QCon上海2018 关注大数据平台技术选型、搭建、系统迁移和优化的经验。
18:43

个人简介 刘弟新,现在在掌众集团做海外项目,是海外项目的技术负责人。

   

1. 好,欢迎刘老师,首先请刘老师先简单的介绍一下自己?

刘弟新:我叫刘弟新,现在在掌众集团做海外项目,是海外项目的技术负责人。我是07年1月份从大连理工大学研究生毕业,先后进入手机研发公司,然后到系统的研发,后面在09年的时候去同洲,后面发现手机这个行业圈子还是对我个人来说成长空间还是比较小的,我在百度的时候跟我们现在掌众的CTO是一起做手机的,百度的OS,就是我们在百度的时候后面去创业,后来失败了,我就设计了一个职业的选择,我们当时有三个方向,一个是互联网金融,一个是继续做手机,还有一个就是我们的智能家居方面,我觉得对我个人来说有挑战一点的还是互联网金融,于是在平安去做了两年多,后面掌众发展海外业务,我觉得是个不错的机会,于是我就跟原来的老板一起加入了掌众。

   

2. 那掌众的很多业务已经布局到了海外,跨国多项目的业务有什么特点,对我们的业务执行构成了哪些挑战?

刘弟新:发展海外项目的话,我们中国的公司在国内发展的还不错,因为在海外出去的时候会有一个不适应的地方,对于一些流量公司,一些征信数据公司这方面是比较缺乏的。二就是我们这种第三方服务配套,整体来说是比较缺少的。在这样的恶劣的环境下,如果能走出去的公司,我认为是有一定的技术实力的公司。因为掌众在大数据,风控这一方面的建设还不错。从我们走出去的这大半年,可以看到,我们从印尼、越南跟菲律宾项目发展过程中,还是走的每一步都是很扎实,也很成功。

   

3. 那您今天的演讲是关于离线缓存的解决方案,关于离线缓存与实时的缓存有什么差别?

刘弟新:离线缓存的方案其实我们在国内是没有离线缓存这个功能的,我们公司的海外产品在发展的过程中有了这个离线缓存这个功能的开发,关于离线缓存跟实时的缓存,我们的离线缓存可以减少用户在访问服务器的资源的情况下,这种在网络所需要的条件的限制的时候我们是能够让用户有比较好的体验。因为实时的离线缓存就是利用浏览器的功能,它去请求,实时请求资源缓存到本地。基于下一次打开的时候有个缓存的功能,这个就是两者的区别,一个是基于实时请求,一个是可以后续再请求。

   

4. 那离线缓存的技术组成有哪些?给我们简单介绍一下吧

刘弟新:我们实现离线缓存的技术主要有三块。

第一个是我们的资源如何去打包。今天我们在会上也分享了一下我们关于打包的过程,这个过程主要是有涉及到我们的资源的标识,涉及到我们资源的筛选跟分离,涉及到资源的加密保护。当然这个资源打包的过程中我们会有一个资源的更新,如何去针对我们的资源有很好的一个更新去校验这个数据的有效性。我们目前的采用了跟以往的方式是有区别的,我们是基于文件纬度的,由原来的是基于对比文件对比差分数据流之间的一个文件对比。这两者的区别还是比较不同的方向。在我们这一块的文件更新的策略主要是基于一个sourcemap文件去比对,不同的更新资源所需要的资源进行,还加上我们一个预加载的方案,可以针对我们想要的资源,这时候进行提前去请求下载更新。第三个就是我们的一个更新的时机,这就是我们刚才说的,我们的更新时机是不一样的,原来的更新的方式可能是在APP启动的时候会去对离线资源的一个全量的更新,差分,我们只是在需要的时候去请求,去访问的时候,提前一步进行。就是有些需要的资源我们才会进行一个更新测量。

   

5. 掌众的国内和国外的缓存策略有差距吗?掌众的缓存技术跟市场现有的缓存技术相比有哪些特点和优势?

刘弟新:掌众的缓存技术是,在我们发展海外业务的时候前期是没有缓存这个功能点,因为国内的4G网络还是建设的非常不错,用户在这个APP体验方面没有这方面的诉求,所以说在我们在发展海外项目的时候才有感到这个痛点。我们经常会发现,业务因为缓存没有的情况下,导致用户没法进行访问页面,进行交互,进行转化,这是对我们在拓展海外业务发展的过程中,技术这块是我们必须要提上来的一个功能,于是就有了我们在国外的项目中的缓存离线方案。我们现在的离线方案是基于海外的,一套代码实现多个项目的离线缓存方案,国内是没有这方面的诉求。

我们跟国际的相比呢,像目前国内的一些比较大的公司,他们像手百(手机百度),或者腾讯为单位,或者百度,像爱奇艺,我们也会用到不同的缓存方式,像美团也会有,他们的方式跟我们是有不同的,就是说,我们在其他的缓存可能是下载一个资源,一个视频资源,或者一个整个所需要的比较大的资源进行更新,整体的来说,我们跟实际上现在比较推崇的差分的这种更新方式,有一点不一样的地方,这就是我们目前在发展的海外的项目中的积累的一些经验。

   

6. 结合掌众的实践经验,离线缓存的不足之处有哪些?掌众是如何解决的?

刘弟新:离线缓存的不足之处从我们是发展开发这个离线缓存这个功能的时候也会一步一步的去趟了一些坑,但离线缓存最开始的时候我们是对所有的资源都需要加载请求,这样会导致起动时间比较长,或者效率比较差,导致我们的用户在使用的时候感受还是不是那么友好。我们针对这种问题就推出了所谓的,开始在说的按需去加载,针对不同的状态进行去加载。就像我们的APP发布的时候,有的用户已经是注册的用户,或者是已经授信的用户,那在这个过程中,后续再有涉及到注册授信的更新它是不需要去加载的,不需要去请求,只有当它其他这个手机的用户需要再次进行实名或者授信的时候,它才需要去请求这方面的资源。我们的这种根据用户状态去更新的这种机制是可以解决不同状态不同用户的诉求,这样可以让我们一线资源的更新请求的数量或者是效率更加精准。这就是我们的一个解决方案。

   

7. 离线缓存的更新方案具体是如何运行的?

刘弟新:这个离线缓存的更新方案就是我们的sourcemap跟离线资源包,在APP初始化上架的时候就附带在APP里面,当我们的APP在被用户去下载去启动的时候,它会有个初始化的过程,初始化的过程对这个离线资源包进行解压,会去请求服务器最新的sourcemap.js的文件,这个sourcemap.js的文件记录了我们的模块的层级关系,或者是各个模块依赖文件关系,和我们所有的文件列表的信息,这个信息就是我们的整个缓存机制的一个比较大的数据源,就是当我请求的source map的新老文件,不同的时候,对新的文件我们就可以得出我这次版本变更的模块文件有哪些,或者是我的变更的模块依赖文件有哪些,或我们变更的文件有哪些,有变更,这个就会给我们的缓存管理器会去做一个提前的了解,我就知道我们APP在启动的时候,在使用了某个模块的时候,那个文件已经变了,或者它的某个入口已经消失了,或者已经新增了,对应的它的文件哪些有变更了,我们针对这些问题可以提前去加载,在更新的运行过程中,我们还是可以看到针对这种比对文件的差别的纬度的方式,是为了更好的去减少我们所需要下载更新的文件。原来的方式是需要将所有的资源都会去进行差分,进行管理,我们这种方式是不需要差分管理历史的资源包的,所以对我们这种海外项目中还是很有一个人员调整,或者很容易去做到。这就是我们的一个缓存运行方案。

   

8. 中国的金融科技现在有哪些比较领先的实践可以给海外借鉴?给我们分享一下?

刘弟新:中国的金融科技公司从中国走出去,随着一带一路的这个思路去发展,我觉得只有技术储备非常不错的公司,对风险控制很好的一些团队才有机会。

在去年9月份我加入掌众之后,有整个国内的金融监管的一系列的影响导致,海外的这个浪潮是比较大的,大家都想急着去看一看海外的这个机会。我觉得掌众在金融监管的之前进行战略的布局是很有前瞻性的出发点。

我们在海外发展过程中,可能我们掌众有哪些优势可能这里面就是我们的小贷的方案是非常成熟的一个体系,它的智能风控,包括数据收集,处理加工,模型创建,这些在一些小公司是没法去使用的,而我们是很好的成熟的方案在去海外使用的时候进行调整修改,这是我们的小贷技术方案成熟的一个优点,掌众云就是依托大数据这个是云和计算的能力,掌众集团在国内首创提出了基于大数据风控的消费金融的这个SaaS平台,允许各方数据公司进行数据加工,让客户和数据场景方有效协同,降低全行业的一个交易成本,提升金融服务的这个效率,让金融更好的去触手可及,这也是我们掌众一直在推崇金融技术方面的一个使命。

掌众云的SaaS有五个特点。第一个是流量的获取,在导流,市场推广,费用分享,获客这方面都有很好的天然优势。第二就是我们在打造用户的整个转换流程和提升这方面,对流失的用户盘活生命周期的管理也是很有经验的。在我们的第三个方面就是我们的在贷前,贷中,贷后的风控模型的管理方面,第四个就是我们对用户的行为轨迹或者是用户的行为轨迹以及用户的一些状态进行很好的智能化的一个分析。第五个将人工智能和为金融服务提供一站式的平台的输出,我觉得这五点是我们掌众发展海外布局海外走出去,最有利的一个实力的保证。

   

9. 大数据和AI技术在掌众有哪些应用场景,现在取得了哪些成果?

刘弟新:掌众在海外使用的是国内一样的风控,也是在大数据和AI这方面也是用国内的这一套机制,我们在海外发展过程中也充分见识到,我们掌众在大数据和AI这方面的一个建设和积累。

智能风控这是我们的第一个做得非常不错的,也是让我们在海外项目发展过程中起到风控数据,用户的风控,风险控制的一个保证。它创造了定制化的如来风控体系,又创建了四百多风控模型,主要运用信用风险管理,信用欺诈风险管理跟营销管理跟决策管理。

第二个就是我们智能催收,智能催收会对基于深度学习的一个催收跟语音客户内容识别,或者用户的这个情绪化的一个识别,可以在我们在催收的时候会对这个我们的用户进行合理的一个催收管理。第三个是我们的产品营销,基于客户端的用户行为这个挖掘,我们可以根据用户的位置信息,或者它的操作用户的APP的行为可以初步判断这个用户处于什么等级,或者是我们可以挖掘的用户进行去挖掘。

   

10. 那最后掌众的全球发展路线是怎样的?在“走出去”的过程中有什么样的经验可以和大家分享一下?

刘弟新:我觉得掌众在金融科技公司走出去也是走的比较早的一家,因为我们在07年初的时候就去考察东南亚国家,然后也在9月份的时候应该是在7月份已经启动了海外的印尼项目,我是在9月份左右时候加入掌众负责印尼项目的一个开发,在这个过程中,我们今年也陆续启动了越南跟菲律宾的项目,现在也正在俄罗斯,其他国家去发展,掌众这种有想走出去的这个愿望和有走出去的能力,这是我们今年在对海外发展的一个比较坚强的一步。

针对我们海外这个经验,其他公司如何去借鉴呢?我觉得首先做好内功,做好我们自己的一个技术方面的工作。第二个也是做好我们的一个风险管理方面的诉求,也正好去在真正扎扎实实的在当地去经营运作下去,如果抱着这方面的一个态度,符合监管和政策,那可能会走的更好。

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT