跳转至

常见问题

基础环境

1. 安装失败

Q:docker script模式启动失败,如何进行排查?

A:可以通过镜像更新和日志查看两个步骤排查:

  • docker images 查看一下镜像是否是最新的,docker rmi 删除旧的镜像重新启动
  • 如果更新镜像后仍启动失败,可以查看testdatatmp/目录下节点的log日志

Q:Windows系统可以编译运行么?可以用windows安装虚拟机来实现Linux环境么?

A:目前暂不支持Windows的,要求是Linux或者Mac OS。可以使用虚拟机实现。

系统相关

1. 系统设计问题

Q:系统支持的模型评估指标有哪些?如何查看模型评估结果?动态模型评估的用途是什么?

A:分类问题采用 Accuracy、ROC曲线等, 回归问题采用 RMSE,训练任务结束后,训练样本中含有目标特征的任务执行节点会生成模型评估结果,保存于 ./evalus 路径下(该路径可在配置中修改)。采用动态模型评估其目标是为了获得训练过程中的一系列评估指标,展示训练效果的变化趋势,动态的展现模型收敛的过程。

Q:如何进行多组织组网?

A:实际业务应用中,用户可以按照需求搭建节点,存储节点和计算节点启动后会将节点的地址注册到区块链网络中,存储节点可以通过online/offline命令进行上下线。

Q:当前模型训练算法什么支持哪些?

A:目前开源的有线性回归、逻辑回归、神经网络的纵向联邦学习算法,后续会持续开源决策树纵向联邦算法,以及横向联邦学习算法,敬请关注。

Q:去中心化存储XuperDB当前支持哪些存储引擎,是否支持IPFS呢?

A:支持,已在2.0版本开源,用户可以通过修改存储节点的storage.mode下的type配置,选择存储方式,当前支持本地文件系统、IPFS方式。

Q:参与模型训练和预测的样本数据从哪来?数据使用需求方如何检索到所需数据?

A:计算需求节点在发布任务时需要指定任务执行节点与参与训练的样本数据,任务执行节点启动训练时即根据计算需求方指定的样本文件ID从去中心化存储系统进行下载;关于样本数据检索问题,数据持有方上传数据时会将文件描述等记录到区块链上,计算需求方可以查询到文件列表,按需使用。关于按照内容分词检索,支持更为高效便捷的检索系统,正在计划中,敬请关注。

2. 安全问题

Q:商用环境中,除了数据隐私保护的问题,关于数据使用、任务训练的监管,在这一块,PaddleDTX怎么考虑,有成熟的方案吗?

A:PaddleDTX的数据使用、任务训练均基于区块链智能合约,从数据持有节点上传样本数据、授权样本,到计算需求方发布任务、任务执行节点进行确认和启动,全过程均可在链上查询和追溯。

Q:在无中心化参数服务器的场景下,是如何保证多方样本数据的安全性、模型参数的安全性?

A:在保护样本数据的安全性方面,纯软方案中采用的是资源访问控制协议实现,硬件方案是使用TEE可信执行环境;在模型参数的安全性方面,系统采用的Paillier同态,在训练过程中,梯度和损失值的计算均是加了噪音的加密值,因此不会泄漏用户的隐私。

3. 性能相关

Q:DAI模型训练最多支持多少任务并发执行?

A:DAI任务执行节点的性能与机器性能相关,任务执行的超时时间限制、最大并发数均可以在配置文件中修改,当前默认任务训练超时时间1小时、并发数100。

Q:PaddleDTX当前实现的纵向线性回归和逻辑回归算法,均采用Paillier同态进行加密参数传输,在训练的迭代过程中需多次进行同态加解密运算,而Paiilier算法的性能会大大影响分布式AI的整体性能,后续是否会优化该算法?

A:该Topic正在计划中,敬请关注。

Q:PaddleDTX中的xdb支持跨广域网部署能力吗?有相关的性能测试数据吗?

A:支持,可以将存储节点部署在广域网,将数据持有节点部署在能访问广域网的内网即可。关于文件的存取性能与节点服务器配置有关,我们的性能测试如TPS、平均响应时间等,其在xchain、fabric网络下均表现良好,以基础环境:1个数据持有节点,5个存储节点,centos 6.10为例(测试结果根据接口处理逻辑不同而有所不同),罗列一些接口压测性能:

  • 查询接口:每秒吞吐量700-900,平均响应0.05s;

Q:去中心化存储限制存储文件大小吗?每个文件的切片大小是多少?

A:XuperDB并不会限制上传文件的大小。文件的上传速度与网络带宽、文件的副本数有关,文件越大,副本数越多的情况下,上传会比较慢,当前针对文件加密分片的大小默认是4M,用户可以在配置文件中修改切片大小。

4. 可视化服务

Q:PaddleDTX当前有可视化操作界面吗?是否只能命令行操作?

A:当前PaddleDTX的可视化操作界面有文件管理、任务管理、授权管理,针对网络管理、节点权限管理、模型评估结果可视化展示正在开发中,后续版本会开源。

Q:PaddleDTX当前是否有区块链浏览器服务?

A:暂时没有,在计划中,敬请关注。