【验证笔记】RayFed + 比较运算

[imwangyt]

部署环境

两台CentOS 7.x虚拟机，ip和端口如下：
| ip | ray gcs port | rayfed grpc port | spu brpc port |
192.168.12.13 9913 9923 9933
192.168.12.14 9914 9924 9934

docker采用host模式启动容器，请提前关闭alice和bob主机的防火墙，确保网络通畅。

实际生产环境，应该只要放行SPU brpc和RayFed grpc的端口即可，未验证，如有验证通过的同学，欢迎补充。

安装部署

alice

1. 安装：docker run --network host -it --rm secretflow/secretflow-anolis8
2. 部署（容器内）
   a. head node: ray start --head --node-ip-address="192.168.12.13" --port="9913" --include-dashboard=false --disable-usage-stats

SPU + RayFed目前只支持Single Node Ray Cluster，见#266 (comment)
b. worker: ray start --address='192.168.12.13:9913' --disable-usage-stats

bob

1. 安装：docker run --network host -it --rm secretflow/secretflow-anolis8
2. 部署（容器内）
   a. head node: ray start --head --node-ip-address="192.168.12.14" --port="9914" --include-dashboard=false --disable-usage-stats

SPU + RayFed目前只支持Single Node Ray Cluster
b. worker: ray start --address='192.168.12.14:9914' --disable-usage-stats

验证

另起ssh连接到主机，通过dpsa等docker cli可以查看容器；
使用docker exec -it [容器ID] bash可以附加到容器，另起bash以便使用ray cli或者系统cli，如ps -ef等观察ray集群。

如果使用pip install -U secretflow secretflow-ray[default]启用ray api server & dashboard，则可以使用ray state api或者dashboard gui观察ray。

建立MPC环境

容器内进入Python环境。
Note: 以下代码，alice和bob两边都执行，除非特别说明仅在alice或bob侧执行。

建立RayFed

在alice和bob容器内启动python，执行以下代码，连接到各自集群，并初始化RayFed。
‒ cluster_config内需提供未使用的端口，作为RecverProxyActor grpc的监听端口；
‒ alice和bob差异之处：1）cluster_config中的self_party，2）sf.init的address目标。

parties = {
  'alice': {
    'address': '192.168.12.13:9923'
  },
  'bob': {
    'address': '192.168.12.14:9924'
  }
}

alice

cluster_config ={
  'parties': parties,
  'self_party': 'alice'
}
import secretflow as sf
sf.init(address='192.168.12.13:9913', cluster_config=cluster_config)

bob

cluster_config ={
  'parties': parties,
  'self_party': 'bob'
}
import secretflow as sf
sf.init(address='192.168.12.14:9914', cluster_config=cluster_config)

验证

执行完成后，可以看到日志显示RecverProxyActor启动成功；此时另外docker bash可以看到raylet进程拉起了RecverProxyActor和SendProxyActor进程：

(base) [root@ami1213 ~]# dpsa
CONTAINER ID   IMAGE                                        COMMAND                  CREATED         STATUS         PORTS                                               NAMES
a9eca888812f   secretflow/secretflow-anolis8                "/bin/bash"              8 minutes ago   Up 8 minutes                                                       heuristic_volhard
(base) [root@ami1213 ~]# docker exec -it a9 bash
(secretflow) bash-4.4# ps -ef
UID        PID  PPID  C STIME TTY          TIME CMD
root         1     0  0 04:05 pts/0    00:00:00 /bin/bash
root       137     1  3 04:07 pts/0    00:00:14 ~/site-packages/ray/core/src/ray/raylet/raylet 
root       298   137  1 04:11 pts/0    00:00:03 ray::RecverProxyActor
root       339   137  1 04:11 pts/0    00:00:03 ray::SendProxyActor

关闭

sf.shutdown()会关闭前面sf.init()拉起的内容，如果出现问题，直接shutdown，然后重新init。

建立SPU

需提供未使用的端口作为SPU brpc的监听端口。各方执行相同的代码。
注意：各方执行代码，尤其是sf.SPU的时间间隔不要太大，因为各方要建立SPU Runtime Actor之间的brpc连接。

import spu
s2pc_def = {
  'nodes': [
    {
      'party': 'alice',
      'id': '0',
      'address': '192.168.12.13:9933'
    },
    {
      'party': 'bob',
      'id': '1',
      'address': '192.168.12.14:9934'
    },
  ],
  'runtime_config': {
    'protocol': spu.spu_pb2.SEMI2K,
    'field': spu.spu_pb2.FM128,
    'sigmoid_mode': spu.spu_pb2.RuntimeConfig.SIGMOID_REAL
  }
}

s2pc = sf.SPU(cluster_def=s2pc_def)

验证

此时，使用网络工具可以检查到ray gcs、rayfed recver、spu的监听端口

(secretflow) bash-4.4# netstat -pnl | grep 99
tcp        0      0 192.168.12.13:9933      0.0.0.0:*               LISTEN      433/ray::SPURuntime 
tcp6       0      0 :::9913                 :::*                    LISTEN      23/gcs_server       
tcp6       0      0 :::9923                 :::*                    LISTEN      296/ray::RecverProx 

官方容器镜像没有netstat命令，请自行安装net-tools
也可以查看spu device的成员变量

>>> s2pc.  
>>> s2pc.actors
{'alice': <fed._private.fed_actor.FedActorHandle object at 0x7fea2c740a60>, 'bob': <fed._private.fed_actor.FedActorHandle object at 0x7fea2c740e80>}

关闭

以两方为例，执行s2pc.shutdown()可以关闭spu。如果出现问题，可以shutdown，然后重新spu。

定义&运行应用

这里的应用指隐私计算应用，即各类隐私AI&BI算法的执行代码，通常具有以下结构：

1. 数据输入方建立输入方PYU，执行读入本地数据的逻辑，得到PYUObject；
2. 将多方协同计算的逻辑分配给SPU执行，并将各自PYUObject作为输入，得到SPUObject；
3. 将SPUObject移入输出方的PYU，输出方执行写出逻辑。

注意1：两边要跑相同的代码，实际只会执行本方的device，详见原理及编程注意事项；
注意2：由于代码是要公开给各方一起执行，所以，数据要从本地读取；测试时，可以事先准备数据文件或者数据生成工具；
提示：可将算法代码打包分发给各方，然后多人模拟多方测试，效果更好。

比较运算

# 输入方
in_alice = sf.PYU('alice')
in_bob = sf.PYU('bob')

# 多方计算空间，即上面的“建立SPU”
# s2pc.shutdown()
# s2pc = sf.SPU(cluster_def=s2pc_def)

# 算子
def infeed_data():
  import random
  val = random.randint(1, 100)
  print(f'randint: {val}')
  return val
  
def greater(a, b):
  import jax.numpy as jnp
  return jnp.sign(a-b)

# 算法（DAG）
## 输入
alice_val = in_alice(infeed_data)()
bob_val = in_bob(infeed_data)()
## 多方安全计算
result = s2pc(greater)(alice_val, bob_val)
## 输出
alice_res = result.to(in_alice)
sf.reveal(alice_res)