Skip to main content

Table 3 Results for the comparison of different distributed generative models

From: Deep generative models in DataSHIELD

RMSE of log odds ratios d(xgen, xval): Median (5% quantile - 95% quantile)

 

1 site

2 sites

5 sites

20 sites

DBM

0.98 (0.82 – 1.21)

1.00 (0.78 – 1.19)

1.03 (0.74 – 1.65)

1.42 (0.89 – 3.85)

GAN

2.17 (1.86 – 3.36)

3.28 (2.12 – 6.33)

3.82 (2.41 – 6.41)

4.00 (2.41 – 6.88)

IM

3.96 (2.33 – 6.95)

3.95 (2.32 – 6.95)

3.97 (2.32 – 6.95)

3.90 (2.30 – 6.84)

MICE

3.72 (2.87 – 6.04)

3.41 (2.76 – 5.13)

3.05 (2.47 – 4.61)

2.84 (1.93 – 4.22)

VAE

1.05 (0.72 – 1.85)

1.02 (0.68 – 1.72)

0.90 (0.61 – 1.50)

0.89 (0.53 – 1.53)

Proportion of overfitting: Median (5% quantile - 95% quantile)

 

1 site

2 sites

5 sites

20 sites

DBM

0.11 (-0.016 – 0.24)

-0.14 (-0.44 – 0.27)

-0.15 (-0.39 – 0.24)

0.38 (0.11 – 0.69)

GAN

0.068 (0.013 – 0.17)

0.12 (0.018 – 0.31)

0.22 (0.15 – 0.34)

0.4 (0.29 – 0.55)

IM

0.055 (-0.0045 – 0.099)

0.12 (0.058 – 0.18)

0.22 (0.15 – 0.31)

0.45 (0.30 – 0.63)

MICE

0.031 (0.0022 – 0.08)

0.10 (0.0048 – 0.32)

0.18 (-0.019 – 0.45)

0.45 (0.09 – 0.85)

VAE

0.19 (0.057 – 0.32)

0.27 (0.062 – 0.45)

0.29 (0.064 – 0.56)

0.48 (-0.20 – 0.82)