(self)
| 114 | self.reset_parameter() |
| 115 | |
| 116 | def reset_parameter(self): |
| 117 | # normal initialization |
| 118 | self.proj_left = init_lecun_normal(self.proj_left) |
| 119 | self.proj_right = init_lecun_normal(self.proj_right) |
| 120 | nn.init.zeros_(self.proj_left.bias) |
| 121 | nn.init.zeros_(self.proj_right.bias) |
| 122 | |
| 123 | # zero initialize output |
| 124 | nn.init.zeros_(self.proj_out.weight) |
| 125 | nn.init.zeros_(self.proj_out.bias) |
| 126 | |
| 127 | def forward(self, msa, pair): |
| 128 | B, N, L = msa.shape[:3] |
no test coverage detected