(self)
| 354 | tmp.loss.backward() |
| 355 | |
| 356 | def auto_denan(self): |
| 357 | dist.barrier() |
| 358 | if self.auto_denan_check(): |
| 359 | self.auto_denan_recover() |
| 360 | return True |
| 361 | # self.forward() |
| 362 | # self.backward() |
| 363 | else: |
| 364 | self.auto_denan_save() |
| 365 | return False |
| 366 | |
| 367 | def auto_denan_check(self): |
| 368 | tmp = self.tmp |
no test coverage detected