| 28 | |
| 29 | |
| 30 | def parse_args(): |
| 31 | parser = argparse.ArgumentParser() |
| 32 | |
| 33 | parser.add_argument("--model_name_or_path", default='bert-base-uncased', type=str, required=False) |
| 34 | parser.add_argument("--task_name", default='lm1b', type=str, required=False) |
| 35 | parser.add_argument("--lr", default=5e-4, type=float, required=False) |
| 36 | parser.add_argument("--epochs", default=3, type=int, required=False) |
| 37 | parser.add_argument("--batch_size", default=64, type=int, required=False) |
| 38 | parser.add_argument("--word_freq_lambda", default=0.3, type=float, required=False) |
| 39 | parser.add_argument("--num_steps", default=2048, type=int, required=False) |
| 40 | parser.add_argument("--eval_step_size", default=4, type=int, required=False) |
| 41 | parser.add_argument("--dev_size", default=5e-4, type=float, required=False) |
| 42 | parser.add_argument("--hybrid_lambda", default=1e-2, type=float, required=False) |
| 43 | parser.add_argument("--eval_steps", default=15000, type=int, required=False) |
| 44 | parser.add_argument("--seed", default=42, type=int, required=False) |
| 45 | # parser.add_argument("--device", default='cuda:0', type=str, required=False) |
| 46 | parser.add_argument("--logging_steps", default=1000, type=int, required=False) |
| 47 | parser.add_argument('--predict_x0', default=True, type=bool, required=False) |
| 48 | parser.add_argument("--load_step", default=-1, type=int, required=False) |
| 49 | parser.add_argument("--sample_strategy", default='Categorical', type=str, required=False) |
| 50 | parser.add_argument("--schedule", default='mutual', type=str, required=False) |
| 51 | parser.add_argument("--from_scratch", default=False, type=bool, required=False) |
| 52 | parser.add_argument("--timestep", default='none', type=str, required=False) |
| 53 | # parser.add_argument("--local_rank", default=-1) |
| 54 | return parser.parse_args() |
| 55 | |
| 56 | |
| 57 | if __name__ == '__main__': |