()
| 24 | |
| 25 | |
| 26 | def parse_args(): |
| 27 | parser = argparse.ArgumentParser() |
| 28 | parser.add_argument("--quant_type", type=str, default="default", choices=["default", "int8"]) |
| 29 | parser.add_argument("--model_id", type=str, required=True) |
| 30 | parser.add_argument("--world_size", type=int, required=True) |
| 31 | return parser.parse_args() |
| 32 | |
| 33 | |
| 34 | def check_params(args, hf_config: AutoConfig): |