()
| 31 | return QUANT_TYPE_MAP[quant_type] |
| 32 | |
| 33 | def parse_args(): |
| 34 | parser = argparse.ArgumentParser() |
| 35 | parser.add_argument("--quant_type", type=str, default="default", choices=["default", "int8"]) |
| 36 | parser.add_argument("--model_id", type=str, required=True) |
| 37 | parser.add_argument("--world_size", type=int, required=True) |
| 38 | parser.add_argument("--image_path", type=str, required=True) |
| 39 | return parser.parse_args() |
| 40 | |
| 41 | def check_params(args, hf_config: AutoConfig): |
| 42 | if args.quant_type == "int8": |