| 21 | |
| 22 | |
| 23 | def parse_args(): |
| 24 | parser = argparse.ArgumentParser() |
| 25 | parser.add_argument("--data_names", default="gsm8k,math", type=str) |
| 26 | parser.add_argument("--data_dir", default="./data", type=str) |
| 27 | parser.add_argument("--model_name_or_path", default="gpt-4", type=str) |
| 28 | parser.add_argument("--output_dir", default="./output", type=str) |
| 29 | parser.add_argument("--prompt_type", default="tool-integrated", type=str) |
| 30 | parser.add_argument("--split", default="test", type=str) |
| 31 | parser.add_argument("--num_test_sample", default=-1, type=int) # -1 for full data |
| 32 | parser.add_argument("--seed", default=0, type=int) |
| 33 | parser.add_argument("--start", default=0, type=int) |
| 34 | parser.add_argument("--end", default=-1, type=int) |
| 35 | parser.add_argument("--temperature", default=0, type=float) |
| 36 | parser.add_argument("--n_sampling", default=1, type=int) |
| 37 | parser.add_argument("--top_p", default=1, type=float) |
| 38 | parser.add_argument("--max_tokens_per_call", default=2048, type=int) |
| 39 | parser.add_argument("--shuffle", action="store_true") |
| 40 | parser.add_argument("--use_vllm", action="store_true") |
| 41 | parser.add_argument("--save_outputs", action="store_true") |
| 42 | parser.add_argument("--overwrite", action="store_true") |
| 43 | parser.add_argument("--use_safetensors", action="store_true") |
| 44 | parser.add_argument("--num_shots", type=int, default=0) |
| 45 | parser.add_argument( |
| 46 | "--apply_chat_template", |
| 47 | action="store_true", |
| 48 | help="Apply chat template to prompt.", |
| 49 | ) |
| 50 | parser.add_argument("--pipeline_parallel_size", type=int, default=1) |
| 51 | parser.add_argument( |
| 52 | "--adapt_few_shot", |
| 53 | action="store_true", |
| 54 | help="Few shot for multiple-choice questions, zero shot for others.", |
| 55 | ) |
| 56 | args = parser.parse_args() |
| 57 | args.top_p = ( |
| 58 | 1 if args.temperature == 0 else args.top_p |
| 59 | ) # top_p must be 1 when using greedy sampling (vllm) |
| 60 | return args |
| 61 | |
| 62 | |
| 63 | def prepare_data(data_name, args): |