| 334 | |
| 335 | |
| 336 | def main(): |
| 337 | parser = argparse.ArgumentParser() |
| 338 | parser.add_argument( |
| 339 | "--dataset", required=True, type=str, choices=["humaneval", "mbpp"] |
| 340 | ) |
| 341 | parser.add_argument("--samples", required=True, type=str) |
| 342 | parser.add_argument("--base-only", action="store_true") |
| 343 | parser.add_argument("--parallel", default=None, type=int) |
| 344 | parser.add_argument("--i-just-wanna-run", action="store_true") |
| 345 | parser.add_argument("--test-details", action="store_true") |
| 346 | parser.add_argument("--min-time-limit", default=1, type=float) |
| 347 | parser.add_argument("--gt-time-limit-factor", default=4.0, type=float) |
| 348 | parser.add_argument("--mini", action="store_true") |
| 349 | parser.add_argument( |
| 350 | "--noextreme", action="store_true", help="Omit extreme test inputs" |
| 351 | ) |
| 352 | parser.add_argument( |
| 353 | "--version", default="default", type=str, help="Version of the dataset" |
| 354 | ) |
| 355 | args = parser.parse_args() |
| 356 | |
| 357 | evaluate(args) |
| 358 | |
| 359 | |
| 360 | if __name__ == "__main__": |