| 157 | return tokenizer, model |
| 158 | |
| 159 | def parse_args(): |
| 160 | parser = argparse.ArgumentParser() |
| 161 | parser.add_argument('--dataset', type=str, default='Beauty', help='Beauty / Sports / Toys') |
| 162 | parser.add_argument('--root', type=str, default="") |
| 163 | # parser.add_argument('--gpu_id', type=int, default=0) |
| 164 | parser.add_argument('--plm_name', type=str, default='qwen') |
| 165 | parser.add_argument('--plm_checkpoint', type=str, default='xxx', help='Qwen model path') |
| 166 | parser.add_argument('--max_sent_len', type=int, default=2048) |
| 167 | parser.add_argument('--word_drop_ratio', type=float, default=-1, help='word drop ratio') |
| 168 | return parser.parse_args() |
| 169 | |
| 170 | if __name__ == '__main__': |
| 171 | args = parse_args() |