plamo-translate

$ nix develop
$ pdm install
$ pdm run python -m mlx_lm generate --model mlx-community/plamo-2-translate --extra-eos-token '<|plamo:op|>' --prompt 'PLaMo翻訳は、PFNグループがフルスクラッチ開発する国 産LLM「PLaMo」のモデルの1つとして、特に英文和訳および和文英訳の質と精度が海外のモデルと比較して高くなるよう、両言語を高 い比率で含む独自のデータセットで学習を行いました。汎用のLLMはサイズが大きいため多くの場合クラウド利用が前提ですが、PLaMo翻訳は特化型でサイズがコンパクトかつ計算効率の高い設計のため、オンプレミスやローカル環境での利用も可能です。今後は、各社が自社サービスとPLaMo翻訳を連携可能にするAPIも開発する予定です。（PLaMo翻訳についての技術ブログはこちら）'
Fetching 9 files: 100%|███████████████████████████████████████████████████████████████| 9/9 [00:00<00:00, 191617.95it/s]
==========
PLaMo Translation was developed as one of the models in PFN Group's full-custom LLM "PLaMo," with special focus on achieving higher quality and accuracy in both English-to-Japanese and Japanese-to-English translation compared to foreign models. To achieve this, we trained the model using a custom dataset that incorporates high ratios of both languages. While general-purpose LLMs typically require cloud-based deployment due to their large size, PLaMo Translation was designed with specialized functionality, compact size, and highly efficient computation, making it suitable for on-premise or local environment deployment
==========
Prompt: 147 tokens, 117.079 tokens-per-sec
Generation: 100 tokens, 21.626 tokens-per-sec
Peak memory: 5.867 GB