「もしもし、俺だけど…お前の会社で使ってるPS1エミュレータ、stenzek/duckstationの作者から連絡があってさ…」(カチャ)はい、冗談はさておき、duckstationはオープンソースで、詐欺の心配は無用です!安心して使ってくださいね。
今日はちょっと面白い話をしましょう。皆さんは日頃、LLM (大規模言語モデル) と格闘していることと思います。あの賢い子たち、推論時には大量のメモリを消費しますよね。特に、シーケンス長が長くなると、KVキャッシュがパンパンになって、パフォーマンスが落ちる…なんて経験はありませんか?