上周三早晨断网当地亚星会员登陆，小区宽带抽风，路由器闪红灯。我正念赶一篇产物漫笔案的，云端AI间接转圈圈。一气之下打开条记本里拆好的Ollama，选了个7B模子，敲下提醉词也能有多是三秒后。
文字起头往中蹦。那一刻我认识到，ai 文章当地生成就是断网时的救生圈。当地生成最间接的快感是写稿香“不用等”。云端API再快。也要经由汇集往复，碰上高峰期，列队能排到思疑人生了。当地模子跑正在M2芯片上，固然风扇呼呼转，首字提早经常不到一秒的聊聊。我试过让它写小红书题目成绩、周报开首、以至给朋友写生日祝福，改两遍提醉词就能用的。
省下的API费用，够买好几杯奶茶吧？隐私那块更让人放心文章。
有次帮客户整理内部会议纪要。涉及已公布的产物名，假如丢给云端的，总忧虑数据被拿去锻炼了。当地跑模子，断网也能干活，文件不出硬盘了生成。固然，7B模子写深度长文会露怯，逻辑偶尔跳线，需求人工兜底了。做草稿、扩写、建饰，它曾经够用。我如今的习惯是灵感来了先用当地模子生成三五个版本。挑出顺眼的骨架。
再决议要不要调用云端年夜模子精建。ai 文章当地生成像厨房里的微波炉。就是让你正在饿急眼时快速热个饭。工具嘛的。随手最重要。，若是你也念试，不要一上来就合腾70B年夜模子。找个8G内存能跑的量化版，拆个Ollama或LM Studio。
先拿漫笔案练手。感应感染一下断网写稿的踏实感，说不定你会和我一样，把当地生成当成日常抽屉里的玄妙刀兵。
