用 10 万条微信聊天记录和 280 篇博客文章，我克隆了一个...

tanvir

Matrix 精选 Matrix 是少数派的写作社区，我们主张分享真实的产品体验，有实用价值的经验与思考。我们会不定期挑选 Matrix 最优质的文章，展示来自用户的最真实的体验和观点。 文章代表作者个人观点，少数派仅对标题和排版略作修改。 除了开飞机，做出完美的烤肋排，获得 6 块腹肌以及让公司赚大钱之外，我一直以来也想做成的一件事，是实现一个聊天机器人。 和多年前简单通过关键词匹配来回复的小黄鸡，到现在已经堪比人类智慧的 ChatGPT，聊天 AI 一直在进步，但他们和我想的都有一些区别。 我在微信上和很多人聊天，有的人聊得多，有的人聊的少，我在群里也会说话，我还会写博客和公众号，我会在很多地方留下评论，我也会发微博，这些是我在网络世界留下的痕迹，某种程度上这些东西构成了世界对我的认知，从这个角度上，也就构成了我。将这些数据——我对不同消息的回复，我写的每一篇文章，每一句话，我发过的每一条微博等， 哥伦比亚 电话号码数据库
全部汇入一个神经网络模型之中，去更新其中的参数，理论上就可以获得一个我的数字拷贝。 从原理上，这和对 ChatGPT 说「请扮演一个叫小王的人，他的经历是XXX」不同，虽然以 ChatGPT 的智慧，这样的扮演毫不费力且可能以假乱真，但其实 ChatGPT 的参数并没有改变，这更像是「扮演」而非「重塑」，ChatGPT 的上千亿个参数并没有改变一个，它从你之前的文本中获取一些信息，然后用它的智慧来应对你。 我喜欢在文章里写一些没有太大用处的比喻，并喜欢在最后做一些总结，跟人聊天的时候，我喜欢用「可以的」来敷衍，同时用卧槽来表示惊讶，我某些时候少言寡语，另一些时候则滔滔不绝，这是我自己能够感知的一些特点，此外还有更多我自己都无法察觉的固定习惯，但这些微妙又模糊的东西，我无法告诉 ChatGPT，这就像你做自我介绍，可以介绍的很丰富，但和真正的你，依然差之千里，甚至有时候截然相反，因为当我们意识到自己的存在的时候，我们其实是在表演自己，只有在我们没有意识到自己的存在，而融入生活的时候，我们才是真正的自己。 在 ChatGPT 发布之后基于兴趣去学习文本大模型的技术原理，有一种 49 年入国军的感觉，因为对个人爱好者来说，做出在任何方面或再细小的垂直领域超越 ChatGPT 的可能性已经不存在了，同时它又不开源，除了使用，没有别的可打的主意。 但最近 2 个月出现的一些开源文本预训练模型，例如大名鼎鼎的 llama 和 chatglm6b，让我那个克隆自己的想法又开始蠢蠢欲动起来，上周，我准备试试看。 首先我需要数据，足够多且全部都由我产生的数据，最简单的数据来源是我的微信聊天记录和博客，因为没有完全清空微信聊天记录，从 2018 年到现在，我手机里的微信占了 80G 的储存空间，对此我一直有一种家里被人强占一块地儿的感觉，现在如果能把这里的数据利用起来，我会和这 80G 冰释前嫌。