ChatGPT在短期内无法完全取代传统搜索引擎,但会逼着传统搜索引擎加速改变
子飞 2023-02-06 15:15 1210 浏览 0 评论
伴随ChatGPT在全球市场的流行,其在内容深度搜索中的突出表现引发了市场对其是否能替代传统搜索引擎的广泛讨论。我们认为ChatGPT在中短期内无法完全取代传统搜索引擎,也较难改变当前全球搜索引擎市场竞争格局,但料将会加速搜索引擎演化进程,并在中期形成以传统搜索为主、ChatGPT类模型为辅的新搜索引擎形态,相应带来谷歌等传统搜索引擎巨头AI投入大幅增加。ChatGPT优化了问题与答案生成间的匹配精准度,用户体验远好于传统搜索引擎。但背后系列短板亦阻碍了其在中短期对传统搜索引擎的可能取代:
1)受制于模型训练方式,数据难以实时更新。
2)单次搜索成本过于高昂,我们测算生成一条信息的成本在1.3美分左右,是目前传统搜索引擎的3-4倍。
3)统计学模型产生的内容真假混杂,用户难以辨别。其中1、3点有望在技术端优化后,通过结合传统搜索引擎的方式部分解决问题,成本问题中短期内或只能等待硬件成本的继续下降。ChatGPT产生的鲶鱼效应,料将推动全球AI产业化进程的全面提速,以及AI生成内容时代的全面到来。
ChatGPT较传统搜索:在GPT3.5基础上结合人类反馈强化学习进行训练,优化了问题与答案生成间的匹配精准度。
ChatGPT能大幅优化用户的搜索体验,但要取代传统搜索引擎仍然面临几个关键技术瓶颈。
1) 数据的实时性问题。目前英文版本的ChatGPT数据截至2021年,而中文版本的ChatGPT数据截至2020年,数据库版本滞后的主要原因是由于语言类大模型的技术限制。ChatGPT目前的在GPT大模型上加入标注数据训练模式让实时数据的引入非常困难,如果要重新预训练模型,我们估计每次预训练需要用到1000块以上的英伟达A100显卡工作半个月至一个月的时间,成本在百万美元以上。而如果采用使用微调的方式专门训练新知识,会导致新知识的在模型内的权重过高,频繁的微调也会导致模型“遗忘”旧的知识。
2)数据的真实性仍不足可靠。在大量的测试后我们发现,虽然ChatGPT回答问题的准确性有所提高,但如果提出的问题较为模糊或者本身包含部分错误信息在内,模型有可能以“一本正经”的语气生成完全错误甚至凭空捏造的回答。真假答案的混杂会让用户在需要对专业性问题寻求答案时产生严重的困扰,这也是目前语言类大模型普遍存在的问题。据CSDN微信公众号报道,2022年11月几乎同一时间上线的Meta服务科研领域的语言类大模型Galactica就因为真假答案混杂的问题,测试仅仅3天就被用户投诉下线。
3)模型在线推理端成本高昂。根据模型的现有数据,我们假设每次生成的回答长度平均为50个词,使用8x英伟达A100用于推理的情况下,我们估算ChatGPT每一次生成答案的成本约为1.3美分,约为谷歌搜索引擎每次搜索成本的3倍。如果每天面对数以亿计用户的搜索请求,如此高昂的成本是公司所不能承受的,中短期内完全取代传统搜索引擎在商业模式上无法做到。