好家伙,一觉醒来《费曼学习+刻意练习 用英语快速学习任何新知识》这个帖子2M阅读了!涨了3000粉,这太疯狂了!🤣
💡看来我不得不把这个一个想法做成产品了。
我决定公开构建这次产品,build in public 。在3天内上线这个最小可行性产品。
👉build in public 步骤1:
我决定从产品的一些技术难题开始,现在cursor已经让构建产品没有什么门槛,让cursor帮我解答和设计架构:
这个产品对我来说最大的难点是,如何把大容量pdf转化成prompt输入给openai api. 因为pdf有可能有几百页,而且openai api每次输入的token是有限的。
cursor给我答案是:
1.PDF 解析和存储
2.文本分块和向量化
3.问答接口
关于PDF 解析,文本分块很好理解,就是把PDF转成文字后再分块投喂给openai,
但是向量化和向量数据库触及到了我的知识盲区,这是一个AI应用重要的概念,还好我用费曼学习+刻意练习让我理解了这个领域:
简单来说,AI对文本,视频,图片是通过嵌入向量,提取其特征来表示相似度,相关度等,这使得GPT能够理解同一个词在不同上下文中可能有不同的含义。
对于具体算法我们不必深究,openai提供的embedding-ada-002的模型可以很好的将文本嵌入向量,我们直接用就行了。
上面步骤其实就是大火产品
chatpdf.com 的核心技术,其实没什么难的,费曼学习+刻意练习可以帮我们学习一切陌生的知识。
解决了核心问题,我的的技术框架如下:
nuxt3+tailwind开发前端
node.js开发后端
调用openai api
embedding-ada-002 嵌入向量
supabase 作为向量数据库和关系数据库+鉴权登录
OK, 解决了技术架构问题,下一步就是简单设计产品。