[程序员] 二开信源管道跑了半个月，聊聊用 pgvector 语义降噪和防重推送踩的几个深坑
平时转型做独立开发与出海调研，最大的痛点就是每天被垃圾信息淹没：刷推特、Product Hunt 和各大社区，充斥着大量套壳工具互吹与营销号焦虑小作文。想找点真正有落地参考价值的技术选型、开源轮子，每天在信息堆里淘金太累。 半个月前基于开源底座二开了一套垂直情报过滤管道，单机部署跑在吃灰的 Linux VPS 上。跑顺了之后每天只推 2~3 条高信噪比卡片，省心很多。但回顾这半个月的二开踩坑，有几个工程层面的细节值得复盘： 1. 语义向量去重的边界与阈值陷阱 最开始想用 pgvector 解决「不同媒体在 48 小时内反复报道同一件事」的冗余。直接用文本做 embedding ，发现余弦相似度阈值如果设在 0.85 ，很多同赛道但不同技术方案的独立项目会被误杀；如果放宽到 0.92 ，换个标题的通稿又漏了进来。 最终的解法：先做实体与依赖层提取（ GitHub Repo 归一化、顶级域名折叠），实体命中直接折叠；实体不命中才走 5 轴语义打分（落地可行性、商业闭环、代码成熟度），把纯公关稿在打分层直接干掉。 2. Prepared Statement 的异步双写灾难 这是最隐蔽的一个线
阅读原始来源![原始网页截图: [程序员] 二开信源管道跑了半个月，聊聊用 pgvector 语义降噪和防重推送踩的几个深坑](/media/e2ec23b9c573cdfdc5ad4710?v=2026-11-07T04%3A51%3A20.757Z)
来源记录
研究分析
来源记录
来源描述：平时转型做独立开发与出海调研，最大的痛点就是每天被垃圾信息淹没：刷推特、Product Hunt 和各大社区，充斥着大量套壳工具互吹与营销号焦虑小作文。想找点真正有落地参考价值的技术选型、开源轮子，每天在信息堆里淘金太累。 半个月前基于开源底座二开了一套垂直情报过滤管道，单机部署跑在吃灰的 Linux VPS 上。跑顺了之后每天只推 2~3 条高信噪比卡片，省心很多。但回顾这半个月的二开踩坑，有几个工程层面的细节值得复盘： 1. 语义向量去重的边界与阈值陷阱 最开始想用 pgvector 解决「不同媒体在 48 小时内反复报道同一件事」的冗余。直接用文本做 embedding ，发现余弦相似度阈值如果设在 0.85 ，很多同赛道但不同技术方案的独立项目会被误杀；如果放宽到 0.92 ，换个标题的通稿又漏了进来。 最终的解法：先做实体与依赖层提取（ GitHub Repo 归一化、顶级域名折叠），实体命中直接折叠；实体不命中才走 5 轴语义打分（落地可行性、商业闭环、代码成熟度），把纯公关稿在打分层直接干掉。 2. Prepared Statement 的异步双写灾难 这是最隐蔽的一个线
现有背景
可供比较的近期同类记录：“[程序员] 死磕一个网页感知系统的来时路（二）” (V2EX, 2026年11月7日)；“[推广] 超低倍率 Ai 中转聚合站全天绿色,gpt 稳定不降智 0.06.注册赠送 1 刀体验额度” (V2EX, 2026年11月7日)。主题相近仅用于导航，未核验其是否属于同一需求或独立证据。
研究状态
这条记录尚不能可靠归入主类，未生成商业或性能结论。
缺失证据
需要核验主要事件、受影响对象与原始证据。
下一步
阅读原文，明确它支持什么决策，再选择对应分析框架。