自动驾驶第一性之纯视觉静态重建

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

纯视觉的标注方案，主要是利用视觉加上一些GPS、IMU和轮速传感器的数据进行动态标注。当然面向量产场景的话，不一定非要是纯视觉，有一些量产的车辆里面，会有像固态雷达（AT128）这样的传感器。如果从量产的角度做数据闭环，把这些传感器都用上，可以有效地解决动态物体的标注问题。但是我们的方案里面，是没有固态雷达的。所以，我们就介绍这种最通用的量产标注方案。

纯视觉的标注方案的核心在于高精度的pose重建。我们采用Structure from Motion (SFM) 的pose重建方案，来保证重建精度。但是传统的SFM，尤其是增量式的SFM，效率非常慢，计算复杂度昂贵，计算复杂度为O(n^4)，n是图像的数量。这种重建的效率，对于大规模模型的数据标注，是没有办法接受的，我们对SFM的方案进行了一些改进。

改进后的clip重建主要分为三个模块：1）利用多传感器的数据，GNSS、IMU和轮速计，构建pose_graph优化，得到初始的pose，这个算法我们称为Wheel-Imu-GNSS-Odometry (WIGO)；2）图像进行特征提取和匹配，并直接利用初始化的pose进行三角化，得到初始的3D点；3）最后进行一次全局的BA（Bundle Adjustment）。我们的方案一方面避免了增量式SFM，另一方面不同的clip之间可以实现并行运算，从而大幅度的提升了pose重建的效率，比起现有的增量式的重建，可以实现10到20倍的效率提升。

在单次重建的过程中，我们的方案也做了一些优化。例如我们采用了Learning based features（Superpoint和Superglue），一个是特征点，一个是匹配方式，来替代传统的SIFT关键点。用学习NN-Features的优势就在于，一方面可以根据数据驱动的方式去设计规则，满足一些定制化的需求，提升在一些弱纹理以及暗光照的情况下的鲁棒性；另一方面可以提升关键点检测和匹配的效率。我们做了一些对比的实验，在夜晚场景下NN-features的成功率会比SFIT提升大概4倍，从20%提升至80%。

在得到单个Clip的重建结果之后，我们会进行多个clips的聚合。与现有的HDmap建图结构匹配的方案不同，为了保证聚合的精度，我们采用特征点级别的聚合，也就是通过特征点的匹配进行clip之间的聚合约束。这个操作类似于SLAM中的回环检测，首先采用GPS来确定一些候选的匹配帧；之后，利用特征点以及描述进行图像之间的匹配；最后，结合这些回环约束，构造全局的BA（Bundle Adjustment）并进行优化。目前我们这套方案的精度，RTE指标远超于现有的一些视觉SLAM或者建图方案。

实验：采用colmap cuda版，使用180张图，3848* 2168分辨率，手动设置内参，其余使用默认设置，sparse重建耗时约15min，整个dense重建耗时极长（1-2h）

重建结果统计

特征点示意图

sparse重建效果

直行路段整体效果

地面锥桶效果

高处限速牌效果

路口斑马线效果

容易不收敛，另外试了一组图像就没有收敛：静止ego过滤，根据自车运动每50-100m形成一个clip；高动态场景动态点滤除、隧道场景位姿

利用周视和环视多摄像头：特征点匹配图优化、内外参优化项、利用已有的odom。

https://github.com/colmap/colmap/blob/main/pycolmap/custom_bundle_adjustment.py

pyceres.solve(solver_options, bundle_adjuster.problem, summary)

3DGS加速密集重建，否则时间太长无法接受

# git  # github  # 算法  # https  # 传感器  # 量产  # 可以实现  # 会有  # 闭环  # 尤其是  # 多个  # 采用了  # 有效地  # 没有办法  # 这套 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 网络优化91478 】 【 技术知识72672 】 【 云计算0 】 【 GEO优化84317 】 【 优选文章0 】 【 营销推广36048 】 【 网络运营41350 】 【 案例网站102563 】 【 AI智能45237 】

相关推荐： Kaiber AI视频制作教程：轻松打造吸睛AI视频  AI赋能科研探索：Google Research创新加速科学发现  重温经典：宝可梦动画中的精彩瞬间与幕后花絮  播客数据深度解析：揭秘全球听众分布和增长策略  eBookWriter AI：无需写作也能创作专业电子书  TechInternPath.ai：AI驱动的实习之路，助你梦想成真  定价3499炒到1.2万，豆包AI手机遭“封杀”，变革之路何去何从？  怎么用AI帮你解读复杂的学术论文？快速抓住核心论点和证据  Feelin网页版在线入口 Feelin官方网站导航  DeepSeek解释机器学习模型 DeepSeek数据科学学习指南  百度AI搜索能否查实时新闻_百度AI搜索新闻频道与更新频率【方法】  百度AI助手网页版入口 免安装直接打开入口  AI海报设计终极指南：工具、技巧与避坑全攻略  暖心“小艺通话”：让语障人士告别沟通困境，拥抱平等生活  即梦ai能否生成国风插画_即梦ai国风元素调用与文化符号添加【技巧】  AI赋能营销：5分钟快速生成品牌营销素材全攻略  智行ai抢票能否跨站抢票_智行ai抢票跨站抢票开启与规则【教程】  DeepSeek编程怎么用_DeepSeek编程使用方法详细指南【教程】  如何用AI帮你制定个人OKR？目标管理从未如此简单  Xcode 26 Beta 新功能：集成 ChatGPT 代码助手全面测评  AI复古风照片编辑教程：Gemini AI轻松打造复古时尚  利用 DeepSeek 辅助进行编译器原理课程学习  生成式AI革新客户服务：提升效率与个性化体验  提升Fortnite OG游戏性能：NVIDIA控制面板最佳设置  Ocfotech AI 房地产工具：提升房地产投资效率的终极指南  识别脱水警告信号：专家解读与健康指南  千问能否生成多语言年终总结_千问多语言翻译与本地化调整【攻略】  SEO必备工具：网站分析与优化终极指南  AI赋能保险销售：提升邮件营销效果的终极指南  豆包 AI 在英语单词高效背诵中的趣味应用  ChatGPT怎样用提示词模拟专家视角_ChatGPT专家视角设置【指南】  利用豆包 AI 进行个性化旅行 Vlog 脚本设计  tofai官方网站入口 tofai在线网页版登录  使用 DeepSeek 生成符合工业标准的 API 文档  Excel Copilot：AI驱动的数据分析革命，提升效率秘籍  教你用AI帮你写出有说服力的众筹项目文案  揭秘：发电机咒语的音频魔力与音乐的力量  Claude怎么用新功能故事创作_Claude故事创作使用【方法】  Brevio AI：利用AI代理提升电商营销效果  2025年最佳AI流程图工具：效率提升秘籍  AI驱动营销：如何利用人工智能构建高效营销漏斗  豆包AI怎么用提示词生成短视频脚本_豆包AI脚本提示词编写【教程】  Google Gemini 处理结构化 XML 数据转换教程  AI 时代高效开发：版本控制与 AI 协同工作流  智行ai抢票怎么选优先车次_智行ai抢票车次优先级设置技巧【指南】  ChatGPT怎么写工作汇报 职场办公效率提升与周报生成方法  通义千问网页版怎么清历史_通义千问历史清理方法【方法】  Orkestra Obsolete: 用古董乐器重塑经典“Blue Monday”  Kling 2.0终极指南：AI视频创作秘籍，告别低质量  ChatGPT官方主页入口 ChatGPT网页版快速进入指南 

 2024-05-23