田培辰

(长安大学信息工程学院，陕西西安  710000)

 

摘 要：通过观看交通监控视频可以有效获得有价值的交通信息参数，如行人及车辆运行的三维信息等。分析和处理这些交通参数并有效利用它们将对智能化交通和自动驾驶领域产生至关重要的影响。获得有效交通参数的一个非常重要的前提是必须对用于监控交通的相机进行标定，并利用相机的内外参数建立空间信息和图像信息的映射关系，从而获得有价值的交通信息参数。在当前交通场景下，基于消失点的相机自标定算法存在一些不足。例如，只有在交通场景中有斑马线、车道或建筑物的情况下，才能获得与其相关的消失点；容易受天气因素影响，导致检测被标定目标时精准度不高。基于上述问题，本文充分考虑到我们在城市道路场景中的行人及车辆运动目标以及在高速公路场景下的车辆运动目标来提取不同的消失点，并利用消失点相机自标定模型研究城市道路和高速公路场景标定问题。

关键词：消失点；城市道路；高速公路；相机自标定；目标检测

中图分类号：U491 文献标识码：A 文章编号：1671-2064(2023)02-2024-03

 

1.相机标定的相关理论条件

在对城市道路场景以及高速公路场景下的行人及车辆运动轨迹和相关信息进行相机标定的过程，指的就是求该场景下监控相机的内部参数和外部参数的过程。相机的内部参数主要是指相机焦点的畸变位置记忆相机的主点位置，外部参数指的是相机在世界坐标系中所构建的矩阵以及平移产生的向量及之间的关系。城市道路场景以及高速公路场景下的监控相机的内外参数能够构成道路上的物体运动平面图像，并能由此结合相关算法形成立体空间，这二者之间的集合映射关系就是由监控相机的内部参数、外部参数构成的。

1.1投影几何

在相机标定和分析各种坐标系和成像模型的过程中会运用到几何知识，这个几何信息并不局限于二维空间，因此需要事先知道何为投影几何。投影几何主要指的就是图像投影研究领域中的一个旁支部分，投影几何的有效运用能够为城市道路和高速公路场景下的交通信息收集和研究，并为监控相机的成像模型和相机的自标定提供理论基础。

1.2消失点相机标定

1.2.1消失点涵义

根据相机的线性成像模型，消失点是立体空间中的平行线通过透视及线与线之间的变换，最后相交并映射在平面上的点。消失点的形成主要是产生于空间内，平行线在平面图像中通过不断延伸而最终呈现出的一种愈发不平行且逐渐相交的趋势。根据投影几何的相关知识可知，在同一立体空间内，相互平行的两条或多条平行线，通过不断延伸能够在无穷远的地方形成一个点，这个点就是消失点，也就是通过相机的光心和平行直线的光线与像面形成的交点，可以观察到两条或多条直径相同的平行线能够在平面图像上呈现相交的趋势，而非完全平行。在实际的交通场景中，由于运动目标的运动轨迹往往是呈现平行线和垂直线，因此，我们可以直接利用平面图像中的平行线信息获取消失点的位置，并对监控相机设置自标定功能。然后，根据消失点的性质，来建立相机标定过程中的内外参数与消失点之间的联系。

1.2.2关于消失点的标定算法

本文通过观察实际交通场景中的交通视频，发现在实际交通场景中，车辆和行人本身的运动轨迹就是大量的平行线信息，因此很容易得到其延伸到最终的消失点。在此基础上，可以利用所观测到的道路上的运动目标的运动轨迹来提取消失点的相关信息，从而有效地设计相机自标定。剑桥大学的Roberto Cipolla团队首次提出了基于消失点的标定算法，这一团队还针对建筑物立体重建设计出相关应用程序，并从不同角度拍摄校准后的图像，以消失点为出发点进行相机自标定就是其方法之一。这一方法在实际的应用过程中能够有效地获取准确的正交方向消失点的信息，接着计算出相机的内外参数进行相机标定。这一方法经实践检验可知，计算过程也比较简单易理解。

2.运动目标的提取及估计消失点

2.1提取运动目标

考虑到不同的交通场景有不同的特点，相机标定和计算要采用不同的方法。城市道路场景中的机动车辆及行人行走的信息较为明确，且城市道路一般都是呈直线状态的；而高速公路场景中基本没有行人移动的信息，且高速公路有很多都是蜿蜒的。因此，在城市道路场景下和在高速公路场景下，应分别使用城市道路中运动着的车辆和行人相关轨迹信息以及与高速公路上运动着的车辆本身相关的线性信息，并根据这两种不同的交通场景的运动目标以及交通场景的运行特点采取不同的计算方法来完成相机自标定。

2.1.1城市道路下的提取

城市交通场景中的运动目标包括运动的车辆以及行人。这些运动目标都在同一个平面上运动，运行的机动车辆往往也是沿着规定车道行驶，且车道为一个或多个直线或接近直线的路段。运行着的机动车辆的图像投影也是沿着车道方向不断延伸，这些线段所对应的往往是对称轴方向或垂直方向，且运动着的行人的身体基本上都是垂直于地面的。通过观察这些城市道路场景中的属性能够发现，城市道路场景下，我们可以利用车辆运动、行人运动等相关属性来估计三个正交方向上的线方程组，并通过估计行人的运动主轴方向和运动着的机动车辆的延伸方向来提取线方程。

2.1.2高速公路下的提取

相对于城市道路场景下的监控相机，在获取车辆自身直线信息时，在高速公路场景下获取的信息往往不够清晰，并且高速公路道路并非完全笔直。因此，在这种场景下，利用HOG梯度方向的统计直方图直接提取高速公路上行驶的车辆的直线是不可能的。本文采用沿道路方向的直线方程和沿水平方向的直线方程进行提取。

2.2估计消失点

2.2.1霍夫变换

针对传统霍夫变换检测消失点效率较低的问题，本文提出利用级联霍夫变换方法提取消失点，将两种场景中提取到的直线段变换到平行坐标系中，经过不断累积获得消失点，在该空间下能够更直观和准确地检测出消失点的位置，也包括趋于无穷远的消失点。

传统的霍夫变换方法是一种穷举算法，效率相对较低且不稳定。当同时存在多条直线时就相对而言不容易找到每条平行线的消失点。因此，采用级联霍夫变换的方法来表示和检测计算数值更为有效。级联霍夫变换法不仅能有效地变换无限的原始图像空间，还能使其在菱形空间内进行计算。

根据霍夫变换的这一性质，将每一点变换为立体空间下的直线。当所有的点都被变换成直线后，就会在空间内通过延伸而最终相交并重叠，可以形成一个局部极大值点，这个极大值点就是对应图像中的直线，也就是我们即将要提取的直线。采用传统的霍夫变换方法来检测消失点时会存在一定的局限性，因此，通过利用级联的霍夫变换算法，引入平行坐标系，将无限延伸的图像空间转换到菱形空间内，以实现线到线的变换

2.2.2级联霍夫变换

通过用平行坐标系的方式建立三维坐标来解决消失点的问题，能够将三维及以上数据的分量用平行坐标轴表示。在三维坐标系中，不同等距的平行轴能够代表不同的维度，坐标值的点也能够代表其投影在坐标系上的反映。根据上述变换过程，可以将采集到的城市道路和高速公路场景的线性信息以线性变换的方式变换到菱形空间来估计消失点，并使用传统的霍夫变换算法对菱形空间中的线方程进行动态累积投票。最后得出菱形空间内的最大值也就是消失点最终的位置。与其他估计方法相比，该方法无需重复计算即可动态估计出消失点的具体位置，检测的实时性很高。

3.交通场景中利用消失点进行自标定测量

在具体的交通场景中，可以使用单目、固定式或非旋转式相机进行消失点的自标定测量，可以在交通场景中以俯视拍摄的方式进行拍摄。并在城市道路和高速公路中分别基于三个不同维度的消失点来进行计算。

3.1城市道路自标定

首先，要进行目标检测。城市道路交通场景视频输出后，利用改进的高斯混合模型算法提取城市道路交通场景中的运动目标并对其进行区域标记。接着根据分类规则对城市道路交通场景中的非机动车进行具体分类，从而获得机动车和行人的运动信息以完成检测；利用HOG直方图算法提取城市道路交通场景中的运动车辆，以有效统计机动车辆的像素及信息，得到车辆的行驶方向和与之垂直的线方程组。行驶方向和垂直方向的线方程组分别设为集合X和集合Y，行人运动的轨迹为集合Z；根据级联霍夫变换，将三组集合方程在菱形空间中求出三个消失点的位置。利用这三个消失点得到内参数矩形阵列中的未知变量和主点，结合已知的相机高度得到平行向量的解。

3.2高速公路自标定

在高速公路场景中，利用集合X、Y、Z进行相机自标定实验。首先是检测目标。通常高速公路中运行的往往是机动车辆，所以一般不用检测行人运动。接着利用KLT算法追踪车辆的焦点，这样就可以从高速公路上行驶的车辆轨迹直线上获得准确的数据。筛选后再根据LSD检测法，得到水平方向行驶的机动车直线方程，筛选设置为集合A，而垂直方向线方程，筛选设置为集合B；接着将集合A、B分别投票，进而得到这两个方向上的消失点。最后，假设图像中间的是主点，再据此进一步计算焦距，得到第三个消失点。利用获得的三个消失点，获得内部参数矩形阵列中的未知变量和主点。最后结合已知的相机高度，得到平移向量T的解。

4.结语

特定场景下的交通交通健康视频能够采集到许多有用的信息，合理利用该信息能够为交通规划提供重要数据以参考。相机标定是交通系统智能化的关键部分，但传统相机存在标定复杂、不可控因素多等问题。因此，基于不同维度的消失点的相机标定方法被广泛应用。城市道路和高速公路场景中有行驶着的机动车辆和行人等大量的运动信息，利用相机自标定的方式针对不同的运动目标提取消失点，能够获得较为精确的相机内外参数。此外，通过对具体场景不同高度的拍摄和监控，也可验证相机高度对内外参数的影响较小。

 

参考文献

[1] 张新月.城市道路及高速公路场景下标定问题研究[D].长安大学,2021.

[2] 严腾.高速公路场景下相机自动标定算法研究[D].长安大学,2018.

[3] 董煊,王秦艳.高速公路规划建设中的选线研究[J].门窗, 2014,(10):323,325.

 

 

收稿日期：2024-03-9

作者简介：田培辰（2002—），男，河南镇平人，本科，研究方向：计算机科学与技术。

 

Research on the Calibration of Urban Roads and Expressway Scenes

TIAN Peichen

(Chang'an University College of Information Engineering, Xi'an  Shaanxi  710000)

Abstract:By watching traffic monitoring video, valuable traffic information parameters, such as three-dimensional information of pedestrians and vehicles, can be effectively obtained. Analyzing and processing these traffic parameters and using them effectively will have a crucial impact on the field of intelligent mobility and autonomous driving. A very important prerequisite for obtaining effective traffic parameters is that the camera used to monitor traffic must be calibrated, and the mapping relationship of spatial information and image information must be established by using the internal and external parameters of the camera, so as to obtain valuable traffic information parameters. In the current traffic scenario, the camera self-calibration algorithm based on vanishing point has some shortcomings. For example, vanishing points associated with them can only be obtained if there are zebra crossings, lanes, or buildings in the traffic scene; It is easily affected by weather factors, resulting in low accuracy when detecting the target being calibrated; For when the vanishing point disappears and when the vanishing point of infinity or appears. Based on the above problems, this paper fully considers our pedestrian and vehicle movement targets in urban road scenes and vehicle motion targets in highway scenes to extract different vanishing points, and uses the vanishing point camera self-calibration model to study the calibration problems of urban roads and expressway scenes.

Key words:vanishing point;urban roads;freeway;camera self-calibration;object detection