如何通过RK3576配置MIPI-CSI摄像头的不同输出格式

繁花之语

MIPI-CSI是一种在嵌入式系统或移动设备中常见的摄像头接口，能够实现高速的图像数据传输。飞凌嵌入式最新推出的OK3576-C开发板拥有丰富的资源接口，其中支持5个CSI-2接口，意味着最多可同时支持5路摄像头的输入。

本篇内容就通过OK3576-C开发板为大家介绍一下RK3576处理器的Camera通路，以及如何配置MIPI-CSI摄像头的不同输出格式。

1 RK3576的camera通路

如果只有一个摄像头接入，则只开rkispx_vir0 。需要注意的是：

1. vicap和isp并没有对应关系；

2. 各个vir0/vir1这种关系本质是同一个硬件分时复用，效果等同。多个的时候尽量使用0,1,2 ... 去配置。

硬件通路框图如下：

有一个dcphy接口和两个dphy接口，接入路径如下：

单摄（接第一个dphy）

• 
  

sensor0->csi2_dphy0->mipi1_csi2->rkcif_mipi_lvds1(sditf)->rkisp_vir0

双摄（接两个dphy）

• 
  

sensor0->csi2_dphy0->mipi1_csi2->rkcif_mipi_lvds1(sditf)->rkisp_vir0sensor1->csi2_dphy3->mipi3_csi2->rkcif_mipi_lvds3(sditf)->rkisp_vir1

三摄（接dcphy和2个dphy）

sensor0->csi2_dcphy0->mipi0_csi2->rkcif_mipi_lvds(sditf)->rkisp_vir0sensor1->csi2_dphy0->mipi1_csi2->rkcif_mipi_lvds1(sditf)->rkisp_vir1sensor2->csi2_dphy3->mipi3_csi2->rkcif_mipi_lvds3(sditf)->rkisp_vir2

五摄（接dcphy，将2个dphy拆分）

sensor0->csi2_dcphy0->mipi0_csi2->rkcif_mipi_lvds(sditf)->rkisp_vir0sensor1->csi2_dphy1->mipi1_csi2->rkcif_mipi_lvds1(sditf)->rkisp_vir1sensor2->csi2_dphy2->mipi2_csi2->rkcif_mipi_lvds2(sditf)->rkisp_vir2sensor3->csi2_dphy4->mipi3_csi2->rkcif_mipi_lvds3(sditf)->rkisp_vir3sensor4->csi2_dphy5->mipi4_csi2->rkcif_mipi_lvds4(sditf)->rkisp_vir4

下图是camera各个通路的连接情况：

（注：如果是RGB数据输入后面还需要跟rkisp_virx）

2 不同平台的sensor链路情况

yuv422/rgb888输入

对于yuv422/rgb888输入的情况，常见的有三种情况：

1、自带isp的或者客户外接isp的摄像头。输入yuv422格式；

2、hdmi转mipi csi输入。一般如rk628d/f,lt6911xxx等芯片，常见的是转换成yuv422，也可以rgb888格式；

3、多路ahd，serdes。这种一个mipi口，最多可以支持4个虚拟通道，对于这几种情况，是不需要走isp的，只需要到cif即可，所以链路为 ：

• 
  

sensor->csi2_dphyX->mipiX_csi2->rkcif_mipi_lvdsX rkcif_mipi_lvdsx_sditf

以及isp节点有可以disabled掉，里面的X根据不同平台不同硬件的接法而定。

抓图使用的节点为rkcif_mipi_lvdsX对应的第一个video节点，这个可以通过media-ctl看拓扑得到，比如OK3576-C开发板上的OV5645摄像头，挂载在media1节点。

1. root@ok3576-buildroot:/# media-ctl -p -d /dev/media1
   
2. Media controller API version 6.1.57
   
3. driver          rkcif
   
4. model           rkcif-mipi-lvds1
   
5. serial
   
6. bus info        platform:rkcif-mipi-lvds1
   
7. hw revision     0x0
   
8. driver version  6.1.57
   
9. 
   
10. Device topology
    
11. 
    
12. - entity 1: stream_cif_mipi_id0 (1 pad, 11 links)
    
13.       type Node subtype V4L flags 0
    
14.       device node name /dev/video11
    
15.   pad0: Sink
    
16.           <- "rockchip-mipi-csi2":1 [ENABLED]
    
17.           <- "rockchip-mipi-csi2":2 []
    
18.           <- "rockchip-mipi-csi2":3 []
    
19.           <- "rockchip-mipi-csi2":4 []
    
20.           <- "rockchip-mipi-csi2":5 []
    
21.           <- "rockchip-mipi-csi2":6 []
    
22.           <- "rockchip-mipi-csi2":7 []
    
23.           <- "rockchip-mipi-csi2":8 []
    
24.           <- "rockchip-mipi-csi2":9 []
    
25.           <- "rockchip-mipi-csi2":10 []
    
26.           <- "rockchip-mipi-csi2":11 []
    
27. - entity 5: stream_cif_mipi_id1 (1 pad, 11 links)
    
28.       type Node subtype V4L flags 0
    
29.       device node name /dev/video12
    
30.   pad0: Sink
    
31.           <- "rockchip-mipi-csi2":1 []
    
32.           <- "rockchip-mipi-csi2":2 [ENABLED]
    
33.           <- "rockchip-mipi-csi2":3 []
    
34.           <- "rockchip-mipi-csi2":4 []
    
35.           <- "rockchip-mipi-csi2":5 []
    
36.           <- "rockchip-mipi-csi2":6 []
    
37.           <- "rockchip-mipi-csi2":7 []
    
38.           <- "rockchip-mipi-csi2":8 []
    
39.           <- "rockchip-mipi-csi2":9 []
    
40.           <- "rockchip-mipi-csi2":10 []
    
41.           <- "rockchip-mipi-csi2":11 []
    
42. - entity 9: stream_cif_mipi_id2 (1 pad, 11 links)
    
43.       type Node subtype V4L flags 0
    
44.       device node name /dev/video13
    
45.   pad0: Sink
    
46.           <- "rockchip-mipi-csi2":1 []
    
47.           <- "rockchip-mipi-csi2":2 []
    
48.           <- "rockchip-mipi-csi2":3 [ENABLED]
    
49.           <- "rockchip-mipi-csi2":4 []
    
50.           <- "rockchip-mipi-csi2":5 []
    
51.           <- "rockchip-mipi-csi2":6 []
    
52.           <- "rockchip-mipi-csi2":7 []
    
53.           <- "rockchip-mipi-csi2":8 []
    
54.           <- "rockchip-mipi-csi2":9 []
    
55.           <- "rockchip-mipi-csi2":10 []
    
56.           <- "rockchip-mipi-csi2":11 []
    
57. - entity 13: stream_cif_mipi_id3 (1 pad, 11 links)
    
58.       type Node subtype V4L flags 0
    
59.       device node name /dev/video14
    
60.   pad0: Sink
    
61.           <- "rockchip-mipi-csi2":1 []
    
62.           <- "rockchip-mipi-csi2":2 []
    
63.           <- "rockchip-mipi-csi2":3 []
    
64.           <- "rockchip-mipi-csi2":4 [ENABLED]
    
65.           <- "rockchip-mipi-csi2":5 []
    
66.           <- "rockchip-mipi-csi2":6 []
    
67.           <- "rockchip-mipi-csi2":7 []
    
68.           <- "rockchip-mipi-csi2":8 []
    
69.           <- "rockchip-mipi-csi2":9 []
    
70.           <- "rockchip-mipi-csi2":10 []
    
71.           <- "rockchip-mipi-csi2":11 []
    
72. - entity 17: rkcif_scale_ch0 (1 pad, 11 links)
    
73.       type Node subtype V4L flags 0
    
74.       device node name /dev/video15
    
75.   pad0: Sink
    
76.           <- "rockchip-mipi-csi2":1 []
    
77.           <- "rockchip-mipi-csi2":2 []
    
78.           <- "rockchip-mipi-csi2":3 []
    
79.           <- "rockchip-mipi-csi2":4 []
    
80.           <- "rockchip-mipi-csi2":5 [ENABLED]
    
81.           <- "rockchip-mipi-csi2":6 []
    
82.           <- "rockchip-mipi-csi2":7 []
    
83.           <- "rockchip-mipi-csi2":8 []
    
84.           <- "rockchip-mipi-csi2":9 []
    
85.           <- "rockchip-mipi-csi2":10 []
    
86.           <- "rockchip-mipi-csi2":11 []
    
87. - entity 21: rkcif_scale_ch1 (1 pad, 11 links)
    
88.       type Node subtype V4L flags 0
    
89.       device node name /dev/video16
    
90.   pad0: Sink
    
91.           <- "rockchip-mipi-csi2":1 []
    
92.           <- "rockchip-mipi-csi2":2 []
    
93.           <- "rockchip-mipi-csi2":3 []
    
94.           <- "rockchip-mipi-csi2":4 []
    
95.           <- "rockchip-mipi-csi2":5 []
    
96.           <- "rockchip-mipi-csi2":6 [ENABLED]
    
97.           <- "rockchip-mipi-csi2":7 []
    
98.           <- "rockchip-mipi-csi2":8 []
    
99.           <- "rockchip-mipi-csi2":9 []
    
100.           <- "rockchip-mipi-csi2":10 []
     
101.           <- "rockchip-mipi-csi2":11 []
     
102. - entity 25: rkcif_scale_ch2 (1 pad, 11 links)
     
103.       type Node subtype V4L flags 0
     
104.       device node name /dev/video17
     
105.   pad0: Sink
     
106.           <- "rockchip-mipi-csi2":1 []
     
107.           <- "rockchip-mipi-csi2":2 []
     
108.           <- "rockchip-mipi-csi2":3 []
     
109.           <- "rockchip-mipi-csi2":4 []
     
110.           <- "rockchip-mipi-csi2":5 []
     
111.           <- "rockchip-mipi-csi2":6 []
     
112.           <- "rockchip-mipi-csi2":7 [ENABLED]
     
113.           <- "rockchip-mipi-csi2":8 []
     
114.           <- "rockchip-mipi-csi2":9 []
     
115.           <- "rockchip-mipi-csi2":10 []
     
116.           <- "rockchip-mipi-csi2":11 []
     
117. - entity 29: rkcif_scale_ch3 (1 pad, 11 links)
     
118.       type Node subtype V4L flags 0
     
119.       device node name /dev/video18
     
120.   pad0: Sink
     
121.           <- "rockchip-mipi-csi2":1 []
     
122.           <- "rockchip-mipi-csi2":2 []
     
123.           <- "rockchip-mipi-csi2":3 []
     
124.           <- "rockchip-mipi-csi2":4 []
     
125.           <- "rockchip-mipi-csi2":5 []
     
126.           <- "rockchip-mipi-csi2":6 []
     
127.           <- "rockchip-mipi-csi2":7 []
     
128.           <- "rockchip-mipi-csi2":8 [ENABLED]
     
129.           <- "rockchip-mipi-csi2":9 []
     
130.           <- "rockchip-mipi-csi2":10 []
     
131.           <- "rockchip-mipi-csi2":11 []
     
132. - entity 33: rkcif_tools_id0 (1 pad, 11 links)
     
133.       type Node subtype V4L flags 0
     
134.       device node name /dev/video19
     
135.   pad0: Sink
     
136.           <- "rockchip-mipi-csi2":1 []
     
137.           <- "rockchip-mipi-csi2":2 []
     
138.           <- "rockchip-mipi-csi2":3 []
     
139.           <- "rockchip-mipi-csi2":4 []
     
140.           <- "rockchip-mipi-csi2":5 []
     
141.           <- "rockchip-mipi-csi2":6 []
     
142.           <- "rockchip-mipi-csi2":7 []
     
143.           <- "rockchip-mipi-csi2":8 []
     
144.           <- "rockchip-mipi-csi2":9 [ENABLED]
     
145.           <- "rockchip-mipi-csi2":10 []
     
146.           <- "rockchip-mipi-csi2":11 []
     
147. - entity 37: rkcif_tools_id1 (1 pad, 11 links)
     
148.       type Node subtype V4L flags 0
     
149.       device node name /dev/video20
     
150.   pad0: Sink
     
151.           <- "rockchip-mipi-csi2":1 []
     
152.           <- "rockchip-mipi-csi2":2 []
     
153.           <- "rockchip-mipi-csi2":3 []
     
154.           <- "rockchip-mipi-csi2":4 []
     
155.           <- "rockchip-mipi-csi2":5 []
     
156.           <- "rockchip-mipi-csi2":6 []
     
157.           <- "rockchip-mipi-csi2":7 []
     
158.           <- "rockchip-mipi-csi2":8 []
     
159.           <- "rockchip-mipi-csi2":9 []
     
160.           <- "rockchip-mipi-csi2":10 [ENABLED]
     
161.           <- "rockchip-mipi-csi2":11 []
     
162. - entity 41: rkcif_tools_id2 (1 pad, 11 links)
     
163.       type Node subtype V4L flags 0
     
164.       device node name /dev/video21
     
165.   pad0: Sink
     
166.           <- "rockchip-mipi-csi2":1 []
     
167.           <- "rockchip-mipi-csi2":2 []
     
168.           <- "rockchip-mipi-csi2":3 []
     
169.           <- "rockchip-mipi-csi2":4 []
     
170.           <- "rockchip-mipi-csi2":5 []
     
171.           <- "rockchip-mipi-csi2":6 []
     
172.           <- "rockchip-mipi-csi2":7 []
     
173.           <- "rockchip-mipi-csi2":8 []
     
174.           <- "rockchip-mipi-csi2":9 []
     
175.           <- "rockchip-mipi-csi2":10 []
     
176.           <- "rockchip-mipi-csi2":11 [ENABLED]
     
177. - entity 45: rockchip-mipi-csi2 (12 pads, 122 links)
     
178.       type V4L2 subdev subtype Unknown flags 0
     
179.       device node name /dev/v4l-subdev1
     
180.   pad0: Sink
     
181.           [fmt:UYVY8_2X8/1920x1080 field:none colorspace:srgb
     
182.            crop.bounds:(0,0)/1920x1080
     
183.            crop:(0,0)/1920x1080]
     
184.           <- "rockchip-csi2-dphy0":1 [ENABLED]
     
185.   pad1: Source
     
186.           -> "stream_cif_mipi_id0":0 [ENABLED]
     
187.           -> "stream_cif_mipi_id1":0 []
     
188.           -> "stream_cif_mipi_id2":0 []
     
189.           -> "stream_cif_mipi_id3":0 []
     
190.           -> "rkcif_scale_ch0":0 []
     
191.           -> "rkcif_scale_ch1":0 []
     
192.           -> "rkcif_scale_ch2":0 []
     
193.           -> "rkcif_scale_ch3":0 []
     
194.           -> "rkcif_tools_id0":0 []
     
195.           -> "rkcif_tools_id1":0 []
     
196.           -> "rkcif_tools_id2":0 []
     
197.   pad2: Source
     
198.           -> "stream_cif_mipi_id0":0 []
     
199.           -> "stream_cif_mipi_id1":0 [ENABLED]
     
200.           -> "stream_cif_mipi_id2":0 []
     
201.           -> "stream_cif_mipi_id3":0 []
     
202.           -> "rkcif_scale_ch0":0 []
     
203.           -> "rkcif_scale_ch1":0 []
     
204.           -> "rkcif_scale_ch2":0 []
     
205.           -> "rkcif_scale_ch3":0 []
     
206.           -> "rkcif_tools_id0":0 []
     
207.           -> "rkcif_tools_id1":0 []
     
208.           -> "rkcif_tools_id2":0 []
     
209.   pad3: Source
     
210.           -> "stream_cif_mipi_id0":0 []
     
211.           -> "stream_cif_mipi_id1":0 []
     
212.           -> "stream_cif_mipi_id2":0 [ENABLED]
     
213.           -> "stream_cif_mipi_id3":0 []
     
214.           -> "rkcif_scale_ch0":0 []
     
215.           -> "rkcif_scale_ch1":0 []
     
216.           -> "rkcif_scale_ch2":0 []
     
217.           -> "rkcif_scale_ch3":0 []
     
218.           -> "rkcif_tools_id0":0 []
     
219.           -> "rkcif_tools_id1":0 []
     
220.           -> "rkcif_tools_id2":0 []
     
221.   pad4: Source
     
222.           -> "stream_cif_mipi_id0":0 []
     
223.           -> "stream_cif_mipi_id1":0 []
     
224.           -> "stream_cif_mipi_id2":0 []
     
225.           -> "stream_cif_mipi_id3":0 [ENABLED]
     
226.           -> "rkcif_scale_ch0":0 []
     
227.           -> "rkcif_scale_ch1":0 []
     
228.           -> "rkcif_scale_ch2":0 []
     
229.           -> "rkcif_scale_ch3":0 []
     
230.           -> "rkcif_tools_id0":0 []
     
231.           -> "rkcif_tools_id1":0 []
     
232.           -> "rkcif_tools_id2":0 []
     
233.   pad5: Source
     
234.           -> "stream_cif_mipi_id0":0 []
     
235.           -> "stream_cif_mipi_id1":0 []
     
236.           -> "stream_cif_mipi_id2":0 []
     
237.           -> "stream_cif_mipi_id3":0 []
     
238.           -> "rkcif_scale_ch0":0 [ENABLED]
     
239.           -> "rkcif_scale_ch1":0 []
     
240.           -> "rkcif_scale_ch2":0 []
     
241.           -> "rkcif_scale_ch3":0 []
     
242.           -> "rkcif_tools_id0":0 []
     
243.           -> "rkcif_tools_id1":0 []
     
244.           -> "rkcif_tools_id2":0 []
     
245.   pad6: Source
     
246.           -> "stream_cif_mipi_id0":0 []
     
247.           -> "stream_cif_mipi_id1":0 []
     
248.           -> "stream_cif_mipi_id2":0 []
     
249.           -> "stream_cif_mipi_id3":0 []
     
250.           -> "rkcif_scale_ch0":0 []
     
251.           -> "rkcif_scale_ch1":0 [ENABLED]
     
252.           -> "rkcif_scale_ch2":0 []
     
253.           -> "rkcif_scale_ch3":0 []
     
254.           -> "rkcif_tools_id0":0 []
     
255.           -> "rkcif_tools_id1":0 []
     
256.           -> "rkcif_tools_id2":0 []
     
257.   pad7: Source
     
258.           -> "stream_cif_mipi_id0":0 []
     
259.           -> "stream_cif_mipi_id1":0 []
     
260.           -> "stream_cif_mipi_id2":0 []
     
261.           -> "stream_cif_mipi_id3":0 []
     
262.           -> "rkcif_scale_ch0":0 []
     
263.           -> "rkcif_scale_ch1":0 []
     
264.           -> "rkcif_scale_ch2":0 [ENABLED]
     
265.           -> "rkcif_scale_ch3":0 []
     
266.           -> "rkcif_tools_id0":0 []
     
267.           -> "rkcif_tools_id1":0 []
     
268.           -> "rkcif_tools_id2":0 []
     
269.   pad8: Source
     
270.           -> "stream_cif_mipi_id0":0 []
     
271.           -> "stream_cif_mipi_id1":0 []
     
272.           -> "stream_cif_mipi_id2":0 []
     
273.           -> "stream_cif_mipi_id3":0 []
     
274.           -> "rkcif_scale_ch0":0 []
     
275.           -> "rkcif_scale_ch1":0 []
     
276.           -> "rkcif_scale_ch2":0 []
     
277.           -> "rkcif_scale_ch3":0 [ENABLED]
     
278.           -> "rkcif_tools_id0":0 []
     
279.           -> "rkcif_tools_id1":0 []
     
280.           -> "rkcif_tools_id2":0 []
     
281.   pad9: Source
     
282.           -> "stream_cif_mipi_id0":0 []
     
283.           -> "stream_cif_mipi_id1":0 []
     
284.           -> "stream_cif_mipi_id2":0 []
     
285.           -> "stream_cif_mipi_id3":0 []
     
286.           -> "rkcif_scale_ch0":0 []
     
287.           -> "rkcif_scale_ch1":0 []
     
288.           -> "rkcif_scale_ch2":0 []
     
289.           -> "rkcif_scale_ch3":0 []
     
290.           -> "rkcif_tools_id0":0 [ENABLED]
     
291.           -> "rkcif_tools_id1":0 []
     
292.           -> "rkcif_tools_id2":0 []
     
293.   pad10: Source
     
294.           -> "stream_cif_mipi_id0":0 []
     
295.           -> "stream_cif_mipi_id1":0 []
     
296.           -> "stream_cif_mipi_id2":0 []
     
297.           -> "stream_cif_mipi_id3":0 []
     
298.           -> "rkcif_scale_ch0":0 []
     
299.           -> "rkcif_scale_ch1":0 []
     
300.           -> "rkcif_scale_ch2":0 []
     
301.           -> "rkcif_scale_ch3":0 []
     
302.           -> "rkcif_tools_id0":0 []
     
303.           -> "rkcif_tools_id1":0 [ENABLED]
     
304.           -> "rkcif_tools_id2":0 []
     
305.   pad11: Source
     
306.           -> "stream_cif_mipi_id0":0 []
     
307.           -> "stream_cif_mipi_id1":0 []
     
308.           -> "stream_cif_mipi_id2":0 []
     
309.           -> "stream_cif_mipi_id3":0 []
     
310.           -> "rkcif_scale_ch0":0 []
     
311.           -> "rkcif_scale_ch1":0 []
     
312.           -> "rkcif_scale_ch2":0 []
     
313.           -> "rkcif_scale_ch3":0 []
     
314.           -> "rkcif_tools_id0":0 []
     
315.           -> "rkcif_tools_id1":0 []
     
316.           -> "rkcif_tools_id2":0 [ENABLED]
     
317. - entity 58: rockchip-csi2-dphy0 (2 pads, 2 links)
     
318.       type V4L2 subdev subtype Unknown flags 0
     
319.       device node name /dev/v4l-subdev2
     
320.   pad0: Sink
     
321.           [fmt:UYVY8_2X8/1920x1080@10000/300000 field:none colorspace:srgb
     
322.            crop:(0,0)/1920x1080]
     
323.           <- "m01_f_ov5645 3-003c":0 [ENABLED]
     
324.   pad1: Source
     
325.           -> "rockchip-mipi-csi2":0 [ENABLED]
     
326. - entity 63: m01_f_ov5645 3-003c (1 pad, 1 link)
     
327.       type V4L2 subdev subtype Sensor flags 0
     
328.       device node name /dev/v4l-subdev3
     
329.   pad0: Source
     
330.           [fmt:UYVY8_2X8/1920x1080@10000/300000 field:none colorspace:srgb
     
331.            crop:(0,0)/1920x1080]
     
332.           -> "rockchip-csi2-dphy0":0 [ENABLED]

复制代码

如果是多路输入，就对应前4个，即video11-video14。

RAW格式输入

从RK3588开始，也就是isp3.0起，瑞芯微处理器的isp便不再有采集功能，而只做图像处理，所以整个通路为：

• 
  

sensor->csi2_dphyX->mipiX_csi2->rkcif_mipi_lvdsX rkcif_mipi_lvdsX_sditf->rkispx_virX

这里需要说明一下：

1、在不跑aiq的时候，rkcif_mipi_lvdsX是可以拿RAW图的；

2、如果我们只打开isp节点的vir0即rkispx_vir0，不打开后面的rkispx_vir1/vir2...，这种就是直通的，不跑aiq，也能拿到nv12图，但是是未经过效果处理，一般是淡绿色；

3、打开其他vir节点，说明isp需要分时复用，isp节点就必须要开启aiq才能拿图(aiq会分时复用isp) ，所以如果只有一个camera，其他isp节点建议disabled掉。

3 总结

在配置摄像头时，首先要确定摄像头走的通路，并确定摄像头输出的格式，如果是RAW图则需要走rkisp，如果是yuv422/rgb888，则只需要配置到rkcif_mipi_lvdsx。

本文介绍了RK3576处理器的Camera通路，以及如何配置MIPI-CSI摄像头的不同输出格式。在后续的文章中，将会继续为大家带来RK3576处理器的摄像头参数配置和设备树配置方法。