Android Camera预览过程数据流浅析

qq_14872489

1860人浏览 · 2017-09-17 08:41:46

qq_14872489 · 2017-09-17 08:41:46 发布

硬件平台：Atmel SAMA5D3 SoC + OV2640 Camera Sensor Android 版本：4.2.2
mediaserver进程是Camera Service的容器进程，它会动态加载Camera HAL和Gralloc HAL。视频数据帧首先必须从Camera驱动程序到达Camera硬件抽象层。在Camera硬件抽象层，视频数据帧被从video capture buffer拷贝到gralloc buffer。
surfaceflinger进程作为显示服务器会动态加载HWComposer HAL和Gralloc HAL。在HWComposer硬件抽象层，会把数据帧从gralloc buffer拷贝到video output buffer。
经过上述过程，Camera Sensor采集的图像最终通过LCDC HEO显示在显示屏上。

图中红色实线为视频数据帧流向，不带箭头的红线连接的两端为同一块内存。
涉及三块内存，分别如下： video capture buffer /dev/video1 gralloc buffer 匿名共享内存 mediaserver进程和surfacelinger进程都可以访问这块内存 video output buffer /dev/video0
进行了两次数据拷贝操作，如下： media server进程 Camera HAL video capture buffer -> gralloc buffer
surfaceflinger进程 HWCompser HAL gralloc buffer -> video output buffer

video capture buffer的分配与内存映射 https://github.com/Android4SAM/platform_hardware_atmel/blob/android4sam_v4.0/camera/CameraHardwareSam.cpp https://github.com/Android4SAM喎�"/kf/ware/vc/" target="_blank" class="keylink">vcGxhdGZvcm1faGFyZHdhcmVfYXRtZWwvYmxvYi9hbmRyb2lkNHNhbV92NC4wL2NhbWVyYS9WNEwyQ2FtZXJhLmNwcAo8YnI+CgoKyerH63ZpZGVvIGNhcHR1cmUgYnVmZmVyCjxicj4KCkNhbWVyYUhhcmR3YXJlU2FtPHN0cm9uZz46Ojwvc3Ryb25nPnN0YXJ0UHJldmlld0ludGVybmFsCiAtPiBWNEwyQ2FtZXJhPHN0cm9uZz46Ojwvc3Ryb25nPnN0YXJ0UHJldmlldwogLT4gaXNpX3Y0bDJfcmVxYnVmcwo8YnI+Cgo8cHJlIGNsYXNzPQ=="brush:java;"> ret = ioctl(fp, VIDIOC_REQBUFS, &req);
内存映射 CameraHardwareSam :: startPreviewInternal

1

2

3

4

 
        mPreviewHeap = mGetMemoryCb(( 
        int 
        )mV4L2Camera->getCameraFd(), 
       
        aligned_buffer_size, 
       
        kBufferCount, 
       
        0 
        );

获得gralloc buffer以及视频数据帧从video capture buffer到gralloc buffer的拷贝 https://github.com/Android4SAM/platform_hardware_atmel/blob/android4sam_v4.0/camera/CameraHardwareSam.cpp

CameraHardwareSam :: previewThread

 
        if 
         (mPreviewWindow && mGrallocHal) { 
       
        buffer_handle_t *buf_handle; 
       
        int 
         stride; 
       
        if 
         ( 
        0 
         != mPreviewWindow->dequeue_buffer(mPreviewWindow, &buf_handle, &stride)) { 
       
        ALOGE( 
        "Could not dequeue gralloc buffer!\n" 
        ); 
       
        goto 
         callbacks; 
       
        } 
       
        void 
         *vaddr; 
       
        if 
         (!mGrallocHal->lock(mGrallocHal, 
       
        *buf_handle, 
       
        GRALLOC_USAGE_SW_WRITE_OFTEN, 
       
        0 
        ,  
        0 
        , width, height, &vaddr)) { 
       
        char 
         *frame = (( 
        char 
         *)mPreviewHeap->data) + offset; 
       
        // the code below assumes YUV, not RGB 
       
        { 
       
        int 
         h; 
       
        char 
         *src = frame; 
       
        char 
         *ptr = ( 
        char 
         *)vaddr; 
       
        memcpy(ptr, src, frame_size); 
       
        //YUY2toYV12(frame, vaddr, width, height); 
       
        } 
       
        mGrallocHal->unlock(mGrallocHal, *buf_handle); 
       
        } 
       
        else 
       
        ALOGE( 
        "%s: could not obtain gralloc buffer" 
        , __func__); 
       
        if 
         ( 
        0 
         != mPreviewWindow->enqueue_buffer(mPreviewWindow, buf_handle)) { 
       
        ALOGE( 
        "Could not enqueue gralloc buffer!\n" 
        ); 
       
        goto 
         callbacks; 
       
        } 
       
        }

video output buffer的分配与内存映射 https://github.com/Android4SAM/platform_hardware_atmel/blob/android4sam_v4.0/hwcomposer/hwcomposer.cpp https://github.com/Android4SAM/platform_hardware_atmel/blob/android4sam_v4.0/hwcomposer/v4l2_utils.cpp

申请video ouput buffer hwc_prepare -> assign_heo_overlay_window -> v4l2_overlay_req_buf

1	`ret = ioctl(win->fd, VIDIOC_REQBUFS, &reqbuf);`

内存映射 hwc_prepare -> assign_heo_overlay_window -> v4l2_overlay_map_buf

1

2

3

 
        *len = buf.length; 
       
        *start = mmap(NULL, buf.length, PROT_READ | PROT_WRITE, MAP_SHARED, 
       
        fd, buf.m.offset);

视频数据帧从gralloc buffer到video output buffer的拷贝
hwc_set -> copy_heo_src_content

 
        for 
         (unsigned  
        int 
         i =  
        0 
        ; i < cur_layer->visibleRegionScreen.numRects; i++) { 
       
        uint8_t *cur_dst_addr = dst_addr; 
       
        uint8_t *cur_src_addr = src_addr; 
       
        for 
         ( 
        int 
         j =  
        0 
        ; j < h ; j++) { 
       
        memcpy(cur_dst_addr, cur_src_addr, cpy_size); 
       
        cur_dst_addr = &cur_dst_addr[cpy_size]; 
       
        cur_src_addr = &cur_src_addr[(cur_layer->displayFrame.right - cur_layer->displayFrame.left) * (prev_handle->uiBpp /  
        8 
        )]; 
       
        } 
       
        cur_rect++; 
       
        }

向您推荐>>Eolink开发者社区

权威｜前沿｜技术｜干货｜国内首个API全生命周期开发者社区

更多推荐

深入理解 Mocha 测试框架：从零实现一个 Mocha

前言什么是自动化测试自动化测试在很多团队中都是Devops环节中很难执行起来的一个环节，主要原因在于测试代码的编写工作很难抽象，99%的场景都需要和业务强绑定，而且写测试代码的编写工作量往往比编写实际业务代码的工作量更多。在一些很多业务场景中投入产出比很低，适合写自动化测试的应该是那些中长期业务以及一些诸如组件一样的基础库。自动化测试是个比较大的概念，其中分类也比较多，比如单元测试，端对端测试，集

云原生

ELK实现containerd的容器日志采集展示【基于logging的全栈监测】

企业级ELK Stack构建介绍

云原生

(20200916 Solved)docker-compose up创建容器自动退出

问题描述如题，创建容器后自动退出了。并且docker start container无效解决方案原因是缺失了控制终端的配置，需要在docker-compose.yml中增加tty:true ，有时候这样也不行，需要再增加一个command:/bin/bash，命令不一定是这个，需要是一个不会退出的命令，然后用-d后台启动容器。Referencesdocker-compose启动容器后自动退出...