JACKY SUN - Technology

基于灰度颜色个数的视频截图选取[转]

2007-02-04T13:04:53+08:00

前几天在帮师兄做一个视频截图的模块，采用了directshow的接口来访问视频文件。开发工具使用的是visual c++ 2005 express 和visual c# 2005 express，vc++写的一个封装了对directshow的接口访问的dll，然后在c#做的界面程序里面调用。

1. 关于directshow的视频截图方法

directshow以前是属于directx内的一个部分，后来microsoft 把directshow归入了platform sdk内了。关于directshow如何来截取视频文件内部的图片picture，在网上可以搜索到很多。在msdn关于directshow sdk的教程里面，也有专门举例如何使用directshow的imediadet接口来截视频流内的截图的:

http://msdn.microsoft.com/library/default.asp?url=/library/en-us/wcedshow/html/_dxce_dshow_directshow.asp

使用directshow来访问视频文件就可以避免去了解各种视频压缩文件格式，编码格式等等很繁琐甚至是困难的问题了。

2. 选择哪个时间点来截视频图片呢?

但是，选取哪个时间点的视频图片呢？我们在看windows浏览器里面视频文件的微缩图都是视频文件的第一帧，但是如果第一帧是全黑或者全白呢？那么我们看到的这个截下来的视频图片并没有任何意义。甚至比如电影开头的演员字幕等帧，对于观众来说都没有多大的意义。一部电影的截图选择，如果按照精彩镜头来分，那么需要计算机去理解该电影的内容，这个工作在现阶段来说，涉及到计算机视觉，数字图像，人工智能等前沿技术，不大可能做得出来。

考虑到全黑，全白，以及片头字幕等没有意义的帧图片的特点，就是颜色个数相对较少，相对单调。于是，可以通过一个颜色个数的阈值，来对所有帧图片进行筛选。将颜色个数小于阈值的剔除。一般使用颜色丰富的图片，肯定帧图片更加丰富。

但是，在24位真彩色中，r,g,b都是0-255,任何一个分量相差了一点点，视觉上来说，差异并不大，但是对于计算机来说，就完全是两个颜色了，这种过于精确的颜色统计，对于人来说并不见得好。于是，我选择使用颜色的灰度值来代替真彩色rgb的统计。关于rgb到灰度值的公式，选择的是最简单的：

gray(灰度) = (r + g + b) / 3

3. 实现一个测试算法的demo

好了，大体的截图选取算法思想就是这样了。下面我就一步一步来把这个算法实现的demo，通过visual c++ 2005 express和visual c# 2005 express开发工具做出来。

首先是做封装directshow的win32 dll。

microsoft那里下载的visual c++ 2005 express并没有附带platform sdk，windows的最新platform sdk可以直接从microsoft的msdn那里下载到(我选择的是windows 2003 server rc2)。按照msdn上所述的，搭建起visual c++ 2005 express内的platform sdk设置后就可以开发win32的程序了。

下面是封装的dll的程序代码：

// moviegrabberdll.cpp : 定义 dll 应用程序的入口点。
//

#include "stdafx.h"
#include "moviegrabberdll.h"
bool apientry dllmain( handle hmodule,
                       dword ul_reason_for_call,
                       lpvoid lpreserved
                        )
{
     switch (ul_reason_for_call)
     {
     case dll_process_attach:
     case dll_thread_attach:
     case dll_thread_detach:
     case dll_process_detach:
         break;
     }
    return true;
}

/**
* 抓取视频的截图
* @param apath 视频文件的位置
* @return
*/
moviegrabberdll_api handle grabmovieframe(lpctstr apath,int graycolorcountthreshold)
{
     hresult hr;
     // 定义imediadet接口实例
     ccomptr< imediadet > pdet;
     hr = pdet.cocreateinstance(__uuidof(mediadet));
     if (failed(hr))
         return null;

     // 将影片文件名转换成bstr类型
     ccombstr openbstr(apath);
     // 设置imediadet接口的文件关联
     hr = pdet->put_filename(openbstr);
     if (failed(hr))
         return null;

     // 从影片中检索视频流和音频流
     long lstreams;
     hr = pdet->get_outputstreams(&lstreams);
     if (failed(hr))
         return null;

     // 取出影片的视频流，因为帧的信息是保存在视频流中的
     bool bfound = false;
     for (int i=0; i<lstreams; i++)
     {
         guid major_type;
         hr = pdet->put_currentstream(i);
         if (succeeded(hr))
              hr = pdet->get_streamtype(&major_type);
         if (failed(hr))
              break;
         if (major_type == mediatype_video)
         {
              bfound = true;
              break;
         }
     }
     if (!bfound)
         return null;

     long width = 0, height = 0; // 存储位图的宽和高（单位：象素）
     am_media_type mt;
     hr = pdet->get_streammediatype(&mt);
     if (succeeded(hr))
     {
         if ((mt.formattype == format_videoinfo) &&
              (mt.cbformat >= sizeof(videoinfoheader)))
         {
              // 得到videoinfoheader结构指针，videoinfoheader结构包含一些与视频
              // 有关的信息，其中含有bitmapinforheader结构
              videoinfoheader *pvih = (videoinfoheader*)(mt.pbformat);
              width = pvih->bmiheader.biwidth;
              height = pvih->bmiheader.biheight;
              if(height < 0 ) height *= -1;
         }
         else
              hr = vfw_e_invalidmediatype;
         myfreemediatype(mt); // 释放am_media_type结构
     }
     if (failed(hr))
         return null;
     return (handle)lookforsuitablemovieframe(pdet,width,height,graycolorcountthreshold);
}

/**
* 写入合适视频帧截图到磁盘
* @param pdet directshow的imediadet接口
* @param width 截图的长
* @param height 截图的宽
* @param graycolorcountthreshold 灰度颜色个数阈值
*/
hbitmap lookforsuitablemovieframe(imediadet* pdet,int width,int height,int graycolorcountthreshold)
{
     long size;
     double time = 0.0;
     double totaltime;

     // 获取整个视频的时间长度
     pdet->get_streamlength(&totaltime);
     // 每1秒,截取视频截图
     for(time=0.0; time <totaltime; time+= 1.0)
     {
         // 获取bitmap的buffer大小
         hresult hr = pdet->getbitmapbits(time, &size, 0, width, height);
         if (succeeded(hr))
         {
              char *pbuffer = new char[size];
              if (!pbuffer)
                   return null;
              hr = pdet->getbitmapbits(time, 0, pbuffer, width, height);
              if (succeeded(hr))
              {
                   // find the address of the start of the image data.
                   void *pdata = pbuffer + sizeof(bitmapinfoheader);
                   if(issuitablemovieframe(pdata,width,height,graycolorcountthreshold))
                   {
                       bitmapinfoheader *bmih = (bitmapinfoheader*)pbuffer;
                       hdc hdcdest = getdc(0);

                       bitmapinfo bmi;
                       zeromemory(&bmi, sizeof(bitmapinfo));
                       copymemory(&(bmi.bmiheader), bmih, sizeof(bitmapinfoheader));
                       hbitmap hbitmap = createdibitmap(hdcdest, bmih, cbm_init,
                            pdata, &bmi, dib_rgb_colors);

                       delete[] pbuffer;
                       return hbitmap;
                   }
              }
              delete[] pbuffer;
         }
     }
     return null;
}

/**
* 检测一个位图是否是合适的视频截图
* @param pdata 位图的点色数组
* @param width 位图的长
* @param height 位图的宽
* @param graycolorcountthreshold 灰度颜色个数阈值
*/
bool issuitablemovieframe(void* pdata,int width,int height,int graycolorcountthreshold)
{
     byte* pixels = (byte*)pdata;
     int numgraycolor = 0;
     int size = width*height;
     int graycolor;
     int i,j;
     int* appearedcolors = new int[graycolorcountthreshold];
     int numappearedcolors = 0;
     for(i=0;i<size; i++)
     {
         // 计算当前点的灰度值，采用的rgb转换灰度的公式是gray = (r+g+b)/3
         graycolor = (pixels[i*3] +pixels[i*3+1]+pixels[i*3+2])/3;
         // 检测该灰度色是否之前出现过
         for(j=0;j<numappearedcolors; j++)
         {
              if(graycolor == appearedcolors[j])
                   break;
         }
         if(j == numappearedcolors) // 如果是新的灰度颜色值
         {
              numappearedcolors++;
              if(numappearedcolors == graycolorcountthreshold) // 如果灰度颜色个数满足阈值
              {
                   delete[] appearedcolors;
                   return true; // 返回信息，合适
              }
              else
              {
                   appearedcolors[j] = graycolor; // 记录下该灰度颜色值
              }
         }
     }
     delete[] appearedcolors;
     return false; // 返回信息，不合适
}

void myfreemediatype(am_media_type& mt)
{
     if(mt.cbformat != 0)
     {
         cotaskmemfree((pvoid)mt.pbformat);
         mt.cbformat = 0;
     }

     if (mt.punk != null)
     {
         mt.punk->release();
         mt.punk = null;
     }
}

其中，为了使用directshow，我们除了需要windows.h外，还需要dshow.h,qedit.h和atlbase.h三个头文件，最后再加上一个strmiids.lib库文件。

接下来就开启visual c# 2005 express来做一个简单的界面程序。为什么选择c# 来开发界面程序呢？原因很简单，因为c#很简单，同时visual c# 2005 express这样免费又功能强大的工具可以使用。

界面程序很简单，就下面这个样子：

c# 部分调用前面写好的dll函数，实现ddshow的抓图。 moviegrabberdll.cs源代码如下：

using system;
using system.collections.generic;
using system.text;
using system.runtime.interopservices;
using system.drawing;

namespace moviegrabbercsharp
{
    class moviegrabberdll
    {
        [dllimport("moviegrabberdll.dll")]
        public static extern int fnmoviegrabberdll();

        [dllimport("moviegrabberdll.dll")]
        public static extern intptr grabmovieframe(string apath, int graycolorcountthreshold);

        public static bitmap grabmovieframebitmap(string apath,int graycolorcountthreshold)
        {
            intptr hbitmap = grabmovieframe(apath, graycolorcountthreshold);
            if(hbitmap == intptr.zero)
                return null;
            return bitmap.fromhbitmap(hbitmap);
        }

        public static bitmap grabmovieframebitmap(string apath)
        {
            return grabmovieframebitmap(apath, 8);
        }
    }
}

窗口类mainform.cs的源代码如下：

using system;
using system.collections.generic;
using system.componentmodel;
using system.data;
using system.drawing;
using system.text;
using system.windows.forms;

namespace moviegrabbercsharp
{
    public partial class mainform : form
    {
        public mainform()
        {
            initializecomponent();
        }

        private void openmoviefilepathbutton_click(object sender, eventargs e)
        {
            openfiledialog dlg = new openfiledialog();
            if (dlg.showdialog() == dialogresult.ok)
            {
                moviefilepathtextbox.text = dlg.filename;
            }

        }

        private void grabberbutton_click(object sender, eventargs e)
        {
            bitmap bitmap = moviegrabberdll.grabmovieframebitmap(moviefilepathtextbox.text);
            if (bitmap != null)
            {
                messagebox.show("抓图成功！");
                grabberpicturebox.sizemode = pictureboxsizemode.stretchimage;
                grabberpicturebox.image = bitmap;
                grabberpicturebox.invalidate();
                grabberpicturebox.refresh();
            }
            else
            {
                messagebox.show("失败！");
            }
        }

        private void exitbutton_click(object sender, eventargs e)
        {
            this.close();
        }
    }
}

编译完成后，我们使用windows里面的一个intro.wmv视频文件来做测试，具体路径是：c:\windows\system32\oobe\imagee\intro.wmv。之所以选择这个文件作为视频测试文件，因为这个视频是大家安装完成后winxp后都会自动启动的windows xp的介绍视频，而且这个视频的开始部分是全黑，然后渐渐变亮，再到windows xp的动画部分。如果用windows自带的浏览器看微缩图显示，就是下面这个结果：

可以看到，这个intro.wmv的微缩图是完全的一张黑色图片，我们并不能看到任何关于视频文件有意义的内容。

下面启动我们刚才编写的demo视频截图工具来截一下图片，同样这个视频文件，可以看到这个的结果。

其中，程序里面默认给出的灰度颜色个数阈值是8，那么就是说，至少图片要有8个不同的颜色灰度值才会截取，而之前的全黑，全白就自然滤过了。

http://www.z6688.com/info/48101-1.htm

FFmpeg相关下载

2007-02-04T12:27:42+08:00

FFmpeg
http://ffdshow.faireal.net/mirror/ffmpeg/

pthread32
http://www.signal.uu.se/Toolbox/dream/download.html
ftp://sourceware.org/pub/pthreads-win32/

转换视频文件为flv媒体格式[转]

2007-02-04T12:19:00+08:00

视频转换的方法找了不少,最后整个过程记录如下:

转换环境: window2003
转换工具: FFMpeg
转换步骤:
1/ 从 http://ffdshow.faireal.net/mirror/ffmpeg/ 下载最新版本的 FFMpeg.exe (才知道.7z也是种压缩格式)
2/ 解压缩到本地c:\FFMpeg.

3/ 转换视频文件Command Line格式:
转换视频:
ffmpeg.exe -i "e:\input\06.asf" "e:\output\06.mpg" //非flv格式
ffmpeg.exe -i "e:\input\06.asf" -y -ab 56 -ar 22050 -b 500 -r 15 -s 320*240 test.flv //Flv格式
视频抓图:

ffmpeg.exe -i "e:\input\06.asf" -y -f image2 -t 0.001 -s 300*200 "e:\output\02.jpg" //获取静态图

ffmpeg.exe -i "e:\input\06.asf" -vframes 30 -y -f gif "e:\output\02.gif" //获取动态图

4/ 转换为flv文件后,使用Flash编写客户端浏览工具:
4.1/ 新建fla文件,窗口->组建->把FLVPlayback拖拉到画布上.Alt+F7 Skin参数选择播放器外观.
4.2/ 选中FLVPlayback,属性->参数里面把实例名字修改为 FFPlay.图层关键帧写入代码:
FFPlay.contentPath = FilePath;
5/ 嵌入网页的组建增加:<param name="FlashVars" value="FilePath=flv文件路径">和embed里面增加:FlashVars="FilePath=flv文件路径" .前者是for ie的后者是for ff的.

PS.
1/对ffmpeg无法解析的文件格式(WMV9,rm,rmvb),可以先用别的工具转换为avi或者mpg格式.
2/对转换为flv后,客户端工具播放没有时间轴的情况,需要使用 flvmdi.exe 把flv文件增加时间头信息,命令为:

flvmdi.exe "filename.flv" /k

我也开始研究ffmpeg这个强大的转换工具了
www.uume.com上传视频时应该也是用的这个
刚试着把4M大的avi转成flv,结果flv的体积达到了7M之多,看来是命令行的参数不合适
现转一些有用的东东
部分参数说明
ffmpeg.exe -i F:\闪客之家\闪客之歌.mp3 -ab 56 -ar 22050 -b 500 -r 15 -s 320x240 f:\11.flv
ffmpeg -i F:\01.wmv -ab 56 -ar 22050 -b 500 -r 15 -s 320x240 f:\test.flv
使用-ss参数作用（time_off set the start time offset），可以从指定时间点开始转换任务。如:
转换文件格式的同时抓缩微图：
ffmpeg -i "test.avi" -y -f image2 -ss 8 -t 0.001 -s 350x240 'test.jpg'
对已有flv抓图：
ffmpeg -i "test.flv" -y -f image2 -ss 8 -t 0.001 -s 350x240 'test.jpg'
-ss后跟的时间单位为秒
Ffmpeg转换命令
ffmpeg -y -i test.mpeg -bitexact -vcodec h263 -b 128 -r 15 -s 176x144 -acodec aac -ac 2 -ar 22500
-ab 24 -f 3gp test.3gp
或者
ffmpeg -y -i test.mpeg -ac 1 -acodec amr_nb -ar 8000 -s 176x144 -b 128 -r 15 test.3gp

ffmpeg参数设定解说
-bitexact 使用标准比特率
-vcodec xvid 使用xvid压缩
-s 320x240 指定分辨率
-r 29.97 桢速率（可以改，确认非标准桢率会导致音画不同步，所以只能设定为15或者29.97）
画面部分，选其一
-b <比特率> 指定压缩比特率，似乎ffmpeg是自动VBR的，指定了就大概是平均比特率，比如768，1500这样的
就是原来默认项目中有的
-qscale <数值> 以<数值>质量为基础的VBR，取值0.01-255，约小质量越好
-qmin <数值> 设定最小质量，与-qmax（设定最大质量）共用，比如-qmin 10 -qmax 31
-sameq 使用和源同样的质量
声音部分
-acodec aac 设定声音编码
-ac <数值> 设定声道数，1就是单声道，2就是立体声，转换单声道的TVrip可以用1（节省一半容量），高品质
的DVDrip就可以用2
-ar <采样率> 设定声音采样率，PSP只认24000
-ab <比特率> 设定声音比特率，前面-ac设为立体声时要以一半比特率来设置，比如192kbps的就设成96，转换
君默认比特率都较小，要听到较高品质声音的话建议设到160kbps（80）以上
-vol <百分比> 设定音量，某些DVDrip的AC3轨音量极小，转换时可以用这个提高音量，比如200就是原来的2倍
这样，要得到一个高画质音质低容量的MP4的话，首先画面最好不要用固定比特率，而用VBR参数让程序自己去
判断，而音质参数可以在原来的基础上提升一点，听起来要舒服很多，也不会太大（看情况调整

例子：ffmpeg -y -i "1.avi" -title "Test" -vcodec xvid -s 368x208 - r 29.97 -b 1500 -acodec aac -ac 2 -ar 24000 -ab 128 -vol 200 -f psp -muxvb 768 "1.***"

解释：以上命令可以在Dos命令行中输入，也可以创建到批处理文件中运行。不过，前提是：要在ffmpeg所在的目录中执行（转换君所在目录下面的cores子目录）。
参数：
-y（覆盖输出文件，即如果1.***文件已经存在的话，不经提示就覆盖掉了）
-i "1.avi"（输入文件是和ffmpeg在同一目录下的1.avi文件，可以自己加路径，改名字）
-title "Test"（在PSP中显示的影片的标题）
-vcodec xvid（使用XVID编码压缩视频，不能改的）
-s 368x208（输出的分辨率为368x208，注意片源一定要是16:9的不然会变形）
-r 29.97（帧数，一般就用这个吧）
-b 1500（视频数据流量，用-b xxxx的指令则使用固定码率，数字随便改，1500以上没效果；还可以用动态码率如：-qscale 4和-qscale 6，4的质量比6高）
-acodec aac（音频编码用AAC）
-ac 2（声道数1或2）
-ar 24000（声音的采样频率，好像PSP只能支持24000Hz）
-ab 128（音频数据流量，一般选择32、64、96、128）
-vol 200（200%的音量，自己改）
-f psp（输出psp专用格式）
-muxvb 768（好像是给PSP机器识别的码率，一般选择384、512和768，我改成1500，PSP就说文件损坏了）
"1.***"（输出文件名，也可以加路径改文件名）

P.S. 版主机器强劲的话，可以多开几个批处理文件，让它们并行处理。
E:\ffmpeg.exe -i I:\1.wmv -b 360 -r 25 -s 320x240 -hq -deinterlace -ab 56 -ar 22050 -ac 1 D:\2.flv

下边是截图CatchImg方法,可从大多数的视频文件中截图成功,大家可测试;
如果截图不成功,大多是因为视频本身的问题,如编码标准或加了密.
但从在线录制的视频Flv文件中截图,还未发现截图失败;

/// <summary>
/// @从视频文件截图,生成在视频文件所在文件夹
/// 在Web.Config 中需要两个前置配置项:
/// 1.ffmpeg.exe文件的路径
/// <add key="ffmpeg" value="E:\ffmpeg\ffmpeg.exe" />
/// 2.截图的尺寸大小
/// <add key="CatchFlvImgSize" value="240x180" />
/// 3.视频处理程序ffmpeg.exe
/// </summary>
/// <param name="vFileName">视频文件地址,如:/Web/FlvFile/User1/00001.Flv</param>
/// <returns>成功:返回图片虚拟地址; 失败:返回空字符串</returns>
public string CatchImg(string vFileName)
{
//取得ffmpeg.exe的路径,路径配置在Web.Config中,如:<add key="ffmpeg" value="E:\ffmpeg\ffmpeg.exe" />
string ffmpeg=System.Configuration.ConfigurationSettings.AppSettings["ffmpeg"];

if ( (!System.IO.File.Exists(ffmpeg)) || (!System.IO.File.Exists(vFileName)) )
{
return "";
}

//获得图片相对路径/最后存储到数据库的路径,如:/Web/FlvFile/User1/00001.jpg
string flv_img = System.IO.Path.ChangeExtension(vFileName,".jpg") ;

//图片绝对路径,如:D:\Video\Web\FlvFile\User1\0001.jpg
string flv_img_p = HttpContext.Current.Server.MapPath(flv_img);

//截图的尺寸大小,配置在Web.Config中,如:<add key="CatchFlvImgSize" value="240x180" />
string FlvImgSize=System.Configuration.ConfigurationSettings.AppSettings["CatchFlvImgSize"];

System.Diagnostics.ProcessStartInfo startInfo = new System.Diagnostics.ProcessStartInfo(ffmpeg);
startInfo.WindowStyle = System.Diagnostics.ProcessWindowStyle.Hidden;

//此处组合成ffmpeg.exe文件需要的参数即可,此处命令在ffmpeg 0.4.9调试通过
startInfo.Arguments = " -i " + vFileName + " -y -f image2 -t 0.001 -s " + FlvImgSize + " " + flv_img_p ;

try
{
System.Diagnostics.Process.Start(startInfo);
}
catch
{
return "";
}

///注意:图片截取成功后,数据由内存缓存写到磁盘需要时间较长,大概在3,4秒甚至更长;
///这儿需要延时后再检测,我服务器延时8秒,即如果超过8秒图片仍不存在,认为截图失败;
///此处略去延时代码.如有那位知道如何捕捉ffmpeg.exe截图失败消息,请告知,先谢过!
if ( System.IO.File.Exists(flv_img_p))
{
return flv_img;
}

return "";
}

顺便也探讨个问题,就是我无法从ffmpeg.exe捕捉截图失败消息~
不知大家可否有办法取得,我目前只能通过检测图片是否生成来判断成功与否,但时间较慢,因为这个检测程序就让用户要多等大概4,5秒时间.。

Windows Live Writer测试

2006-10-17T15:37:47+08:00

风景ＰＰ奉上一张：

blog诞生纪念帖～

2006-10-11T08:11:53+08:00

恭喜一下先。