通过器件阵列采集环境声音数据,接收并对数据进行处理,集成多种算法实现多种方式的拾音,并可对特定频段音频进行增强、抑噪等处理,对音频的强度等信息进行分析,进行可视化显示,辅助工矿企业等基于音频对机器设备进行检测和监控。
点击空白处退出提示
通过器件阵列采集环境声音数据,接收并对数据进行处理,集成多种算法实现多种方式的拾音,并可对特定频段音频进行增强、抑噪等处理,对音频的强度等信息进行分析,进行可视化显示,辅助工矿企业等基于音频对机器设备进行检测和监控。
通过器件采集环境声音数据,对数据进行前处理,根据界面交互操作选择集成的算法、进行拾音、音频、音效处理,对环境中各声源跟踪分析,对音频数据进行可视化展示,包括:波形图、频谱图、语谱图、热力图等,提供声音播放和录制。
本人作为项目唯一软件开发人员,负责软件的架构设计和实现,移植和集成第三方算法。
系统运行于基于Android的特定设备,也可运行于Android手机上。系统分前后台,前台为Android应用,提供交互界面和操作显示面板;后台提供音、视频流服务,并同步进行声音数据处理。同时,通过协议接口响应前台操作指令。
音、视频流服务:
1.总体架构
后端,基于GStreamer框架构建音频、视频流水线。在音频流水线中,加入声音数据的相关处理。合成音频和视频流,基于RTSP提供音、视频流服务。同时,建立HTTP/REST控制接口,提供前端操作和处理控制接口。前端,Android应用,访问标准流服务,提供界面交互和数据可视化。
2.设备交互层
基于C/C++实现。声音数据通过数字麦克风采集,以设备的PDM控制器进行采集处理,通过ALSA框架接入软件层;视频由MIPI/CSI摄像头采集,通过V4L2框架接入软件层。
3.音频处理
基于GStreamer框架,实现自定义数据源插件、音频处理插件等,配置构建流服务。
4.控制接口
基于Mongoose框架,实现HTTP/REST接口,响应前端控制指令。
5.前端应用
基于Android原生代码实现交互框架,采用多媒体框架MediaPlayer2实现流媒体播放,界面叠加自定义View,直接Canvas绘制热力图、波形图、频谱图和语谱图等图表。




评论