Research progress on marine biological observation technology based on acoustic and optics
-
摘要:背景
海洋生物多样性观测是海洋生态系统结构和功能研究的基础，但是传统的观测方法效率低、成本高，难以实现连续观测。
目的推动新技术的应用，提升海洋生物观测能力。
进展本文介绍了基于声学和光学原理研发的海洋生物观测新技术，包括被动声学观测、基于光谱吸收的光学浮游植物探测器和基于光学成像的浮游生物分析仪。根据成像原理不同，基于光学成像的观测可分为流式成像、剪影成像、暗场成像和全息成像等。被动声学观测传感器能够揭示重要的鱼类栖息地，具有非侵扰性、高时空分辨率、性价比高、运行成本低等优势。光学浮游植物探测器不仅能有效识别水体中的赤潮生物，也能观测浮游植物群落结构。流式成像仪采集散射和叶绿素等荧光信号，可观测微微型和微型浮游生物；剪影成像利用逆光原理形成高反差影像，其分辨率低，观测通量大，通常被用于研究浮游动物；暗场成像通过目标的散射、反射和折射进行成像，可观测小型浮游生物；全息成像利用相干光照明，采集目标的干涉图像，再进行图像重建，具有高分辨率和大景深的优势，可被用于观测微型浮游生物。基于多种观测技术获取的图像数据，利用卷积神经网络进行分类，准确率已达到90%以上。
展望随着人工智能技术的迅速发展，这些海洋生物观测新技术有望得到更多更广泛的应用，将极大地提高海洋生物观测效率。
Abstract:BackgroundThe observation of marine biodiversity is fundamental for studying the structure and function of marine ecosystems. However, traditional observation methods are often inefficient, costly, and challenging for continuous monitoring.
ObjectiveThis study aims to promote the application of new technologies and enhance the observation capabilities of marine organisms.
ProgressThis article introduces innovative marine biodiversity observation technologies developed based on acoustic and optical principles. These new technologies include passive acoustic observation sensors, optical phytoplankton detectors utilizing spectral absorption, and plankton analyzers through optical imaging. The latter are further classified into flow imaging, silhouette imaging, dark field imaging, and holographic imaging based on differing imaging principles. Passive acoustic observation sensors are instrumental in revealing critical fish habitats. They offer advantages such as non-invasiveness, high spatiotemporal resolution, cost-effectiveness, and low operational costs. Optical phytoplankton detectors effectively identify bloom species within the water column and monitor phytoplankton communities. Flow imaging instruments collect fluorescence signals, such as scattering and chlorophyll, to observe nanoplankton and microplankton. Silhouette imaging employs backlighting to produce high-contrast images, characterized by low resolution but high observational capacity, making it suitable for studying planktonic communities. Dark field imaging relies on the scattering, reflection, and refraction of targets, enabling the observation of mesoplankton. Holographic imaging utilizes coherent light illumination to capture interferometric images of targets, followed by image reconstruction. This method boasts high resolution and a large depth of field, allowing for the observation of microplankton. By integrating multiple observation techniques, image data is classified using convolutional neural networks, achieving an accuracy rate exceeding 90%.
ProspectWith the rapid advancement of artificial intelligence technology, these new methodologies are expected to find broader applications, significantly enhancing the efficiency of marine biological observation.
-
Keywords:
- plankton /
- machine learning /
- acoustic observing /
- optical observing /
- image recognition
-
海洋覆盖70%以上的地球表面积，驱动热量分布和水汽循环等主要的气候变化，提供大量的矿产、渔业、旅游资源，并涵盖地球上最大的生态系统。众多海洋生物栖息于海洋，其中已经被描述的海洋真核生物达到22.6×104种，预估还有（48.2~74.1）×104种生物待描述[1]。受栖息地丧失的影响，生物多样性呈下降趋势[2]。而生态系统功能和耐压能力与生物多样性直接相关[3]。因此，观测海洋生物多样性对研究海洋生态系统的结构和功能至关重要。
海洋生态系统包括初级生产者（浮游植物等）、次级生产者（浮游动物等）和高营养级的鱼类等游泳生物，它们共同维持着生态系统结构的稳定和服务功能。传统的海洋浮游植物多样性研究方法依赖于人工采样和实验室内的显微镜鉴定、计数[4]。这些方法需要专业的分类人员，并投入大量的时间，且通常难以对个体太小的微型浮游植物进行准确鉴定。此外，采样经常受到站位设计、样本量、采样位置、采样频率等因素的限制，无法全面地反映浮游植物现状。浮游动物定量采集从19世纪末开始，经历了非开闭网、开闭网、高速采样器、浮游生物网系统、多重浮游生物采样器和塔克拖网等发展阶段[5]。早期主要以形态学、分类学研究为主。从20世纪40年代开始，使用网目大小为270 µm的浮游生物连续采样记录仪（Continuous plankton recorder，CPR）对北大西洋和北海浮游生物进行了长周期调查[6]。20世纪60年代以后，全球建立了多个大尺度的长时间序列CPR调查观测区，成为海洋观测系统的重要组成部分，取得了全球尺度上丰富的浮游动物基础数据，为海洋食物网、海洋生态系统和全球气候变化响应研究提供了重要的科学依据。底拖网调查是渔业资源评估的一种有效手段。通常采用基于调查设计和基于模型的方法处理底拖网调查数据[7]，根据需要可增加调查站位，以提高资源评估精确度，但由于这种方式经费投入大，因此构建适宜的资源密度分布模型成为现实精确评估的有效途径[8]。此外，标志重捕法和单位补充量渔获量模型也是渔业资源评估的常用方法[9-10]，但面临标志生物回捕困难、模型计算需要输入的参数多等问题，改进渔业资源评估方法的一个重要方向是引入先进的技术手段。
随着科学技术的发展，利用生物声音、光谱吸收和光学成像特征进行海洋生物多样性观测成为可能，相比于传统方法，这些技术在分辨率、性价比、运行成本等方面显示出巨大的优势。因此，本文综述近30年来基于声学、光学等技术开发的浮游生物、游泳生物等原位观测设备，介绍它们各自的优缺点和应用案例，旨在推动新技术的应用，提升海洋生物观测能力。
1. 声学观测技术
1.1 声学观测的原理
海洋环境中的声音来自生物和非生物，如风、波浪、水流以及人类产生的声音。生态声学是研究声音在空间和时间尺度上的变化，在描述环境特征和观测其中变化方面显示出巨大的潜力，可被用于回答生物多样性和其他生态问题[11]。生态声学与生物声学密切相关，生态声学认为声音是生态过程的组成部分和指标，而生物声学是一门动物行为学科，主要研究声音作为个体之间传递信息的信号[12]。
声音由声压、声波2个分量组成，能在水中有效传播，声学信号可以在数千米的范围内被检测到。被动声学观测是水下声学观测海洋生物的主要手段，在录音硬件（如麦克风、水听器和数字录音机等）和软件（存储和处理声音信息的计算方法）的支持下，可实现快速、准确和低成本地对水下声环境进行观测。动物有意（如交流、定向、觅食）或无意（如进食、移动等）发出的声音传递出不同的信息。虽然这些生物声音的许多来源已经被确定，但其中仍有很多来源未经证实。海洋哺乳动物中的鲸目和鳍足类声音传播能力最强，如鳍足类动物的声频范围为80~24 Hz[13]，鱼类发出的声音为几十到几千赫兹[14]。一些海洋无脊椎动物，如美国龙虾（Homarus americanus），也会产生低频声音[15]，但是许多无脊椎动物的声频范围从
2000 Hz延伸到50 kHz以上[16]，鼓虾（Synalpheus parneomeris）的声频能延伸到200 kHz及以上[17]。因此，应用生物声学分析海洋生物多样性，需有效识别不同物种的声音。鱼类和鼓虾的声场因环境条件差异而产生变化，这些因素包括季节、月球周期、月光强度、温度、上升流、潮汐、盐度等[18-20]。只有当动物在声学上活跃时，它们才能被观测到，但声景的主导者会淹没其他动物的信号。动物的呼叫模式因季节而异，并且具有很大的空间变异性[21]，在一些低纬度地区，夏季鱼类和无脊椎动物的声音很容易被观测到，而在冬季，则会被座头鲸（Megaptera novaeangliae）持续的叫声所掩盖[22]。
1.2 声学观测的实例
被动声学观测能够揭示重要鱼类的栖息地。石首鱼渔业资源在美国东南部海域年产值达数百万美元，1998年5月—9月通过声学连续观测，探明了美国红鱼（Sciaenops ocellatus）、斑点鱼（Cynoscision nebulosus）等4种石首鱼科物种产卵区域和产卵时间。在盐度较低的河口区域的夜晚，观测到的主要是斑点鱼（7月最高）和美国红鱼（9月最高）发出的声音，5月—6月观测到的则为斜纹犬牙石首鱼（Cynoscion regalis）和银鲈鱼（Bairdiella chrysoura）[23]。2009年在地中海海洋保护区调查中应用被动声学观测，发现密集的鼬鳚（Ophidio rochi）种群，表明该处是繁殖区，此前几十年间该保护区每月都持续开展鱼类可视化普查，却从未观测到该物种[24]。
被动声学观测可以很好地弥补视觉评估中被忽略的隐蔽类群，如生活在洞穴、牡蛎礁或海绵腔深处的鼓虾类群。鼓虾包括甲壳动物门的鼓虾科（Alpheidae）和长臂虾科（Palaemonidae）中数百个物种，通过大爪闭合产生空化泡坍塌而发出声音[25]，气泡内爆产生一种宽带声音，典型声频谱具有在2~5 kHz之间的低频峰值和延伸到200 kHz的能量，在最小振幅与200 kHz的峰值只有20 dB的差异[26]。
即使在一个栖息地内，声景也会有所不同。在珊瑚礁内，相距仅几米的观测站就存在显著的变化，比如鼓虾集中分布处会形成声学“热点”区[27]。鱼类的叫声可能因相邻栖息地和地理位置而有很大的差异，这些差异反映了栖息地内的变异性，这种变异小于栖息地之间的差异[28]。
声学观测与传统技术相比有明显优势。首先，它是非侵扰性的，减轻了观察者对生物的影响，并提供了很高的空间和时间分辨率。其次，它的成本低廉，可被应用于大规模、长期的观测项目，在部署过程中几乎不需要维护，适合远程平台上长期收集数据。此外，在海洋观测平台上，将声学传感器与其他环境传感器（溶解氧、浊度和初级生产的光学传感器等）集成，不仅能收集多个营养级的生物活动数据，还可以实现生态系统水平的观测。目前，已建成海底电缆节点并采用水听器进行被动声学观测的海洋观测站，包括加拿大西海岸的维多利亚海底实验网络、东北太平洋时间系列水下实验网络、挪威北部的罗弗敦−西奥伦海洋观测站，以及位于美国佛罗里达州西南部的海洋观测站[29]。近年来，国际间致力于通过国际合作推进海洋声学观测和研究，2015年联合国教科文和国际海洋科学委员会发起国际宁静海洋实验计划（The international quiet ocean experiment，IQOE）（www.iqoe.org/systems），旨在促进海洋声学研究、观测和建模，增强深入了解海洋声景和声音对海洋生物的影响。
1.3 问题和展望
研究人员已经建立了大多数海洋哺乳类动物的声音档案，为动物声学发展奠定坚实基础。威廉·沃特金斯与威廉·谢维尔通过长期收集工作，建成海洋哺乳动物声音数据库，记录60多种海洋哺乳动物共约
2000 条声音的信息，并对数字声音信息片段进行注释，声音信息库将有助于对大型数据集进行排序、比较和分析[30]。然而，深海等海洋生态系统中的声景仍然缺乏研究。声学自动观测面临的挑战之一是数据存储。尽管在过去几十年经济实惠的存储容量呈指数级增长，但数据存储仍然存在挑战，特别是对于远程便携式记录站。廉价且节能的微处理器和高速无线通信网络的出现提供了潜在的解决方案，通过使用低成本微处理器，可以实现原位运行处理实时观测到的音频，只在观测事件时进行存储或传输高带宽音频[31]。此外，接收水平还受到传播条件的影响，如水深、海底类型、海床起伏和物理几何扩展等。声音在浅水中往往衰减得更快，它们会反复反射并散射出海床和水面[32]，在低频和边界较粗糙的地区（如珊瑚礁）往往衰减更明显。因此，开放水域可以作为低通滤波器，实现低频声音更好的传播。当声音从声源传播时，声压也会随着距离呈对数递减[33]，在距离声源较近的地方，声级下降得更快。就生物声学而言，物理条件对低振幅信号和低频动物的观测产生了不成比例的影响。
虽然利用生物声音特征能观测生态系统状态或生物多样性，但并非所有的动物都会发出声音，即使会产生声音，也有很大的可变性。生物栖息地不同，声音传播到记录设备的方式也有差异。关键指标物种声音有助于了解生态系统的健康状况[34]，但声景可能受少数物种主导，掩盖了其他声音。因此通过声学观测生物多样性，需考虑评估方法的局限性和偏差。
2. 光学观测技术
2.1 基于光谱吸收的观测
2.1.1 光谱吸收原理
海洋微藻能够产生40多种色素，其分子结构略有差异，吸收光谱也有差异。单个色素的吸收光谱可以建模为一组高斯曲线的总和，它们以最大吸收波长为中心。光学浮游植物探测器（Optical phytoplankton discriminator，OPD）将1组已知类群的色素特征与色素吸收特征进行拟合，并对混合样品的吸光光谱进行导数分析，然后将该导数光谱与已知目标类群进行比较，得到相似性指数（Similarity index，SI）。
浮游植物类群吸收光谱（400~700 nm）四阶导数的矢量与自然种群样本之间的角度有关。通过测定纯培养的浮游植物可获得112万余种的标准光谱，培养物通过OPD捕获特征吸收光谱，应用定制软件包将其转换为参考分类群光谱。该过程平均了从单个物种收集的多个吸收光谱，多个参考物种光谱可以存储在OPD中，用于自动处理或离线使用。OPD能够同时评估多达16个参考光谱的SI，可观测浮游植物群落结构[35]。
2.1.2 光谱吸收的应用
根据特征吸收光谱以及相应的四阶导数图，结合SI，可以有效地识别水体中的短凯伦藻（Karenia brevis）。此外，黄质二酯的相对丰度在培养状态下很稳定，并且在赤潮消亡过程中，其与叶绿素a的比率几乎没有变化，因此可以作为短凯伦藻生物量的指标[36]。1997年8月，OPD首次被应用于墨西哥湾东部观测短凯伦藻赤潮，发现短凯伦藻SI与生物量比值呈显著相关[37]。1998年春季，OPD被安装在固定平台和自主水下航行器，不仅能区分浮游植物群落结构，还能测定有色溶解有机物[35]，2017年至2018年搭载在无人船上的OPD成功跟踪了美国佛罗里达海域3次短凯伦藻赤潮[38]。在浮游植物与环境关联性研究中，OPD实现了快速部署投入观测应用，2017年5月至9月利用锚系浮标每半小时采集1次光学和水文数据，追踪挪威近海浮游植物群落动态和演替[39]。
2.2 基于光学成像的观测
2.2.1 流式成像
OPD基于光吸收间接提供浮游植物信息，在此基础上发展出基于成像的光学浮游生物分析仪（Optical plankton analyser，OPA）[40]。CytoSense和成像流式细胞仪（Imaging flowCytobot，IFCB）均被应用流式成像技术开发。CytoSense采样速率为0.3 mL/min，有效观测范围为0.1~700 μm。检测器通过收集细胞和颗粒物经过激光时产生的前向、侧向散射和叶绿素等荧光信号，可以将不同特征（大小、形态和色素等）的藻细胞聚类，结合流式成像建立浮游植物特征信息数据库。CytoSense可搭载在浮标上连续采集数据，观测并预警浮游植物水华[41]。IFCB是一款自动水下成像成像仪，工作时将海水抽进仪器内，采样速率为5 mL/20 min，可对10~100 μm个体大小的浮游生物成像[42]。
利用 CytoSense研究北极和大西洋亚极地水域浮游植物和纤毛虫演替，发现直径大于20 μm的硅藻和纤毛虫是北极水域优势类群，而小于4 μm的真核浮游植物和原核聚球藻是大西洋水域优势种群[43]。2007年9月至2008年2月，布设在墨西哥湾河口的IFCB共采集了2亿多张图片，观测到1次鳍藻赤潮，同时发现贝类体内毒素含量上升现象[44]。2018年7月，IFCB首次被布设于波罗的海进行观测丝状蓝藻，发现水华束丝藻（Aphanizomenon flosaquae）和长胞藻（Dolichospermum spp.）是引发该水域赤潮的主要种类，与显微镜观察的结果基本一致[45]。2019年，在香港海域渔排上基于IFCB和卷积神经网络（Convolutional neural network，CNN）自动识别技术建立的赤潮实时预警观测系统，能够识别15种有害赤潮生物，准确率达94.2%，并实现自动计数细胞数量[46] 。2017年6月到2021年10月，部署在美国罗德岛上的IFCB连续采集拟菱形藻（Pseudo-nitzschia spp.）丰度数据，也成功实现了该种赤潮的预警[47]。
2.2.2 剪影成像
剪影成像是利用逆光的原理形成高反差影像，展现出目标物的外部轮廓。主要仪器有阴影图像颗粒剖面记录仪（Shadowed image particle profiling and evaluation recorder，SIPPER），能够识别200 μm到几厘米大小的浮游生物，可安装在自动潜航器上（Autonomous underwater vehicle，AUV），观测通量为12.0 L/s[48]。原位浮游鱼群成像系统（In situ ichthyoplankton imaging system，ISIIS）可观测几毫米到10 cm以上的浮游生物，观测通量大于70.0 L/s[49]。浮游动物可视化和成像系统（Zooplankton visualization and imaging system，ZooVIS）能够识别75 μm到几厘米的浮游生物，观测通量为3.6 L/s[50]。浮游生物视觉系统（PlanktonScope）能够识别40 µm~5 cm的浮游生物[51]。
SIPPER和ISIIS都是通过高速线阵电荷耦合器件（Charge-coupled device，CCD）进行成像，CCD的读取速度与拖曳速度配合，实现更高通量的观测，SIPPER通过激光生成平行光光束，ISIIS则是通过LED生成平行光光束。ZooVIS采用LED生成平行光束进行照明，并配合面阵相机进行成像，该技术的成像无需与拖曳速度严格配合，且局部水体扰动对成像质量影响较小，成像质量相对较高。PlanktonScope采用640 nm波段的红光照明，通过互补金属氧化物半导体（Complementary metal oxide semiconductor，CMOS）成像。ISIIS和SIPPER只能以运动的方式进行工作，不能被应用于定点原位成像，ZooVIS和PlanktonScope则不受此限制。
2010年10月15日—17日，使用ISIIS研究了南加州湾盐度驱动锋面小型胶质浮游动物的分布。发现水螅水母和被囊类动物的分布主要与温度、深度有关，管水母与溶解氧和叶绿素a有关，栉水母与溶解氧有关。研究结果对生物物理驱动因素以及中尺度锋在浮游动物群落构建过程中的影响提供了新的认识[52]。2016年4月，在深圳湾部署的PlanktonScope记录了1次夜光藻（Noctiluca scintillans）暴发的全过程，表明PlanktonScope可被用于夜光藻赤潮的早期预警[53]。2021年，通过全年连续观测揭示了浮游生物的昼夜节律、季节变化和台风等事件响应[51]。
剪影成像技术虽然在成像通量上有优势，但受成像机理限制，成像分辨率较低，导致后续识别准确率下降。剪影成像是利用物质对光选择性吸收进行成像，由于部分浮游生物折射率与海水较为接近，且各部位对光吸收的差异较小，其图像对比度较差。此外，颗粒物对光的散射和吸收不仅会降低图像对比度，也会在目标图像上叠加颗粒物成像，进一步降低图像分辨率。
2.2.3 暗场成像
暗场成像通过目标物的散射、反射和折射进行成像。由于目标物散射的光线包含大量高频信号，图像形成更锐利的边缘、更高的对比度和丰富的色彩信息[54]。
暗场成像仪主要有以下几种类型仪器。浮游生物录影记录仪（Video plankton recorder，VPR）可识别个体大小在100 µm~1 cm之间的浮游生物，拖曳工作速度为6 m/s[55]。水下视觉剖面仪（Underwater vision profiler，UVP）可识别个体大小大于100 µm的浮游生物，拖曳工作速度为1 m/s，图像记录频率高达6 Hz，单帧图像对应的水体积为1.02 L[56]。光波视觉关键物种调查仪（Light frame on-sight key species investigation，LOKI）可识别个体大小在100 µm以上的浮游生物，拖曳工作速度为0.3 m/s[57]。斯克里普浮游生物照相系统（Scripps plankton camera system，SPC）可识别个体大小在10 µm~10 cm之间的浮游生物，单帧图像对应的水体积从3.00 µL到0.50 L不等[58]。浮游生物成像探测仪（Imaging plankton probe，IPP）可识别个体大小在200 µm~4 cm之间的浮游生物，单帧图像对应的水体积为200.00 mL[59]。暗场成像仪采用掠射式的照明，在增加成像空间方面的策略各有特点。UVP以垂直运动工作方式来增加成像的空间尺度，其成像光轴垂直，照明方向水平，使水流能顺利通过成像区域。VPR和大面浮游生物摄像系统（Large area plankton imaging system，LAPIS）均以拖曳工作方式增加成像的空间尺度，但LAPIS通过安装在成像区域前端的网先富集浮游生物，再流经成像区域，此过程可能会破坏脆弱的胶质浮游生物形态。
SPC和IPP都是通过在水下长时间定点工作来扩展成像空间尺度，但分别采用了不同的照明方式。SPC采用传统暗场显微镜的照明方式，通过光挡来生成1个空心光锥进行照明。IPP采用360°对中照射的 LED布局，结合棒透镜和光阑，生成与成像光轴垂直的光层进行照明。暗场成像因成像系统的景深过浅和视场较小，而导致成像范围小，观测通量低；此外，其会引起浮游生物的趋光性或厌光性，导致观测结果失真。
1998年，VPR对采集的近2 000幅图像中的6个浮游生物分类群实现了自动分类，准确率达到95.0%[60]。2008年6月19日至2020年11月23日，利用UVP5收集了各大洋，以及地中海、波罗的海
8805 个垂直剖面上64 µm至50 mm的海洋颗粒物，发现高纬度和沿海地区颗粒丰度较高，深海和海洋涡旋中的颗粒丰度最低[61]。塔拉大洋远航项目（Tara oceans expedition）（2009年—2013年）对全球主要海域的210个站位进行了多学科的观测，包括利用UVP研究浮游生物昼夜垂直分布[62]等。2.2.4 全息成像
全息成像利用相干光照明，采集目标的干涉图像，再进行图像重建，具有高分辨率和大景深的优势，分为同轴全息和离轴全息。同轴全息的物光和参考光的传播方向相同，光路结构简单，但重建时受到零级光和孪生像的影响，因而其图像质量较差。离轴全息的参考光在传播方向与物光有一定的夹角，且在图像重建过程中，零级光、物光和共轭像分离，孪生像的干扰被排除，因此其图像质量较高[63]。
1974年，水下同轴全息成像技术被用于浮游生物观测，能够一次性观测100 L水体[64] 。1978年，该系统改进为离轴全息，以提升成像质量[65]。1999 年，同轴和离轴全息方法被集成在一套原位系统内，通过远程指令切换，以适应不同应用场景成像需求[66]。随着激光技术和图像传感器发展，2000年第一套数字水下全息成像系统（Digital holographic sensor，DHS）问世，分辨率达到 5.0 μm [67]。2016年，基于激光器配合小孔产生点光源进行照明成像的技术转化为成熟产品4-Deep [68]。数字同轴全息显微镜（The holoSea）分辨率可达1.5 μm，单帧图像对应的水体为0.10 mL，处理效率为130 mL/min，可用于微型浮游生物（>20 μm）实时观测[69]。2019年和2020年在加拿大的纽芬兰和乔治亚海峡利用全息成像系统开展了浮游生物研究，发现纽芬兰不同区域群落结构存在明显差异，并揭示了乔治亚海峡硅藻赤潮生消过程中优势种的演替[70-71]。
2.2.5 图像自动识别和分析
为了自动识别并处理拖曳式和原位图像采集设备获得的海量数据，必须对图像特征进行提取和分类，选取的特征既要在类别内通用，又要能区分类别间的差异，同时图像特征还可以形成图像内容的低维表示[72]。传统的浮游生物自动识别依靠人工设计和选择分类特征，最常用的分类器是支持向量网络（Support-vector network，SVM）[73]和随机决策森林（Random decision forest，RDF）[74]。1998年，Tang X O等[60]首次利用浮游生物的图像纹理和形状信息对VPR采集的浮游生物开展了自动识别。
随着人工智能技术的迅速发展，CNN在计算机视觉领域显示出比传统技术更优越的性能。CNN的优势是自动从训练数据中提取图像特征，而非依赖手工设计的图像特征。基于CNN的方法已成为图像分类、目标定位和图像分割等应用主流。基于多种图像采集设备（ISIIS、IFCB）获取的图像数据，CNN提取其中的浮游生物图像特征，建立数据集并进行分类[75]；采用CNN对ISIIS采集的37类浮游生物图像进行分类，准确率达到90.7%[76]。
影响深度学习算法准确率的主要因素是训练集规模、质量和网络结构[77]。首先是较少出现的浮游生物示例图像不足。其次是各个类别之间严重不平衡，导致数据集出现高度偏差，影响了分类器性能。最后是不同成像仪器产生的数据集图像在视觉上也不尽相同，使开放图像数据集的适用性受到较大的限制[78]。
3. 结语
基于声学和光学原理研发的多种海洋生物观测新技术各有特点，是传统观测方法的有益补充。被动声学观测成本低廉，易于维护，特别适用于观测海洋哺乳动物，以及河口、珊瑚礁区中的游泳生物。OPD适用于观测海区中具有特征色素的特定藻类，尤其是对短凯伦藻等赤潮藻类进行观测的效果更佳，其优势也是成本较低、操作简便。基于不同光学成像原理发展的各项海洋生物观测技术，可以观测不同粒径海洋生物，并且能够满足原位观测或者大面拖曳式观测需求，其优点是可以进行定量观测，但存在设备昂贵、操作复杂、维护困难等不足。海量的图像识别是面临的一个巨大挑战，但是随着图像数据库的不断完善和人工智能技术的快速发展，图像识别和分析的准确率将有望得到大幅提高。鱼类、甲壳类等众多海洋生物是海洋渔业资源重要的组成部分，相关实例证实应用这些海洋生物观测新技术，可有效地捕捉到栖息地中鱼类、虾类的种群分布信息，在海洋渔业生态研究中也能被应用于浮游生物多样性观测。
-
[1] Appeltans W, Ahyong S T, Anderson G, et al. The magnitude of global marine species diversity[J]. Current Biology, 2012, 22(23): 2189 − 2202. DOI: 10.1016/j.cub.2012.09.036
[2] Airoldi L, Balata D, Beck M W. The gray zone: relationships between habitat loss and marine diversity and their applications in conservation[J]. Journal of Experimental Marine Biology and Ecology, 2008, 366(1−2): 8 − 15. DOI: 10.1016/j.jembe.2008.07.034
[3] Peterson G, Allen C R, Holling C S. Ecological resilience, biodiversity, and scale[J]. Ecosystems, 1998, 1(1): 6 − 18. DOI: 10.1007/s100219900002
[4] 孙军,刘东艳,钱树本. 一种海洋浮游植物定量研究分析方法——Utermöhl方法的介绍及其改进[J]. 黄渤海海洋,2002,20(2):105 − 112. Sun J, Liu D Y, Qian S B. A quantative research and analysis method for marine phytoplankton: an introduction to Utermöhl method and its modification[J]. Journal of Oceanography of Huanghai & Bohai Seas, 2002, 20(2): 105 − 112.
[5] Wiebe P H, Benfield M C. From the Hensen net toward four-dimensional biological oceanography[J]. Progress in Oceanography, 2003, 56(1): 130 − 136. DOI: 10.1016/S0079-6611(02)00140-4
[6] Batten S D, Clark R, Flinkman J, et al. CPR sampling: the technical background, materials and methods, consistency and comparability[J]. Progress in Oceanography, 2003, 58(2 − 4): 193 − 215. DOI: 10.1016/j.pocean.2003.08.004
[7] Lo N C H, Jacobson L D, Squire J L. Indices of relative abundance from fish spotter data based on delta-Lognornial models[J]. Canadian Journal of Fisheries and Aquatic Sciences, 1992, 49(12): 2515 − 2526. DOI: 10.1139/f92-278
[8] 黄良敏,李军,张雅芝,等. 闽江口及附近海域渔业资源现存量评析[J]. 热带海洋学报,2010,29(5):142 − 148. DOI: 10.3969/j.issn.1009-5470.2010.05.022 Huang L M, Li J, Zhang Y Z, et al. Current fishery resource assessment in the Minjiang River Estuary and its neighboring waters[J]. Journal of Tropical Oceanography, 2010, 29(5): 142 − 148. DOI: 10.3969/j.issn.1009-5470.2010.05.022
[9] 徐开达,徐汉祥,王洋,等. 金属线码标记技术在渔业生物增殖放流中的应用[J]. 渔业现代化,2018,45(1):75 − 80. DOI: 10.3969/j.issn.1007-9580.2018.01.012 Xu K D, Xu H X, Wang Y, et al. The technology of coded wire tag and its application in fishery stock enhancement[J]. Fishery Modernization, 2018, 45(1): 75 − 80. DOI: 10.3969/j.issn.1007-9580.2018.01.012
[10] Katsukawa T. Evaluation of current and alternative fisheries management scenarios based on spawning-per-recruit (SPR), revenue-per-recruit (RPR), and yield-per-recruit (YPR) diagrams[J]. ICES Journal of Marine Science, 2005, 62(5): 841 − 846. DOI: 10.1016/j.icesjms.2005.04.002
[11] Sueur J, Farina A. Ecoacoustics: the ecological investigation and interpretation of environmental sound[J]. Biosemiotics, 2015, 8(3): 493 − 502. DOI: 10.1007/s12304-015-9248-x
[12] Laiolo P. The emerging significance of bioacoustics in animal species conservation[J]. Biological Conservation, 2010, 143(7): 1635 − 1645. DOI: 10.1016/j.biocon.2010.03.025
[13] Thomas J A, Kuechle V B. Quantitative analysis of Weddell seal (Leptonychotes weddelli) underwater vocalizations at McMurdo Sound, Antarctica[J]. The Journal of the Acoustical Society of America, 1982, 72(6): 1730 − 1738. DOI: 10.1121/1.388667
[14] Tricas T C, Boyle K S. Acoustic behaviors in Hawaiian coral reef fish communities[J]. Marine Ecology Progress Series, 2014, 511: 1 − 16. DOI: 10.3354/meps10930
[15] Henninger H P, Watson Ⅲ W H. Mechanisms underlying the production of carapace vibrations and associated waterborne sounds in the American lobster, Homarus americanus[J]. Journal of Experimental Biology, 2005, 208(17): 3421 − 3429. DOI: 10.1242/jeb.01771
[16] Coquereau L, Grall J, Chauvaud L, et al. Sound production and associated behaviours of benthic invertebrates from a coastal habitat in the north-east Atlantic[J]. Marine Biology, 2016, 163(5): 127. DOI: 10.1007/s00227-016-2902-2
[17] Song Z, Ou W, Su Y, et al. Sounds of snapping shrimp (Alpheidae) as important input to the soundscape in the southeast China coastal sea[J]. Frontiers in Marine Science, 2023, 10: 1029003.
[18] Mann D A, Grothues T M. Short-term upwelling events modulate fish sound production at a mid-Atlantic Ocean observatory[J]. Marine Ecology Progress Series, 2009, 375: 65 − 71. DOI: 10.3354/meps07720
[19] Lillis A, Mooney T A. Snapping shrimp sound production patterns on Caribbean coral reefs: relationships with celestial cycles and environmental variables[J]. Coral Reefs, 2018, 37(2): 597 − 607. DOI: 10.1007/s00338-018-1684-z
[20] Parsons M J G, Salgado-Kent C P, Marley S A, et al. Characterizing diversity and variation in fish choruses in Darwin Harbour[J]. ICES Journal of Marine Science, 2016, 73(8): 2058 − 2074. DOI: 10.1093/icesjms/fsw037
[21] Au W W L, Mobley J, Burgess W C, et al. Seasonal and diurnal trends of chorusing humpback whales wintering in waters off western Maui[J]. Marine Mammal Science, 2000, 16(3): 530 − 544. DOI: 10.1111/j.1748-7692.2000.tb00949.x
[22] Kaplan M B, Lammers M O, Zang E, et al. Acoustic and biological trends on coral reefs off Maui, Hawaii[J]. Coral Reefs, 2018, 37(1): 121 − 133. DOI: 10.1007/s00338-017-1638-x
[23] Luczkovich J J, Pullinger R C, Johnson S E, et al. Identifying sciaenid critical spawning habitats by the use of passive acoustics[J]. Transactions of the American Fisheries Society, 2008, 137(2): 576 − 605. DOI: 10.1577/T05-290.1
[24] Picciulin M, Kéver L, Parmentier E, et al. Listening to the unseen: passive acoustic monitoring reveals the presence of a cryptic fish species[J]. Aquatic Conservation: Marine and Freshwater Ecosystems, 2019, 29(2): 202 − 210. DOI: 10.1002/aqc.2973
[25] Versluis M, Schmitz B, von der Heydt A, et al. How snapping shrimp snap: through cavitating bubbles[J]. Science, 2000, 289(5487): 2114 − 2117. DOI: 10.1126/science.289.5487.2114
[26] Au W W L, Banks K. The acoustics of the snapping shrimp Synalpheus parneomeris in Kaneohe Bay[J]. The Journal of the Acoustical Society of America, 1998, 103(1): 41 − 47. DOI: 10.1121/1.423234
[27] Kaplan M B, Mooney T A, Partan J, et al. Coral reef species assemblages are associated with ambient soundscapes[J]. Marine Ecology Progress Series, 2015, 533: 93 − 107. DOI: 10.3354/meps11382
[28] Parsons M, Erbe C, McCauley R, et al. Long-term monitoring of soundscapes and deciphering a usable index: examples of fish choruses from Australia[J]. Proceedings of Meetings on Acoustics, 2016, 27(1): 010023.
[29] Locascio J, Mann D, Wilcox K, et al. Incorporation of acoustic sensors on a coastal ocean monitoring platform for measurements of biological activity[J]. Marine Technology Society Journal, 2018, 52(3): 64 − 70. DOI: 10.4031/MTSJ.52.3.9
[30] Sayigh L, Daher M A, Allen J, et al. The Watkins marine mammal sound database: an online, freely accessible resource[J]. Proceedings of Meetings on Acoustics, 2016, 27(1): 040013.
[31] Kasten E P, Gage S H, Fox J, et al. The remote environmental assessment laboratory’s acoustic library: an archive for studying soundscape ecology[J]. Ecological Informatics, 2012, 12: 50 − 67. DOI: 10.1016/j.ecoinf.2012.08.001
[32] Larsen O N, Radford C. Acoustic conditions affecting sound communication in air and underwater[M]//Slabbekoorn H, Dooling R J, Popper A N, et al. Effects of anthropogenic noise on animals. New York: Springer, 2018: 109 − 144.
[33] Au W W L, Hastings M C. Principles of marine bioacoustics[M]. New York: Springer, 2008.
[34] Hilty J, Merenlender A. Faunal indicator taxa selection for monitoring ecosystem health[J]. Biological Conservation, 2000, 92(2): 185 − 197. DOI: 10.1016/S0006-3207(99)00052-X
[35] Kirkpatrick G J, Millie D F, Moline M A, et al. Optical discrimination of a phytoplankton species in natural mixed populations[J]. Limnology and Oceanography, 2000, 45(2): 467 − 471. DOI: 10.4319/lo.2000.45.2.0467
[36] Millie D F, Schofield O M, Kirkpatrick G J, et al. Detection of harmful algal blooms using photopigments and absorption signatures: a case study of the Florida red tide dinoflagellate, Gymnodinium breve[J]. Limnology and Oceanography, 1997, 42(5part2): 1240 − 1251. DOI: 10.4319/lo.1997.42.5_part_2.1240
[37] Shapiro J, Dixon L K, Schofield O M, et al. New sensors for ocean observing: the optical phytoplankton discriminator[M]//Liu Y G, Kerkering H, Weisberg R H. Coastal ocean observing systems. Amsterdam: Academic Press, 2015: 326 − 350.
[38] Beckler J S, Arutunian E, Moore T, et al. Coastal harmful algae bloom monitoring via a sustainable, sail-powered mobile platform[J]. Frontiers in Marine Science, 2019, 6: 587. DOI: 10.3389/fmars.2019.00587
[39] Fragoso G M, Johnsen G, Chauton M S, et al. Phytoplankton community succession and dynamics using optical approaches[J]. Continental Shelf Research, 2021, 213: 104322. DOI: 10.1016/j.csr.2020.104322
[40] Dubelaar G B J, Groenewegen A C, Stokdijk W, et al. Optical plankton analyser: a flow cytometer for plankton analysis, Ⅱ: specifications[J]. Cytometry, 1989, 10(5): 529 − 539. DOI: 10.1002/cyto.990100508
[41] Dubelaar G B J, Gerritzen P L, Beeker A E R, et al. Design and first results of CytoBuoy: a wireless flow cytometer for in situ analysis of marine and fresh waters[J]. Cytometry, 1999, 37(4): 247 − 254. DOI: 10.1002/(SICI)1097-0320(19991201)37:4<247::AID-CYTO1>3.0.CO;2-9
[42] Olson R J, Sosik H M. A submersible imaging-in-flow instrument to analyze nano-and microplankton: imaging FlowCytobot[J]. Limnology and Oceanography: Methods, 2007, 5(6): 195 − 203. DOI: 10.4319/lom.2007.5.195
[43] Fragoso G M, Poulton A J, Pratt N J, et al. Trait-based analysis of subpolar North Atlantic phytoplankton and plastidic ciliate communities using automated flow cytometer[J]. Limnology and Oceanography, 2019, 64(4): 1763 − 1778. DOI: 10.1002/lno.11189
[44] Campbell L, Olson R J, Sosik H M, et al. First harmful Dinophysis (Dinophyceae, Dinophysiales) bloom in the U.S. is revealed by automated imaging flow cytometry[J]. Journal of Phycology, 2010, 46(1): 66 − 75. DOI: 10.1111/j.1529-8817.2009.00791.x
[45] Kraft K, Seppälä J, Hällfors H, et al. First application of IFCB high-frequency imaging-in-flow cytometry to investigate bloom-forming filamentous Cyanobacteria in the Baltic Sea[J]. Frontiers in Marine Science, 2021, 8: 594144. DOI: 10.3389/fmars.2021.594144
[46] Guo J H, Ma Y Y, Lee J H W. Real-time automated identification of algal bloom species for fisheries management in subtropical coastal waters[J]. Journal of Hydro-Environment Research, 2021, 36: 1 − 32.
[47] Agarwal V, Chávez-Casillas J, Mouw C B. Sub-monthly prediction of harmful algal blooms based on automated cell imaging[J]. Harmful Algae, 2023, 122: 102386. DOI: 10.1016/j.hal.2023.102386
[48] Samson S, Hopkins T, Remsen A, et al. A system for high-resolution zooplankton imaging[J]. IEEE Journal of Oceanic Engineering, 2001, 26(4): 671 − 676. DOI: 10.1109/48.972110
[49] Cowen R K, Guigand C M. In situ ichthyoplankton imaging system (ISIIS): system design and preliminary results[J]. Limnology and Oceanography: Methods, 2008, 6(2): 126 − 132. DOI: 10.4319/lom.2008.6.126
[50] Benfield M C, Schwehm C J, Fredericks R G, et al. Measurement of zooplankton distributions with a high-resolution digital camera system[M]//Seuront L, Strutton P G. Handbook of scaling methods in aquatic ecology: measurement, analysis, simulation. Boca Raton: CRC Press, 2003: 17 − 30.
[51] Bi H S, Song J T, Zhao J, et al. Temporal characteristics of plankton indicators in coastal waters: high-frequency data from PlanktonScope[J]. Journal of Sea Research, 2022, 189: 102283. DOI: 10.1016/j.seares.2022.102283
[52] Luo J Y, Grassian B, Tang D, et al. Environmental drivers of the fine-scale distribution of a gelatinous zooplankton community across a mesoscale front[J]. Marine Ecology Progress Series, 2014, 510: 129 − 149. DOI: 10.3354/meps10908
[53] Song J T, Bi H S, Cai Z H, et al. Early warning of Noctiluca scintillans blooms using in-situ plankton imaging system: an example from Dapeng Bay, P.R. China[J]. Ecological Indicators, 2020, 112: 106123. DOI: 10.1016/j.ecolind.2020.106123
[54] 陈涛. 海洋浮游生物原位光学成像系统研究[D]. 深圳:中国科学院深圳先进技术研究院,2023. Chen T. The study of marine plankton in situ intelligent optical imaging system[D]. Shenzhen: Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences, 2023.
[55] Davis C S, Thwaites F T, Gallager S M, et al. A three-axis fast-tow digital video plankton recorder for rapid surveys of plankton taxa and hydrography[J]. Limnology and Oceanography: Methods, 2005, 3(2): 59 − 74. DOI: 10.4319/lom.2005.3.59
[56] Picheral M, Guidi L, Stemmann L, et al. The underwater vision profiler 5: an advanced instrument for high spatial resolution studies of particle size spectra and zooplankton[J]. Limnology and Oceanography: Methods, 2010, 8(9): 462 − 473. DOI: 10.4319/lom.2010.8.462
[57] Schulz J, Barz K, Ayon P, et al. Imaging of plankton specimens with the lightframe on-sight keyspecies investigation (LOKI) system[J]. Journal of the European Optical Society-Rapid Publications, 2010, 5: 10017s. DOI: 10.2971/jeos.2010.10017s
[58] Orenstein E C, Ratelle D, Briseño-Avena C, et al. The scripps plankton camera system: a framework and platform for in situ microscopy[J]. Limnology and Oceanography: Methods, 2020, 18(11): 681 − 695. DOI: 10.1002/lom3.10394
[59] Chen T, Li J P, Ma W Q, et al. Deep focus-extended darkfield imaging for in situ observation of marine plankton[J]. Frontiers in Marine Science, 2023, 10: 1074428. DOI: 10.3389/fmars.2023.1074428
[60] Tang X O, Stewart W K, Huang H, et al. Automatic plankton image recognition[J]. Artificial Intelligence Review, 1998, 12(1): 177 − 199.
[61] Kiko R, Picheral M, Antoine D, et al. A global marine particle size distribution dataset obtained with the underwater vision profiler 5[J]. Earth System Science Data, 2022, 14(9): 4315 − 4337. DOI: 10.5194/essd-14-4315-2022
[62] Pesant S, Not F, Picheral M, et al. Open science resources for the discovery and analysis of Tara Oceans data[J]. Scientific Data, 2015, 2: 150023. DOI: 10.1038/sdata.2015.23
[63] Garcia-Sucerquia J, Xu W B, Jericho S K, et al. Digital in-line holographic microscopy[J]. Applied Optics, 2006, 45(5): 836 − 850. DOI: 10.1364/AO.45.000836
[64] Stewart G L, Beers J R, Knox C. Application of holographic techniques to the study of marine plankton in the field and in the laboratory[C]//Ralph F, Wuerker E A. Proceedings of SPIE 0041, developments in laser technology Ⅱ. San Diego: SPIE, 1974: 183 − 188.
[65] Heflinger L O, Stewart G L, Booth C R. Holographic motion pictures of microscopic plankton[J]. Applied Optics, 1978, 17(6): 951 − 954. DOI: 10.1364/AO.17.000951
[66] Katz J, Donaghay P L, Zhang J, et al. Submersible holocamera for detection of particle characteristics and motions in the ocean[J]. Deep Sea Research Part Ⅰ: Oceanographic Research Papers, 1999, 46(8): 1455 − 1481. DOI: 10.1016/S0967-0637(99)00011-4
[67] Owen R B, Zozulya A A. In-line digital holographic sensor for monitoring and characterizing marine particulates[J]. Optical Engineering, 2000, 39(8): 2187 − 2197. DOI: 10.1117/1.1305542
[68] Rotermund L M, Samson J, Kreuzer H J. A submersible holographic microscope for 4-D in-situ studies of micro-organisms in the ocean with intensity and quantitative phase imaging[J]. Journal of Marine Science: Research & Development, 2016, 6(1): 1000181.
[69] MacNeil L, Missan S, Luo J L, et al. Plankton classification with high-throughput submersible holographic microscopy and transfer learning[J]. BMC Ecology and Evolution, 2021, 21(1): 123. DOI: 10.1186/s12862-021-01839-0
[70] MacNeil L, Desai D K, Costa M, et al. Combining multi-marker metabarcoding and digital holography to describe eukaryotic plankton across the Newfoundland Shelf[J]. Scientific Reports, 2022, 12(1): 13078. DOI: 10.1038/s41598-022-17313-w
[71] MacNeil L, Costa M, Laroche J. Glimpsing the 2020 spring bloom in the Strait of Georgia (Canada) with autonomous ferry-based sensors[J]. Marine Ecology Progress Series, 2024, 736: 181 − 187. DOI: 10.3354/meps14574
[72] Grosjean P, Picheral M, Warembourg C, et al. Enumeration, measurement, and identification of net zooplankton samples using the ZOOSCAN digital imaging system[J]. ICES Journal of Marine Science, 2004, 61(4): 518 − 525. DOI: 10.1016/j.icesjms.2004.03.012
[73] Cortes C, Vapnik V. Support-vector networks[J]. Machine Learning, 1995, 20(3): 273 − 297.
[74] Ho T K. Random decision forests[C]//Raju K S, Govardhan A, Rani B P, et al. Proceedings of 3rd international conference on document analysis and recognition. Montreal: IEEE, 1995: 278 − 282.
[75] Orenstein E C, Beijbom O. Transfer learning and deep feature extraction for planktonic image data sets[C]//Mercier J P, Trottier T, Giguere P, et al. Proceedings of 2017 IEEE winter conference on applications of computer vision. Santa Rosa: IEEE, 2017: 1082 − 1088.
[76] Luo J Y, Irisson J O, Graham B, et al. Automated plankton image analysis using convolutional neural networks[J]. Limnology and Oceanography: Methods, 2018, 16(12): 814 − 827. DOI: 10.1002/lom3.10285
[77] Yang Z Y, Li J P, Chen T, et al. Contrastive learning-based image retrieval for automatic recognition of in situ marine plankton images[J]. ICES Journal of Marine Science, 2022, 79(10): 2643 − 2655. DOI: 10.1093/icesjms/fsac198
[78] Eerola T, Batrakhanov D, Barazandeh N V, et al. Survey of automatic plankton image recognition: challenges, existing solutions and future perspectives[J]. Artificial Intelligence Review, 2024, 57(5): 114. DOI: 10.1007/s10462-024-10745-y
计量
- 文章访问数: 24
- HTML全文浏览量: 14
- PDF下载量: 4
下载:
