应用TEQC软件对华东地区观测数据进行质量分析毕业论文
2020-07-15 21:09:55
摘 要
TEQC是由美国UNAVCO开发的GPS/GLONASS数据预处理工具软件,是进行数据格式转换、编辑、质量检查的常用工具,广泛应用于数据格式转换、数据完备性检查、元数据编辑等。
1.引言
1.1 研究意义
随着空间定位技术的迅速发展,利用GPS 定位已成为测绘领域中获取地面控制点坐标的主要途径,其观测量是GPS 卫星发送的用于导航定位的载波信号。载波信号在传播过程中时常会受到一部分干扰,这些来自许多不同种类的干扰最终会导致数据误差,如电离层和对流层折射误差、多路径效应或者观测噪声等。为了合理减少或者避免这类误差,尽量提高GPS控制网基线解算的精度,那么我们就必须对GPS 观测值提前进行一些处理也就是所说的GPS数据预处理,但是如果观测值有着相当大的误差的时候,那么必须舍弃该时段数据或者对该时段数据进行重新测量。那么通常采用的方法是运用商业软件的基线解算结果,对观测结果进行一定的质量分析和评定从而相对有效的将观测量质量提高。但今天本文要介绍的是另一种常见的质量评定软件TEQC,他的专业性、功能性、操作性都非常的可观。TEQC的功能非常强大,对RINEX格式的GPS、GLONASS及部分其它数据都能处理,同时TEQC软件有各种操作系统下使用的版本,包括Unix、Linux、MacOS以及Windows的DOS等。主要介绍的是WINDOWS操作系统的版本,重点介绍GPS观测数据的质量检查及一些最基本的操作命令,并对TEQC在使用过程中遇到的一些常见问题进行了归纳和总结,同时根据笔者经验提出了相应的解决方案。在GPS 数据处理中基线解算起着最重要的作用,然而GPS 数据的采集和预处理是获得良好的基线结果的重要前提。GPS 数据的预处理是对原始观测数据进行编辑和整理,另外对所采集的GPS 原始数据进行质量的评估对得到可靠成果起着重要的保证作用。TEQC主要包括三个功能模块:数据格式转换、RINEX 数据编辑、数据质量检查。这三个模块相互独立,互不影响;既可以单独使用其中一个模块,也可以组合使用;可以随时随地诊断操作是否残缺,如果有操作不当的地方,TEQC会及时的向用户反馈错误并予以提示;TEQC所占用的存储空间非常小,对电脑硬件的要求也很低,适用于广大平民用户。所以本文针对TEQC的种种优点,一一进行了阐释与说明,并且举例演示了其操作简单、功能齐全等出色的处理能力。
1.2 研究现状分析
目前市场上测量型GPS 接收机种类繁多,包括Leica、Trimble、Ashtech、Javad 等多个品牌。各个厂商都制定了针对自己产品的数据存储格式,虽然各厂家都提供工具(如Trimble 的Dat2rin)将各自的格式转换为通用的RINEX 格式(Receiver INdependent EXchange format,即与接收机无关的交换格式),但其使用较繁琐,要求操作人员对各个软件都比较熟悉,也不容易实现批处理,而这一功能对海量GPS 数据管理自主运行系统来说尤为重要。为此,UNAVCO 开发了TEQC (Translating, Editing and Quality Check)软件,该名称来源于其具有的各项功能:转换(Translating)、编辑(Editing)、质量检查(Quality Check)。TEQC 已成为多个IGS(Internal GNSS Service)数据中心的质量核检工具,能够及时发现数据问题。TEQC 的前身QC(Quality Check)程序是用Fortran 编写的,移植性较差,后来UNAVCO 用C 语言重写了全部代码,目前仅免费提供可执行程序[2]。TEQC 是一个命令行工具,能够运行在多种操作系统上,包括Unix、Linux、MacOS 以及Windows 的DOS 等,其运行语法为:teqc {options} [file1 [file2 [...]]]其中,{options}为控制参数,参数前面标“-”表示是输入参数,“ ”表示为输出参数,各参数可以预先写入一个文本文件,在调用teqc 时指定。teqc 的缺省输出设备为标准输出,可与管道(|)或重定向(gt;、gt;gt;)等结合起来使用,控制其结果的输出位置。本文就TEQC 的主要功能作简单介绍,并探讨其在GPS接收机测试中的应用。在这些全面的功能之中,格式转换的功能最为强大,可以把许多不同品牌生产的GPS 接收机产生的二进制观测文件统统转换为RINEX 文件,并且可以在RINEX格式的文件下进行不同格式之间进行转换;TEQC软件编辑功能可以对RINEX文件字头块部分进行编辑,也可将所得到的数据文件进行任意的切割或者合并、将观测值类型进行裁剪或者删除、也可以用来选择卫星系统和禁用哪些特定卫星;质量检核模块功能能够简洁明了的展示出GPS 数据的电离层延迟、多路径影响、接收机周跳、卫星信号信噪比等信息,并将这些信息直观的呈现在人们面前。这些操作模式可单独工作或几个协调工作。使用TEQC操作命令行界面,加快常规或重复处理执行,TEQC允许在脚本中使用,且避免了用户在图形界面重复菜单点击。TEQC最常见的数据格式使用是RINEX格式。以下是最常见的三种RINEX格式的简写形式,他们会贯穿整个TEQC:obs file为RINEX观测数据文件的简写,nav file为 RINEX导航信息文件的简写,met file则是RINEX气象数据文件的简写。TEQC没有做精密单点定位所以TEQC不应该被用于寻找精确的天线位置。 TEQC计算近似的天线位置,来帮助其QC计算,但高精度位置不需要TEQC来做质量检测。 TEQC的近似天线位置仅仅用于确定卫星的天空的位置所看到的接收器。该天线位置可能是相差10米或更多一些。但是对于TEQC来说这种误差是可以接受的,从卫星来看10米的天线位置误差看不到显著方向改变。TEQC不会将天线位置用入TEQC中RINEX文件头的计算。对于所有平台下 TEQC的可执行文件在所有情况下应给予相同的结果。TEQC用户由UNAVCO提供支持。本文采取文献研究和实例探析的方法对TEQC进行全面的研究和实践,介绍了TEQC的主要功能,其在GPS 数据预处理中的应用以及TEQC 对GPS 原始观测数据进行格式转换、数据编辑和质量检查的基本方法,结合实例探讨了TEQC 对数据质量评定的分析思路利用TEQC 对所测水上动态数据进行了分析,获取了数据质量、GPS 接收机和天线性能等指标,讨论了目前应用最为广泛的GPS 数据分析软件的三大功能模块,包括数据格式转换模块、RINEX 数据编辑模块以及数据质量检核模块,结合实例,对数据处理的结果进行分析和质量评定,根据质量分析得出原因,并讨论利用TEQC软件对GPS原始观测数据进行格式转换、数据编辑以及质量检核的方法,结合实例对处理结果进行了分析,采用相应的措施削弱、减少测量中的各项误差,提高GPS 观测的精度,对于今后GPS 连续观测站的建设具有指导意义。
1.3 研究内容
科学技术与经济的快速发展,信息社会已逐步健全。诸如美国的GPS 系统、俄罗斯的GLONASS系统和中国的北斗双星区域卫星定位系统,都能为用户提供海量的信息。经过数据处理,才能使信息成为合理实用的成果。实际上观测数据再采集到了之后好要进行相应的处理,要对观测数据进行预处理,还要进行平差计算才可以初步使用。观测数据的预处理主要是对原始数据精度的进一步提高,包括对原始数据进行编辑、加工和相应的整理,从而将各个专一的信息进行导出,形成各种专用的信息文件。这项操作也为之后的平差计算处理奠定了基础。预处理做的是否全面到位将对之后的平差计算产生决定性的影响,甚至影响到平差计算结果的精度。所以与处理的工作尤为重要,对预处理中运用到的数学模型和数据评价质量标准都应当慎重对待,自习分析,不许容得半点马虎。谈到预处理的工作内容主要有以下五项。原始数据的传输,其中包括同时进行分流并且生成测站信号文件、电离层参数和UTC参数文件、星历参数文件、载波相位和伪距观测值文件这四个数据文件;对观测数据进行平滑和滤波;探测修复载波相位观测值和周跳;将数据文件格式进行统一;对观测值进行必要的修改,提高其质量;本文详细阐述了TEQC软件在对华东地区观测数据进行质量分析中的应用。
1.4 论文结构
2.TEQC软件的主要功能
TEQC,全名为Translate,Edit and Quality-Check,是功能十分强大且操作简单的GNSS 数据预处理软件,是由美国卫星导航系统与地壳形变观测研究大学联合体 研制的,是为地学研究GPS 监测站数据管理服务的公开免费软件,是专门对测绘软件GPS/GLONASS 的数据进行预处理与质量分析的软件[1]。通过对GNSS数据质量分析软件开发的软件应用UNAVCO组织可用于静态和动态双频GPS接收机的数据质量检查。它利用伪距观测值和载波相位观测值的线性组合来对GNSS 数据中的误差进行估计,在快速评定GNSS 数据质量方面非常优秀[2]。
TEQC软件包括数据格式的转换(翻译),数据编辑(编辑),质量检查(质量检查)和单点定位(坐标),它们可以单独使用或相互结合使用,相互独立的模块,相互独立。格式转换功能可以有很多不同的GPS接收机观测文件制造商(二进制)为RINEX文件,你可以在不同的格式RINEX文件之间的转换;数据编辑功能可用于RINEX文件头块段,也可以切割和禁用任何合并,删除观察类型,选择特定的卫星系统数据文件;质量检验功能的可用性可以用来检查双频GPS接收机的动态和静态数据的质量,它可以反映GNSS数据,电离层延迟,多路径效应,周跳的卫星接收机,信号的信噪比和其他信息。通过使用这些模块,你可以实时诊断的完整性,并提供错误信息的用户。由于其较小的存储空间,对系统的硬件要求较低,因此其广阔的应用环境,普通用户可以操作的应用。
2.1数据格式转换
随着GPS技术的快速发展和巨大的市场空间,GPS接收设备的厂家越来越多,但制造商确保他们的知识产权和商业利润,他们生产的仪器基本上都是采用自己研发的独立的数据格式,并提供了一个捆绑软件对每个仪器和数据服务。TEQC主要是通过批处理来进行GPS处理数据并可以对不同格式的GPS原始数据进行处理,不仅可以应用在GPS上,在GPS,GLONASS,Galileo 和SBAS 的数据预处理中也能很好的应用。由于所有制造商的不同的数据格式,在不同格式之间的不兼容性,数据频繁,带来了一定的难度,用户的GPS数据后处理中。为了解决后处理软件数据的交换和输入格式问题, 伯尔尼大学天文研究所提出了独立于接收机的数据交换格RINEX, 该通用数据交换格式在科学研究和工程技术等领域得到了广泛认可,已成为GPS 数据的标准格式[3]。
TEQC 可将许多不同型号GPS 接收机采集的不同类型观测(二进制) 文件转换为标准的RINEX 格式文件,也可以在RINEX 文件的不同版本格式之间转换。TEQC 能够支持多种数据格式,比较常用的格式有:Trimble 接收机下载的*.dat 文件格式。Trimble RS-232 RT17 数据流文件格式。Ashtech 下载文件格式(B-文件、E-文件、S-文件和D-文件)。TEQC 在转换B-文件时,要求版本要高于3,否则在转换时相位观测值会出现错误。Ashtech RS-232 实时数据流文件格式。Ashtech R-文件、U-文件。TurboRogue/TurboStar 和BenchmarkACT接收机数据格式ConanBinary。由于早期的Rogues 数据格式是按卫星号排序,所以TEQC 不支持。TurboBinary 数据格式。Leica LB2、MDB、200/300 DS 数据格式。另外,UNAVCO 计划还将会支持Topcon PrecisionSystem (TPS) 和original JPS (Javad) 等数据格式。
TEQC在对应不同型号接收机和不同类型的数据格式,使用的转换命令也不同。下面用例子来说明格式转换功能的实现,二进制文件格式转换为RINEX格式的命令。TEQC是一个命令行运行软件,在DOS/Windows DOS环境下运行,以Trimble的*.dat文件为例;命令为:>teqc-tr do- week1250 + nav bjfs0180.01n + bjfs0180.dat >bjfs0180.01o其中:-tr指接收机的类型为trimble;do指明输入文件为dat文件、输出为RINEX观测数据文件(o-文件);-week1250 (可选)指对应的GPS周数,或以年/月/日方式表示;+nav指明同时输出RINEX 导航数据文件;转换结果文件为bjfs0180.01o和bjfs0180.01n。
2.1.1常见的GPS存储格式
常见的一般有三种数据:观测数据(OBServation data,简写OBS,为接收机记录的伪距、相位观测值)、导航数据(NAVavigation data,简写NAV,记录卫星实时发布的广播星历)和气象数据(METerological data,简写MET,记录气象仪器观测的温、压、湿度状况)。目前各类数据都以RINEX格式存储。RINEX 最早在1989 年提出,经历了1.0 和2.0 版,后来又对2.0 进行了修改,形成了2.10、2.11 和2.20。2.11 中包含了对L2C 的支持,并增加了Galileo 的代码。当前广泛使用的是RINEX 2.10。RINEX 文件的命名规则为ssssdddf.yyt。其中ssss 为台站名;ddd 为年积日(Day of Year);f 为文件在当天中的序列号,如果为0 则表示全天,小时文件以a-x 字母表示;yy 是年;t 是数据类型(o 表示观测数据,n 表示导航数据,m 表示气象数据)。需要注意的是,RINEX 采用世界协调时(UTC)时间,要与当地时间区别开。RINEX 为ASCII文本文件,常以ZIP 格式进行压缩(后缀名为“.Z”),以便于存储和传输。目前IGS 数据中心已采用Hatanaka RINEX 格式来存储所有GPS 观测数据,是一种“压缩”RINEX 格式,其文件名类型字母为d(不是o),能够压缩25-30%的大小,从而降低了网络传输负荷和存储空间。日本国土地理院的Yuki Hatanaka 提供工具软件crx2rnx / rnx2crx ( ftp ://terras.gsi.go.jp/software/,IGSMAIL-5611)可以在HatanakaRINEX 和标准RINEX 格式之间转换。
2.1.2利用TEQC 进行格式转换
在TEQC 的开发过程中,众多GPS 接收机厂商提供了有关各自原始数据格式的信息,使得TEQC 能够将多种接收机记录的原始二进制数据转换为RINEX 格式:Trimble、Javad、Topcon 、Ashtech、Leica、Navcom 等[4]。例如,要将Trimble的DAT 文件转换为RINEX 格式,可以使用:teqc tr d bjfs0010.dat gt; bjfs0010.06o其中“gt;”表示重定向,或者采用“ obs outname”来指定输出文件。TEQC 目前不能直接转换Trimble 的T00 格式,需要利用R-utility 中的runpk00 工具先将T00 文件转换为DAT 格式再进行处理。针对具体接收机格式的参数可以参见
TEQC 的帮助(teqc help)。为了实现批处理,可以利用UNIX/Linux Shell 编写脚本,自动进行数据格式转换,降低了操作人员的劳动强度,提高了效率。在转换过程中,还可以同时进行数据的编辑。通常采用的Shell 有Bourne Shell 和CShell。一个简单的例子为:#!/bin/sh⋯foreach file in `ls ${path}/*.dat`; doofile=${opath}/`basename ${file}`.${yr}o #输出文件名teqc tr d $file obs ${ofile} #转换doneTEQC 的缺省输出格式为RINEX version 2.XX(2.10),其它格式可以在运行时指定。
2.2 RINEX数据编辑
TEQC不仅可以将数据转换其他格式的GPS接收机为RINEX数据,并且数据可以满足编辑的需要。当转换工具不能识别原始数据的头信息(如站名、接收机和天线型号),或这些信息需要指定或修改时,利用TEQC可以方便完成。例如要更改RINEX 文件中的台站名可使用Teqc-O.mo BJFS bjfs0010.07o gt; /result/bjfs0010.07o利用TEQC 还可以进行数据重采样,例如将1 Hz 的观测数据重采样成30 s 间隔的文件:Teqc-O.dec 30 bjfs0010.07o gt; /30s/bjfs0010.07o
利用TEQC 可以方便地修改RINEX 文件的元数据(或叫头信息),针对不同类型的数据(观测、导航、气象)可以使用相应的参数。以“-O.”开头的是观测相关的选项,包括接收机、天线、台站、时间等信息;以“-N.”开头的是导航数据相关的选项,与电离层、时间等参数有关;以“-M.”开始与气象有关的数据的选项,包括时间和站点信息。主要的控制参数参见下表。
TEQC编辑头信息的主要控制参数
参数类别 | 参数前缀 | 参数名称 | 用途 |
观测数据 | -O. | r[un_by] | 程序运行者 |
o[perator] | 测站数据操作员 | ||
ag[ency] | 测站组织 | ||
mo[nument] | 测站名称 | ||
int[erval,sec] | 指定原始数据的采样间隔 | ||
st[art] | 指定数据记录的起始时间 | ||
dec[imate] | 指定输出文件的采样间隔 |
2.2.1 RINEX文件头的编辑
RINEX观测文件,导航和气象数据文件数据文件头TEQC可以用软件设置和改变,而且还增加了新的注释行和注释行的原始不变。利用TEQC软件对RINEX 观测数据文件的字头块部分进行设置和更改的格式为:gt; t eqc … 0. * … ? input file gt; output filegt; t eqc … 0. mo … G001… 00010160. 02ogt; temp0160. 02o式中, … 0. mo … G001… 指明将文件的… 测站名… 记录更改为… G001… , temp0160. 02o 为更改后输出的RINEX 观测数据文件。若想恢复原文件名, 可在Windows 操作系统下重新命名即可。但在这里必须重新设置输出文件名, 即不能与被处理文件00010160. 02o 同名, 否则输出文件为空文件。其他常用的设置项如表1 所示。
O-文件常用的设置项
指令 | 含义 | 指令 | 含义 |
- O.an | 设置天线编号 | O.c | 追加注释行记录 |
- O.rt | 设置接收机类型 | - O.int | 设置采样间隔/s |
- O.rn | 设置接收机编号 | - O.pe | 设置天线高、偏心改正 |
- O.mn | 设置测站点编号 | - O.at | 设置天线类型 |
类似的观测数据文件的编辑与RINEX导航数据文件和气象数据文件的工作,只有设置在导航数据文件-M.开始气象数据文件,基于观测文件-0.开始。
2.2.2 RINEX文件的切割
当你需要删除一些观测卫星质量不高的时候,我们必须先把文件分割接着再使用TEQC数据可以提取。标准格式的观测文件常采用开窗的方法进行分割,TEQC设置的开窗分割方法一共有8 种: