传输与数据交换系统功能说明.docx

数据传输与数据交换功能说明1需求说明 兵器210应用系统中,完成七家成员单位和兵器中心的数据传输工作,七家成员单位的源数据包含有网络采集的数据,兵器中心包含的源数据有网络采集的数据和自身的媒体库数据两种。2源数据连接说明网络采集数据格式说明数据库是oracle10G,具体数据格式参考下面数据库: IP: SID:testing USER:bqsj PAWD:bqsj涉及到的表: Classly-分类体系表 MutiFiles-视频和音频库 WebInfo-采集信息存储的主表 WebInfoContent-采集信息主表的关联表【详细内容表】 WebSiteRule-采集的站点信息表【采集站点说明】兵器中心媒体库数据格式说明详细数据格式请参考“附件目录”中媒体库资源。兵器中心媒体库总共分为三个“三维模型库”、“国防科技图片库”,“视音频及二三维动画库”。详细数据格式请参考:《》3数据传输匹配说明数据传输的源数据包含网络采集的“正文信息库”、“视频库”,和媒体资源库“三维模型库”、“国防科技图片库”、“视音频及二三维动画库”。下面将说明源数据与目标库的对应关系,及需要做的数据处理。“正文信息库”,,,,,,,,"Classly"a,"WebInfo"b,"WebInfoContent"c,"WebSiteRule"d,"webSiteRuleClassly"====(生成不重复的主键)2PAGES页数(自建字段)3COLLECT_UNIT所属馆藏单位,对应代码表SM_COLLECT_UNIT(自建字段)4COLLECTTIMECOLLECTTIME采集日期5TITLETITLE标题6WEBNAMEWEBNAME来源7CJ_CONTENTCONTENT正文内容(含图片标签)8CJ_ABSTRACTABSTRACT摘要内容9CJ_WORDSWORDS关键字10CLASSLYIDTYPE_ID分类号11FIRST_TYPE_ID一级分类号12SECOND_TYPE_ID二级分类号13CLASSLYNAMEDEFINE_NAME采集自定义类型名称14PICTURE图片(/usr/,/usr/)15SOURCEFILE_NAME文档附件名称+路径(/usr/)16URLFROMURL来源网址 数据处理说明源数据CJ_CONTENT字段,对应的是正文内容,内容中可能包括图片标签<imglogosrc=’’…./>,需要将图片对应的src值,匹配成目标数据存储的实际路径。建议:可以通过配置文件,读取目标数据存储的实际路径。源数据表“WEBINFO”中定义了一个字段“isFetch”抽取每一条数据后,将该字段赋值为“1”,表示该条数据已经被获取。目标数据中其它字段值的获取方式:ID:自动生成,不重复主键;COLLECT_UNIT:对应目标数据库中表SM_COLLECT_UNIT中字段UNIT_CODE值;PAGES:默认值0;PICTURE:存储每篇文章的图片路径,可以存储多个,每个数据之间用半角逗号“,”隔开;图片的路径从正文中解析<imglogosrc../>标签获得,入库之前替换成目标数据的实际存储路径。数据统计:要求没入库一条数据,更新当前数据库表中记录的数据总量。1)表:DB_TYPE按国防分类体系记录数据总量。每插入一条数据对应分 类号的“COUNT”字段增加1,分类号为一级分类号、二级分类号、三级分类号。表:SM_DOCTYPE,按资源类型分库统计数据总量,更新字段DOC_CODE=“DB_SEARCH_WEBINFO”的memo1字段,每新增一条数据对应MEMO1增加1;表:YPE更新采集自定义类型的数据量,YPE中“DEFINE_NAME”对应,如果存在相同类型名则直接将数据统计字段“COUNT”增加1,如果不存在则建立对应的类型字段“COUNT”默认为0。表:DB_SEARCH_WEBINFO_WEBNAME更新采集数据的来源网站名称,插入的每条数据对应的WEBNAME字段和表DB_SEARCH_WEBINFO_WEBNAME中“WEBNAME