乐琪药品流向数据查询管理系统（三）功能篇

一、概述

从前文乐琪药品流向数据查询管理系统（二）系统架构篇提到的系统架构可以看到，本质就一个爬虫系统，但是数据源存在多样性和复杂性问题，对接起来非常耗时。经过近一年的努力，目前对接了近500多个商业平台，实现了流向数据自动化抓取和清洗功能，系统运行基本正常。==本文旨在简单介绍当前系统的功能情况和存在的问题，无意做系统功能的吹捧==。

不同商业平台的流向数据中对于产品名称、规格，（医院、门店等）终端名称的定义不够规范，需要转换为我们内部系统中统一的名称，这就是所谓的数据清洗。

二、功能详情

市面上某些上百万的药品流向分析系统其实跟我们的差不多，但我们可以做到只需别人售价的一半，数据安全和自动化程度更高，功能及稳定性更好。

目前系统主要实现的功能如下：

1. 支持多种数据源

   • 网站类，只需配送商业公司提供授权的帐号和密码，即可对接到我们的系统并实现验证码自动识别！
   • 数据直连，通过插件从商业公司内部系统提取需要的产品流向数据，发送到我们的流向系统，需在商业公司内网安装直连插件。
   • API接口，部分商业公司提供API查询接口，对接起来比较方便。
   • 其它，比如小程序、邮件、FTP等，还可以直接与对方做数据库直连。

2. 数据清洗

   这个功能是整个系统的重要功能之一，同一个产品，在不同商业公司内部系统中五花八门的产品名称，需要转换成我们内部标准的名称。主要做到了产品名称、产品规格、终端名称的自动识别和匹配。

   • 产品名称和规格只要提供关键字匹配信息，基本可以自动识别，但是少部分配送商业公司的系统不太规范，有的甚至连规格信息都没有，只能在后台特殊处理或请商业公司完善信息。
   • 终端匹配除了支持将医院简称转换为标准名称外，还实现了根据扩展信息（比如配送地址、备注等）来匹配标准医院名称。比如广州医药股份有限公司的流向数据，当看到广东省妇幼保健院时，需要结合配送地址才能明确是具体是哪个区的医院。
   • 行政区划信息自动更新，对接国家权威网站，后台定期更新省、市、区、县的行政区划数据。==已开源==，详情：golang获取最新行政区划(省市区)信息。
   • 此外，我们还对终端名称进行了自动化的区域划分，比如南方医科大学南方医院,自动识别到广东省、广州市、白云区。当然，由于部分终端名称不规范，不可能做到百分百精准识别，需要辅以人工校正。比如高新区北区社区卫生服务中心,系统初次遇到时是没办法识别区域的，需要人工处理，下次再遇到这个名称时，会自动识别到对应的区域。
   • 还有字段匹配模块，这个主要是将流向中的字段名称转换为我们系统中的字段名称，比如商业流向平台导出的流向数据表，产品名称对应的字段名为品名或商品名称，对应系统中的字段名称就应该为产品名称。后续即使商业平台的字段名称变了，我们也可以在字段匹配模块中做对应修改即可。

3. 数据报表

   支持按终端、品种合并数据，支持隐藏相关列以及自动生成连续多个月的销售汇总等。

   

4. 接入钉钉

   可实现钉钉扫码登录、自动推送报表及异常提示等，还可以使用钉钉APP随时查询流向数据，为一线销售及高层决策提供便捷的数据支撑。

5. 可维护

   虽然系统可以自动采集、清洗数据，并自动生成报表，但是某些特殊情况还是需要手工操作。比如某个商业平台帐号密码变更、医院名称变更、行政区域变更等，这些情况是无法避免的，为此我们增加了多个模块以解决上述变更问题，通过后台手工调整即可（某个基于云平台的系统一般需要由第三方客服来更新，安全性和时效性都不好保障）。

6. 数据采集智能化处理

   可以只选择指定多个商业平台采集或全选采集，数据采集过程中可实时显示采集进度、采集结果，有异常时会自动重试。自动去重策略可防止数据重复采集。

7. 其他

• 数据库在本地部署，所有业务数据都在本地，安全性更好，客户使用起来更放心。
• 支持自动、手动匹配终端
• 支持自动更新行政区划信息
• 支持自动更新、核对终端所属行政区域
• 自带审计追踪功能，用户增删改查操作都有记录
• 。。。。