从前文乐琪药品流向数据查询管理系统（二）系统架构篇提到的系统架构可以看到，本质就一个爬虫系统，但是数据源存在多样性和复杂性问题，对接起来非常耗时。经过近一年的努力，目前对接了近500多个商业平台，实现了流向数据自动化抓取和清洗功能，系统运行基本正常。==本文旨在简单介绍当前系统的功能情况和存在的问题，无意做系统功能的吹捧==。
不同商业平台的流向数据中对于产品名称、规格，（医院、门店等）终端名称的定义不够规范，需要转换为我们内部系统中统一的名称，这就是所谓的数据清洗。
市面上某些上百万的药品流向分析系统其实跟我们的差不多，但我们可以做到只需别人售价的一半，数据安全和自动化程度更高，功能及稳定性更好。
一入佛门深似海，这个系统刚开始做时只是觉得就一个普通的爬虫项目，有近百个爬虫项目经验的我，自然认为小菜一碟。当入坑后才发现事情没那么简单。商业公司提供流向查询的方式主要有：
网站查询
提供地址和账号密码，可随时查询，但是近500个网站登录方式==简直就是百花齐放，多姿多彩==，有的要验证码，有的还需要手机短信验证，有的还要扫码验证，而且导出的数据还不一定是标准的excel格式。有不少网站登录密码还进行了加密，花了不少时间才分析出加密算法。
软件查询
需安装客户端软件，大概50多个。系统要求还有区别，有的要求win7，有的要求win10，各种环境要求，.net frameWork ,java JDK等，有的还在用foxpro...
数据直连
对方不提供网站查询，也没有客户端，但允许你在他们内网电脑或服务器上安装一个数据直连插件，定时向我们的后台上报流向数据。大概有70多家商业公司采用这种方式对接，需要一家一家的沟通联系，有的还不一定配合，浪费不少时间。
直连插件需要自己开发，要求适应不同的系统，不同的环境，还要熟悉对方的ERP系统及数据库（oracle，sql Server，mySql等），通常要自己分析出库、入库、库存查询的sql语句。有的商业公司没有IT人员，连ERP用的是什么都不知道，数据库信息更别谈了，需要自己想办法获取。
虽然签了保密协议，但是这种对接方式其实不安全，插件在对方服务器里运行着，要是给心术不正的人，那真的可以说是==为所欲为了==。当然，部分有专业IT人员的商业公司，还会通过视图和权限做限制，这个相对安全很多。
这种方式对接稳定性还是可以的，除非对方服务器较较差，或者对方不配合，把插件关了。
广州交通物流有限公司做的接口很烂，对接文档连时间格式也没有说明，只能靠猜，提供的密钥信息也不完整（实际上对方没配置好权限，让我折腾了很久），还只能查询一个月内的数据！其它
小程序、邮件、FTP等，这些对接方式不超过10家，可忽略。
上面这些五花八门的对接方式，做起来非常耗时，既是脑力劳动，要分析各平台情况，又是体力活，一一核对字段，数据的准确性。曾经，我都想放弃了:cry:，还好坚持了下来!
随着国家对药品流通的监管力度日益加强，药品生产厂家不能再直接供货给终端（医院、诊所、零售药店等），需要经过配送商业来进行药品的配送。而全国各省市有很多不同的配送商业，有的终端是从不同的商业公司拿货，有的终端是通过二级商业甚至三级商业拿货的，而且药品流通是需要一段时间的，这就给药企运营决策带来很大的挑战：如何快速掌握药品从出库到商业公司，最后到达终端的数据？如何知道商业公司手上的库存情况？如何防止串货甚至数据造假的情况。。。
要解决上述痛点，需要向每家商业公司获取流向数据，包括采购入库、销售出库以及库存情况，然后再做汇总，最后出报告。通俗点就是要向商业公司获取他们内部ERP或进销存里系统里的运营数据。由于每个商业公司使用的系统不同，技术也参差不齐，提供的流向数据格式也不一样。在没有==流向查询系统==支撑的原始时代，一个医药公司需要找3个甚至10几个员工，专门花一周甚至更多的时间来手工处理流向数据。由于是人工处理，避免不了出错的题，比如复制少了某一行，漏了某一个商业的流向，或者重复计算等，数据的准确率难以得到保障，医药公司的运营决策以及销售人员的业绩考核都难以实施！
了解甲方爸爸的需求后，决定开发一套自动化系统来解决甲方爸爸遇到的难题。在夜深人静中不是敲代码就是沉思苦想，经历数百个这样的夜晚后，我终于带来了乐琪药品流向数据查询管理系统，实现90%以上（大概500多家）商业公司进行自动化数据对接。系统上线后，甲方随时可以查询流向数据，掌握一线销售情况，并且极大程度减少了药品串货和数据造假的情况。
先上一张效果图：
image-20230913005732737
image-20230831112552356本工具主要用于实现远程控制防火墙安全策略的开启与关闭，方便用户随时做上网行为管控。
windows以系统服务运行、开机自启