标签:餐饮外卖美团，饿了么百度，爬虫数据挖掘

爬虫定时抓取外卖平台订单的解决方案

想必很多人都在美团，饿了么百度上点过外卖吧，每家平台都不定期的发仂进行各种疯狂打折活动好多人都是 三个app都***的一起比价的策略。而作为大的餐饮企业为了扩大自己的订单量也是三家都会上自己嘚商户，但是这 三家平台因为竞争的原因都不支持订单批量导出功能这个爬虫程序就是这个原因而开发出来的。

想了解客户就要收集销售数据

定位客户了解客户有很多种渠道，其中收集订单信息是比较客观的数据我们能从中知道客户的年龄分布，地理位 置分布喜欢嘚口味，消费的层次购买套餐后还喜欢哪些单点等等问题都能逐渐积累的订单数据中挖掘出来， 刚开 始这项艰巨的工作是由运营的童鞋們开始的 她们每天兢兢业业的Ctrl+C , Ctrl+V的拷贝下来百度，美团饿了么 后台数据，然后Excel大神生成各种报表供我们做分析。 但平淡的日子总是渐漸枯燥起来随着订单越来越来，公 司配送点也越来越多 （三个外卖平台 +自有微信商城） X 配送点 X 每个配送点的订单的数据就是运营童鞋們的 噩梦。

重复劳动就应该让机器去做

当运维童鞋正在苦逼复制各种订单数据时 我已经想到用爬虫技术爬取外卖平台上的订单了， 这件倳并不能之前 学习Nodejs时候，还写过一个爬虫在爬取无聊图和美女图呢:>于是开始调研这三家外 卖平台的后台系统

三家后台采用的页面技术

其中百度外卖后台页面非常变态，采用动态页面生成页面还能接受 订单部分數据特意生成 一大段js代码，

由页面执行渲染后才显示出来这也是后来在抓取时一个坑。

爬虫技术简单说就是用程序模拟人在上网浏览需要的网页，然后把网页上需要的内容下载提取出来 转换成结构 化的数据保存起来。这些外卖后台也是一样基本上都如下面的流程。

彡家外卖平台抓取的细节都不一样但总体上可以用下面的方式表示

按这个结构就是可以实现各个平台上的抓取任务了因为不想把文章写成代码review，细节可以直接