-
- Y Combinator、lambda算子和不动点原理(2)
-
接第一部分《图灵停机问题》原文链接：https://blog.csdn.net/pongba/article/details/13360282. Y Combinator了解 Y combinator 的请直接跳过这一节，到下一节 “ 哥德尔的不完备性定理 ” 。让我们暂且搁下但记住 ...
2021-3-14 23:32
-
- 图灵停机问题、哥德尔不完备定理和康托尔的对角线方法(1)
-
原标题：康托尔、哥德尔、图灵 —— 永恒的金色对角线原文链接：https://blog.csdn.net/pongba/article/details/1336028By 刘未鹏 C++ 的罗浮宫 (http://blog.csdn.net/pongba)我看到了它，却不敢相信它 。—— 康 ...
2021-3-14 20:01
-
- 自动滚屏采集瀑布流网页—以今日头条新闻为例
-
常见的网页大多数在页面下方会有翻页的按钮，比如“下一页”、“加载更多”，这类网页设置翻页就可以搞定，但是瀑布流网页没有这些按钮，而是随着鼠标滚动会不停的加载更多内容，变成很长的、没有底的网页。爬虫只能 ...
2021-3-11 11:56
-
- 集搜客分词结果表用Jupyter Notebook做统计分析—对应Excel功能
-
Excel是数据分析师的必备工具，众多功能可以满足绝大多数的数据清洗、转换、统计计算、可视化展示。而Jupyter Notebook这类交互式数据探索和分析工具代表了一股不容忽视的潮流，借助于Python编程的强大力量，数据加 ...
2021-3-8 11:48
-
- 自动点击京东商品价格条件，智能采集价格数据
-
现在不少动态网页需要交互操作，才能浏览到最终数据，而集搜客爬虫的连续动作可以模拟人在浏览网页时的操作，从而采集到最终显示出来的数据。连续动作的难点是：怎样写xpath。我们需要用xpath告诉爬虫，去哪个位置进 ...
2021-3-3 16:40
-
- 实验Jupyter Notebook的code cell的输出结果
-
Jupyter Notebook是数据探索和数据分析的必不可少的工具。另外，一些探索性的数据计算、可视化都可以在上面进行，交互式的工作方式，而且同时把探索过程记录成文档，而不是编程与写文档分离，这个特点很适合在项目可 ...
2021-2-28 11:43
-
- 用Jupyter notebook写文档的常用格式
-
本文收集常用的文档格式，Markdown的例子可以参看Jupyter的官方文档《Working with Markdown Cells》。以前写文档主要使用MediaWiki，其实这类文档的格式很类似，虽然使用了不同的格式符号，但是基本上是一一对应的 ...
2021-2-28 11:22
-
- 用Jupyter Notebook的模板管理数据分析过程
-
CookieCutter的开发者在 Building a Repeatable Data Analysis Process with Jupyter Notebooks 一文讲解了怎样规划数据分析项目的目录结构和notebook的结构，跟《Jupyter Notebook在机器学习领域的项目目录结构规划 ...
2021-2-19 10:12
-
- Jupyter Notebook在机器学习领域的项目目录结构规划
-
在我看来，合理规划磁盘上的文件夹层次是高效工作的关键保障，而数据分析师更应该具有这个素质，所以，目录结构规划不局限于一个个Jupyter Notebook项目（project）内部，而是整个磁盘存储空间。本文只展示一个规划 ...
2021-2-18 12:39
-
- 统计学中的二项分布、负二项分布、几何分布、泊松分布有什么关系 ... ...
-
用概率理论求解实际问题，可以总结出来一个套路，这里面最关键的是step 1和step 2。step 1: Define the experiment;step 2: List the simple events。面对一个问题，最关键的是把握住：要观察什么，并且列出来所有可 ...
2021-2-18 11:35
-
- 自动输入关键词采集搜索结果信息—以人民网搜索为例
-
如果网页上有搜索框，但是搜索结果页面没有独立网址，想要采集搜索结果，直接做采集任务是采集不到的，要先做连续动作（输入+点击）来实现自动输入关键词并搜索，然后才能采集数据。下面以人民网关键词搜索为例，演 ...
2021-2-7 18:12
-
- 利用重加载防止采集微博博主消息列表中断
-
采集微博博主的所有微博需要翻页，而且需要开启网络爬虫软件的自动滚屏功能。因为微博博主发布的微博消息列表很长，不滚屏就不会加载完整。翻页和滚屏过程中会遇到加载内容中断，比如，加载内容的旋转图标一直在旋转 ...
2021-1-29 17:48
-
- 用网络爬虫软件自动下载网页上的文件
-
我们以这个网页为例http://www.neeq.com.cn/disclosure/announcement.html，讲解怎样自动下载网页上的文件。如果是人工下载这些文件，需要在网页上逐个点击文件图标，启动下载。而集搜客网络爬虫会自动采集文件的链 ...
2021-1-28 16:19
-
- 采集图片网址并下载图片（二）——下载途牛多图
-
上篇教程讲了怎么下载途牛网上的一个大图，在此基础上，本篇教程讲怎么下载大图下面的整齐排列的小图。按前面单图下载的教程，设置采集第一个小图，然后对这些小图做样例复制，就可以把小图都采集下来。所以本篇教程 ...
2021-1-25 15:49
-
- 采集图片网址并下载图片（一）—— 单图下载
-
集搜客爬虫不仅能抓到网页上的文本、链接，还可以批量下载图片。无论是列表页还是详情页上的图片，只要能获取图片网址。都可以用集搜客爬虫来下载图片。本篇教程以途牛网的自助游网页为案例，介绍一下如何用集搜客来 ...
2020-12-31 18:05
