xiaobao Blog

Thinking will not overcome fear but action will.

爬虫实战-爬取天气预报

记录自己的成长

废话不多说上源码才是大家最需要的，任务上紧急的理解是必须的（后续我会注意注释的加入） 历史天气预报数据： import requests from lxml import etree import time import re city = 'hangzhou' index_url = 'http://www.tianqihoubao.com/lishi/{}.html' index_...

Posted by BY on May 12, 2019

爬虫实战-伪装网站爬取招聘信息

记录自己的成长

废话不多说继续上源码 import requests from lxml import etree import pandas as pd import time #浏览器requests请求的header信息 用于伪装，信息越全越好 headers = { 'accept': 'application/json, text/javascript, */*; q=0.01', ...

Posted by BY on May 12, 2019

漫谈数据仓库和范式

记录自己的成长

漫谈数据仓库和范式 本文转载至木东居士数据茶水间 0x00 概述 长期从事数据仓库的你，是否还记得数据库设计中的三大范式？在设计数据仓库的表时，是否考虑过规范化和反规范化之间的区别？是否想过数据仓库和数据库在设计中对范式考虑的侧重点是什么？ 本文，将包含如下几个方面： 一起回顾数据库设计中经典的三大范式 聊一聊数据仓库和范式之间的关系 聊一聊数据仓库和数据库在范式设计中的...

Posted by BY on May 11, 2019

数据仓库的 KPI 怎么定

记录自己的成长

本文转载至木东居士数据茶水间 0x00 前言 本篇聊一聊在做数据仓库的时候该如何确定 KPI。 0x01 思考角度 首先，要明确的一点是数据最终是要服务于业务的！但是，数据仓库一般又不直接对接于业务，而更多地对接数据分析系统、用户画像系统和推荐或广告系统等。因此不容易用业务指标来衡量数据仓库的效果。 那么我们可以换一个角度，从数据仓库要解决的问题来考虑。简单地讲，数据仓库要做的是提...

Posted by BY on May 11, 2019

我的第一个github博客

记录自己的成长

借用大佬一篇文章练练 数据仓库的一些建议 原创： 木东居士 2018-10-12 概述 大数据时代，作为数据的掌握者，我们不仅要更好地使用数据，也要更好地管理数据。而数据仓库正是这样一套管理和组织数据的解决方案。 本文试图从一种经验的角度来描述在数据仓库建设中的会遇到的各种坑和需要注意的关键点，希望以此帮助踏上数据仓库之路的小伙伴们。 注意：本文不会详细地解释数据仓库的各个概念，...

Posted by BY on May 10, 2019

5分钟带你看完 WWDC 2018

WWDC 2018 Keynote 全记录

前言 一年一度的 WWDC（苹果全球开发者大会）于北京时间 6月5日 凌晨1点开幕。废话不多说，来看看这次WWDC 都有哪些亮点吧! iOS 12 和 ARKit 2.0 关键词：官方防沉迷最为致命 iOS 12 iOS 12 相较于 iOS 11 并没有太多UI上的变动，刚更新完 bate 版本的 iOS 12，完全感觉不到这是个新系统。 iOS 12 主要是对安全和性...

Posted by BY on June 5, 2018

Git指令整理

不适合阅读的整理的一些个人常用的 Git 指令

随便整理的一些自用的Git指令 GitHub创建仓库提示代码 echo "# 项目名" >> README.md git init git add README.md git commit -m "first commit" git remote add origin git@github.com:qiubaiying/项目名.git git push -u orig...

Posted by BY on February 15, 2017

快速搭建个人博客

手把手教你在半小时内搭建自己的个人博客(如果不踩坑的话🙈🙊🙉)

正所谓前人栽树，后人乘凉。 感谢Huxpro提供的博客模板 我的的博客 前言 从 Jekyll 到 GitHub Pages 中间踩了许多坑，终于把我的个人博客BY Blog搭建出来了。。。 本教程针对的是不懂技术又想搭建个人博客的小白，操作简单暴力且快速。当然懂技术那就更好了。 看看看博客的主页样式： 在手机上的布局： 废话不多说了，开始进入正文。 ...

Posted by BY on February 6, 2017

FEATURED TAGS
blog 数据仓库 java 爬虫 python 数据分析 数据开发 kafka flink mysql linux
ABOUT ME

人还是要有梦想的，万一实现了呢

✉️ mrlianxiaobao@sina.com

FRIENDS