xiaobao Blog

Thinking will not overcome fear but action will.

小知识

记录小知识点

1、利用 Chrome 浏览器的开发者工具截取整个页面 打开 Chrome 浏览器，进入需要截图的网站页面 等待页面加载完毕后，通过下面方法打开开发者工具 在页面任何地方点击鼠标右键，在弹出菜单中选择“检查（Inspect）”选项，或者使用快捷键组合：Alt + Command + I (Mac) || Ctrl + Shift + I (Windows) ...

Posted by BY xiaobao(微信：Bao1697047283) on August 14, 2019

dataX 源码学习03

Configuration 提供多级JSON配置信息无损存储

datax —- Configuration 大幂幂镇楼 Configuration : ： 1、 2、 3、 ： 1、 2、 3、 ... – Configuration.class 源码 package com.alibaba.datax.common.util; import com.alibaba.datax.common....

Posted by BY xiaobao(微信：Bao1697047283) on August 2, 2019

dataX 源码学习02

Engine 执行流程

datax —- Engine 大幂幂镇楼 Engine main 函数主要catch了一下异常，并将异常信息打印出来，实际执行在entry函数中 entry 函数主要功能： 1、解析了java命令行的三个参数，分别是job、jobid和mode，其中job是用户配置的json文件路径，jobid和mode是python文件带进来的，单机模式下可以忽略改参数 2、读取用户...

Posted by BY xiaobao(微信：Bao1697047283) on August 1, 2019

dataX 源码学习01

启动类datax.py

datax —- datax.py 大幂幂镇楼 datax.py #!/usr/bin/env python # -*- coding:utf-8 -*- import sys import os import signal import subprocess import time import re import socket import json from optpars...

Posted by BY xiaobao(微信：Bao1697047283) on July 29, 2019

数据分析之路

python基础学习

目录 数据的描述性统计 python基础学习 数据的分布形态描述 用python验证数据集中的体温是否服从正态分布 探索泰坦尼克号登船港口价格之谜 彩票预测，选号分析 数据分析可视化superset安装 Python安装与使用 Python安装：直接安装Anaconda环境可以方便很多，Anaconda内置了很多Pyt...

Posted by BY xiaobao(微信：Bao1697047283) on July 27, 2019

数据分析之路week01

数据的描述性统计

目录 数据的描述性统计 python基础学习 数据的分布形态描述 用python验证数据集中的体温是否服从正态分布 探索泰坦尼克号登船港口价格之谜 彩票预测，选号分析 数据分析可视化superset安装 很荣幸有机会跟着木东大佬一起组队学习，相对很多科班来说统计学，数据分析我属于0基础，所以我打算结合理论加实践来学习，...

Posted by BY xiaobao(微信：Bao1697047283) on July 20, 2019

数据分析-面试题

记录自己的成长

Hive： fq 1 面试题 https://www.dezyre.com/article/hive-interview-questions-and-answers-for-2018/246 fq 2 MaxCompute计算长尾问题 https://yq.aliyun.com/articles/67086?spm=5176.10695662.1996646101.searchclick...

Posted by BY on May 20, 2019

数据分析-算法

记录自己的成长

算法 1、 正态分布 https://blog.csdn.net/hhaowang/article/details/83898881 2、 概率论：均值、方差与协方差矩阵 https://blog.csdn.net/pipisorry/article/details/48788671 3、 三种常用数据标准化方法 https://blog.csdn.net/bbbeoy/ar...

Posted by BY on May 14, 2019

Springboot之多数据源的配置使用

记录自己的成长

Springboot之多数据源的配置使用 原创（微信）： bboyHan 公众号：23号杂货铺 1月22日 01引入 现在的企业服务逐渐地呈现出数据的指数级增长趋势，无论从数据库的选型还是搭建，大多数的团队都开始考虑多样化的数据库来支撑存储服务。例如分布式数据库、Nosql数据库、内存数据库、关系型数据库等等。再到后端开发来说，服务的增多，必定需要考虑到多数据源的切换使用来兼容服务...

Posted by BY on May 13, 2019

基于Flink SQL构建实数据仓库

记录自己的成长

OPPO数据中台之基石：基于Flink SQL构建实数据仓库 原创： 张俊 AI 前线导读：本文整理自 2019 年 4 月 13 日在深圳举行的 Flink Meetup 会议，分享嘉宾张俊，目前担任 OPPO 大数据平台研发负责人，也是 Apache Flink contributor。本文主要内容如下： OPPO 实时数仓的演进思路； 基于 Flink SQL 的扩展工作...

Posted by BY on May 13, 2019

FEATURED TAGS
blog 数据仓库 java 爬虫 python 数据分析 数据开发 kafka flink mysql linux
ABOUT ME

人还是要有梦想的，万一实现了呢

✉️ mrlianxiaobao@sina.com

FRIENDS