JohnShen's Blog.

JohnShen's Blog.

Greenplum 要点概述
BasicOLAP平时用的 OLTP 数据库(联机事务处理)较多,面向前台应用,注重高吞吐和高并发,对相应时间要求高。 而大数据集的统计分析需要 OLAP(联机分析处理),其本身不产生数据,基础数据主要来源于生产系统的操作数据,且经常使用多表关联、全表扫描等复杂查询,牵涉的数据量庞大,且响应时间与具体查询有很大关系。 PostgreSQL & GreenplumPG 是成熟先进的关系型数据库,而 Greenplum 本质上将就是一个关系型数据库集群(PG集群),是由若干个独立数据库服务组合成的逻辑数据库,即为用户提供了一个逻辑上透明的数据库。Greenplum 采用 Shared...
曼昆经济学原理(7th) CH1 经济学十大原理
人们如何做出决策1. People face tradeoffs人们面临权衡取舍。 稀缺资源投入抉择:大炮与黄油。 GPD与环境:有生产则有污染。 Efficiency 效率 v. Equity 公平: 效率:多劳多得,少劳少得; 公平:所有生成出来的东西公平分配; 效率提高可以把蛋糕越做越大,但贫富差距会拉大;注重公平会损失蛋糕本身。 2. The cost of something is what you give up to get it某东西的成本就是为得到它所放弃的东西。 机会成本:为了得到某种东西所必须放弃的东西。 3. Rational people th...
Apache Calcite (一) - Adapter
接触 Calcite 的时间不算长,感觉 Calcite 还是很难的,越往下看各个名次及查询优化部分就很难看的下去。不过工作方面暂时只用到了 Adapter 部分,而且由于通用性的考量,使用的 Table 暂时是ScannableTable。一下子接触太多东西也容易忘,所以还是从头开始记笔记,一边完成工作上的事一边继续学习,一蹴而不可取。 主要内容来自 Calcite 的英文官方指南,介绍如何使用 Calcite 对 CSV 进行 SQL 查询,主要参考一个基础的 Adapter 是如何实现的。 1234git clone https://github.com/apache/calc...
大数据入门草稿 - Hive
Hive简介Hive是Hadoop的数据仓库工具,可将结构化的数据文件映射为一张表,提供类SQL的查询功能。其本质是将HQL转化为MapReduce程序。 Hive处理的数据存储在HDFS中。 Hive分析数据的默认实现是MapReduce(可以改成Spark)。 Hive执行程序运行在Yarn上。 Hive 适用于数据分析场景以及对实时性要求不高的场合。其优势在于处理大数据,对于小数据处理没有优势,Hive的执行延迟较高(MapReduce 本身具有较高的延迟)。Hive还支持用户自定义函数。 Hive的缺点在于两点:HQL表达能力有限,迭代式算法无法表达(计算结果再次处理),故在数据...
[HikariCP] HikariCP 配置项

HikariCP 的全部配置介绍来自其首页,主要分为必填项和可选项,对于大部分配置项,HikariCP会有默认设置,官方建议在使用时无需过多的调整。 一些非必要属性的配置说明来自《HikariCP数据库连接池实战》。

[指标监控] 云原生监控系统 Prometheus

Prometheus 作为当前炙手可热的云原生监控系统,是继 Kubernetes 之后第二个加入云原生计算基金会的成员。其安装及使用也是相当便捷,有强大的扩展性和集成性,查询语言 PromQL 可以轻松完成指标数据的查询与聚和。

[指标监控] JVM 指标框架 Micrometer

作为 Micrometer + Prometheus + Grafana 的开篇,介绍Micrometer的基础应用。当前项目与数据库集打交道,但目前因为没有相关指标监控,项目运行情况一直是个黑盒。对于接口调用情况、连接池配置情况、性能情况若都是手动分析日志,则必然是不可行的。所以想要基于这三者搭建一台指标监控体系。

[回顾并发基础] 原子操作类

介绍了原子操作类,以AtomicLong介绍原子类的实现,并对原子类的分类和使用(基本数据类型、引用类型、对象属性更新器、数组、累加器)进行说明。

avatar
John Shen
功不唐捐,殊途同归。