【强人随笔】...
Postgresql 10 分区探密
Postgresql官方终于要出分区了，开发线上已经看到提交分区代码了，下一个版本10带有分区功能应该没问题了，那么这个分区功能如何呢？且和我深入源码一探究竟。
doudou586 发布于 2016-12-20 23:50:38
评论:1
浏览: 12157
顶: 1005
踩: 1443
评论:1
浏览: 12157
顶: 1005
踩: 1443
【强人随笔】...
postgresql-窗口函数使用
PostgreSQL作为世界上功能最强大的开源数据库，窗口函数作为业务过程中进行数据统计必不可少的功能，对PG自然是不在话下，PG内置了大量的窗口函数。
本文就是和大家一起在实际业务场景下如何使用窗口函数进行一探究竟。。。
本文就是和大家一起在实际业务场景下如何使用窗口函数进行一探究竟。。。
doudou586 发布于 2016-12-19 22:49:02
评论:1
浏览: 15347
顶: 937
踩: 941
评论:1
浏览: 15347
顶: 937
踩: 941
PostgreSQL 和它的LOGO大象一样，给人非常强大的安全感。就拿它的Feature来说，一个大的feature要打磨很多年才能正式的合并到master分支。
比如并行计算的特性，从9.4就开始准备，加入了work process和dynamic shared memory的功能，奠定了多进程并行执行的基础。 一直到9.6，经历了3年的开发，大量的测试，终于RELEASE了。
今天要说一说它的分区表，经历了几年的酝酿，终于在10.0加入到master了。
比如并行计算的特性，从9.4就开始准备，加入了work process和dynamic shared memory的功能，奠定了多进程并行执行的基础。 一直到9.6，经历了3年的开发，大量的测试，终于RELEASE了。
今天要说一说它的分区表，经历了几年的酝酿，终于在10.0加入到master了。
doudou586 发布于 2016-12-19 22:24:58
评论:1
浏览: 12762
顶: 992
踩: 1037
评论:1
浏览: 12762
顶: 992
踩: 1037
【强人随笔】...
Postgresql 转存恢复数据经验
恢复数据是 dba 工作的一部分，特别是 pg 在做大版本升级时需要停机进行，所以希望
恢复数据的时间越短越好。那如何提高数据恢复的性能呢，下面说说那些参数有影响。
恢复数据的过程其实就是 io 的负载,特别考验硬盘的写能力，还有就是数据写入磁盘的 方法，另外一个就是 cpu 的处理能力，再一个就是内存的大量使用。。。
恢复数据的过程其实就是 io 的负载,特别考验硬盘的写能力，还有就是数据写入磁盘的 方法，另外一个就是 cpu 的处理能力，再一个就是内存的大量使用。。。
doudou586 发布于 2016-12-18 20:24:41
评论:2
浏览: 8159
顶: 892
踩: 1157
评论:2
浏览: 8159
顶: 892
踩: 1157
人类是群居动物，随着人口的增长，联络方式越来越无界化，人与人，人与事件，人与时间之间形成了一张巨大的关系网络。
有许多场景就是基于这张巨大的关系网络的。比如，猎头挖人、公安破案、金融风控。
本文将给大家揭示PostgreSQL是如何玩转金融风控，刑侦，社会关系，人脉关系需求的。
doudou586 发布于 2016-12-17 23:20:17
评论:4
浏览: 44224
顶: 10959
踩: 11013
评论:4
浏览: 44224
顶: 10959
踩: 11013
马上春节了，又到了火车票的销售旺季，一票难求的问题依旧存在吗？
还记得10年前春节前买火车票得在放票前1天搬个小板凳去排队，对于热门路线，排一个晚上都有可能买不到票。
随着互联网的发展，几年前建设了12306网上购票系统，可以从电脑上买票，但是不要以为在电脑上就能买到票。 为什么呢？
随着互联网的发展，几年前建设了12306网上购票系统，可以从电脑上买票，但是不要以为在电脑上就能买到票。 为什么呢？
doudou586 发布于 2016-12-16 20:18:57
评论:2
浏览: 6204
顶: 862
踩: 944
评论:2
浏览: 6204
顶: 862
踩: 944
【强人随笔】...
PostgreSQL中的锁
PostgreSQL中的锁
doudou586 发布于 2016-12-15 19:45:30
评论:3
浏览: 15678
顶: 1002
踩: 1153
评论:3
浏览: 15678
顶: 1002
踩: 1153
在IoT的场景中，数据有流式分析的需求，也有存储历史数据的需求，同时还有数据挖掘的需求，搜索引擎可能也需要同一份数据，还有一些业务可能也要用到同一份数据。
但是如果把数据统统放到一个地方，这么多的业务，它们有的要求实时处理，有的要求批量处理，有的可能需要实时的更新数据，有的可能要对大数据进行分析。那么如何才能够更好的分享数据，保证数据的一致性，提高分享的实时性呢？
但是如果把数据统统放到一个地方，这么多的业务，它们有的要求实时处理，有的要求批量处理，有的可能需要实时的更新数据，有的可能要对大数据进行分析。那么如何才能够更好的分享数据，保证数据的一致性，提高分享的实时性呢？
doudou586 发布于 2016-12-13 22:04:50
评论:2
浏览: 8446
顶: 895
踩: 1106
评论:2
浏览: 8446
顶: 895
踩: 1106
【强人随笔】...
如何解决数据库分词的拼写纠正问题
在英语中，名词通常都有复数，表示多个；形容词，过去式，动词等。 有large, larger, largest, stories, eating, did, doing, hacked这样的。
这可能会给分词带来一定的困扰，我们来看看PG默认的ts config怎么处理它的。
这可能会给分词带来一定的困扰，我们来看看PG默认的ts config怎么处理它的。
doudou586 发布于 2016-12-12 20:19:47
评论:1
浏览: 4408
顶: 696
踩: 639
评论:1
浏览: 4408
顶: 696
踩: 639
活动时间: 2017年1月7日（周六下午）
活动地点：江苏南京市江宁区国电南瑞实验中心·江宁区诚信大道19号主办方
活动内容: 本期围绕Oracle、MySQL、PostgreSQL进行技术分享，本期有来自沃趣科技、国电南瑞、阿里云、五星电器的技术大咖，与专家互动的同学将有机会获得数据库技术书籍礼品。
活动地点：江苏南京市江宁区国电南瑞实验中心·江宁区诚信大道19号主办方
活动内容: 本期围绕Oracle、MySQL、PostgreSQL进行技术分享，本期有来自沃趣科技、国电南瑞、阿里云、五星电器的技术大咖，与专家互动的同学将有机会获得数据库技术书籍礼品。
doudou586 发布于 2016-12-09 17:06:08
评论:4
浏览: 6385
顶: 817
踩: 826
评论:4
浏览: 6385
顶: 817
踩: 826
人生就像一场戏，有高潮，有尿点，有低谷。如果用曲线来描述漫漫人生路的话，怎么找出高潮、尿点、低谷呢？
其实类似的场景还有很多，比如来自传感器的监控数据；服务器的监控数据；温度，湿度的变化数据；等等，都可以数字化，用曲线来表示。
找高潮、尿点、低谷有什么好的方法吗？导数、微积分、斜率、曲率、面积？当然，还是有方法的，也是PostgreSQL，它支持窗口，帧的查询。
找高潮、尿点、低谷有什么好的方法吗？导数、微积分、斜率、曲率、面积？当然，还是有方法的，也是PostgreSQL，它支持窗口，帧的查询。
doudou586 发布于 2016-12-09 00:04:54
评论:2
浏览: 5395
顶: 750
踩: 751
评论:2
浏览: 5395
顶: 750
踩: 751
刚刚过去的周末，PGConf.Asia 2016在日本东京举行，ＰＧ中文社区主席萧少聪参与了本次大会并进行了一个Keynote的演讲，并就此为大家带来大会最新的报道！
本次大会由日本两大PG组织 PostgreSQL日本用户会 及 PostgreSQL企业联盟 联合举办，大会为期2天在“死宅圣地” - 秋中原举行。
本次大会由日本两大PG组织 PostgreSQL日本用户会 及 PostgreSQL企业联盟 联合举办，大会为期2天在“死宅圣地” - 秋中原举行。
doudou586 发布于 2016-12-07 13:33:59
评论:4
浏览: 6955
顶: 1455
踩: 1233
评论:4
浏览: 6955
顶: 1455
踩: 1233
有一个这样的场景，一张小表A，里面存储了一些ID，大约几百个。另外有一张日志表B，每条记录中的ID是来自前面那张小表的，但不是每个ID都出现在这张日志表中，比如说一天可能只有几十个ID会出现在这个日志表的当天的数据中。
那么我怎么快速的找出今天没有出现的ID呢？这个QUERY会很慢，有什么优化方法呢。
那么我怎么快速的找出今天没有出现的ID呢？这个QUERY会很慢，有什么优化方法呢。
doudou586 发布于 2016-12-06 13:10:48
评论:1
浏览: 5615
顶: 764
踩: 762
评论:1
浏览: 5615
顶: 764
踩: 762
【强人随笔】...
PostgreSQL的信号处理机制
信号是一种软件中断机制，是linux很重要的一种进程间通信方式，很多重要的应用程序都需要处理信号。
PostgreSQL在启动Postmaster主进程时注册信号处理函数。
PostgreSQL在启动Postmaster主进程时注册信号处理函数。
doudou586 发布于 2016-12-02 18:18:18
评论:3
浏览: 10034
顶: 1071
踩: 1080
评论:3
浏览: 10034
顶: 1071
踩: 1080
PostgreSQL 透明加密(TDE,FDE) - 块级加密
doudou586 发布于 2016-12-02 17:28:54
评论:1
浏览: 12142
顶: 1014
踩: 1123
评论:1
浏览: 12142
顶: 1014
踩: 1123
使用场景：一个表中有一个字段是性别, 这个表不管有多少条记录, 性别这个字段一般来说也就2个值,
select count(distinct sex) from table;
得到的结果当然是2. 但是如果数据量很大的情况下, 这种运算就非常耗时, 需要排序，去重。
那么有什么优化手段呢？
select count(distinct sex) from table;
得到的结果当然是2. 但是如果数据量很大的情况下, 这种运算就非常耗时, 需要排序，去重。
那么有什么优化手段呢？
doudou586 发布于 2016-12-02 17:18:30
评论:3
浏览: 6568
顶: 822
踩: 789
评论:3
浏览: 6568
顶: 822
踩: 789
图像处理的业务场景比较多，例如图像搜索、视频去重、人脸识别、美图、图片去重等。比如，视频去重，一些用户上传了较多的视频，同一部电影可能有不同的版本，分辨率不一样，音轨不一样，压缩比不一样。这种情况会导致服务端重复存储大量的视频。又比如甄别黄色视频或黄色图片，鉴黄师的职业要消失了。
有什么方法可以得到重复的视频呢？ 如何鉴别黄色视频和图片呢？ 本文将给你揭晓。
有什么方法可以得到重复的视频呢？ 如何鉴别黄色视频和图片呢？ 本文将给你揭晓。
doudou586 发布于 2016-11-28 22:00:29
评论:1
浏览: 10489
顶: 1419
踩: 1149
评论:1
浏览: 10489
顶: 1419
踩: 1149
在数据库中更新记录时，有时为了对账，或者防纂改的目的，需要在更新后立即返回更新前和更新后的值。
这个动作其实也可以在function中来保证，不过你要扩展FUNCTION的功能．．．本文要讲的是通过update returning语法来实现类似的对照功能。
这个动作其实也可以在function中来保证，不过你要扩展FUNCTION的功能．．．本文要讲的是通过update returning语法来实现类似的对照功能。
doudou586 发布于 2016-11-28 18:13:04
评论:1
浏览: 5310
顶: 730
踩: 701
评论:1
浏览: 5310
顶: 730
踩: 701
上班打卡是一件很常见的事情，就像小时候的大宝广告，大宝天天见。对于这种每天都要见的事物，也是广告主追逐的地盘，就好像电梯广告一样，门禁广告也悄然流行起来。
小小的门禁机，每天活跃的时间为上下班高峰，可能也就2小时左右的时间，通常广告不易过长，往往是很简短的广告，也不易放太多广告在门禁内，一般十几个已经足够了，否则2小时都不够轮播的。本文介绍如何利用阿里云RDS for PostgreSQL特性(bitpack)来满足这样的需求。
小小的门禁机，每天活跃的时间为上下班高峰，可能也就2小时左右的时间，通常广告不易过长，往往是很简短的广告，也不易放太多广告在门禁内，一般十几个已经足够了，否则2小时都不够轮播的。本文介绍如何利用阿里云RDS for PostgreSQL特性(bitpack)来满足这样的需求。
doudou586 发布于 2016-11-25 22:06:52
评论:4
浏览: 4966
顶: 646
踩: 691
评论:4
浏览: 4966
顶: 646
踩: 691
【强人随笔】...
PostgreSQL SSL链路压缩例子
PostgreSQL SSL链路压缩例子
doudou586 发布于 2016-11-25 21:55:12
评论:1
浏览: 118505
顶: 38968
踩: 39724
评论:1
浏览: 118505
顶: 38968
踩: 39724