日均百亿级日志处理:微博基于Flink的实时计算平台建设

来自:DBAplus社群作者介绍吕永卫,微博广告资深数据开发工程师,实时数据项目组负责人。黄鹏,微博广告实时数据开发工程师,负责法拉第实验平台数据开发、实时数据关联平台、实时算法特征数据计算、实时数据仓库、实时数据清洗组件开发工作。林发明,微博广告资深数据开发工程师,负责算法实时特征数据计算、实时数据关联平台、实时数据仓库、FlinkStream组件开发工作...
📅 2023-09-28 阅读全文 →

19年BAT常问面试题汇总:JVM+微服务+多线程+锁+高并发性能

1.Redis 面试题1、什么是 Redis?.2、Redis 的数据类型?3、使用 Redis 有哪些好处?4、Redis 相比 Memcached 有哪些优势?5、Memcache 与 Redis 的区别都有哪些?6、Redis 是单进程单线程的?7、一个字符串类型的值能存储最大容量是多少?8、Redis 的持久化机制是什么?各自的优缺点?9、Redis...
📅 2023-09-28 阅读全文 →

分析与解决:MySQL分区表复制bug导致的主从延迟

来自:DBAplus社群作者介绍张松坡,腾讯云数据库架构师,主要负责腾讯云数据库MySQL、Redis等数据库架构设计、数据库运维、运营开发等工作。曾就职于腾讯新闻、腾讯视频。写在前面,感谢腾讯云数据库架构师团队祝海强、杜川、刘志祥在排障思路、源码分析上面提供的帮助,让我学习到了很多,不敢居功,特此鸣谢!本文将以数据库实际使用中的某典型案例来分析造成主从延迟...
📅 2023-09-28 阅读全文 →

分布式架构下,Session 共享有什么方案?

来自:会点代码的大叔分布式架构下的 Session 共享,也称作分布式 Session 一致性;分布式架构下 Session 共享有哪些问题,又有哪些解决方案,让我们一起看一下。01Session 的作用如果大家做过 Web 应用开发的话,应该对 Session 比较熟悉;服务器会为每个用户创建一个会话,存储用户的相关信息,以便在后面的请求中,可以够定位到同...
📅 2023-09-28 阅读全文 →

无门槛送10个无人机!

关注我的童鞋,应该知道,我每月都会送礼物给广大童鞋。本次直接送10个无人机!无论是自己玩,还是过年带回家作为礼物,送给亲戚朋友,作为我们程序员搞一个,还是比较不错的。最后感谢粉丝们一直支持我,废话不多说,开抽。无人机赠送规则大家都知道小编的粉丝很多,不能每个人都送,所以大家使用下面的二维码抽奖,中奖后,联系小编兑换。详细规则如下,请 仔细阅读:1,...
📅 2023-09-28 阅读全文 →

写代码做副业月入24K+的方法都藏在这几个拼多多、抖音大佬的公众号里!

上次跟一个学妹聊天,问她平时怎么搞副业,她反手甩给我这几个公众号,说很喜欢里面的文章,满满的干货,推荐给大家人工智能爱好者社区专注人工智能、机器学习、数据科学等顶尖技术前沿科技成果研究、实战技巧。每周会有书豪采访记系列采访技术大佬文章和原创漫画文章,立即关注,掌握人工智能最新资讯与成果。号主是《R数据科学实战:工具详解与案例分析》书籍作者。大数据分析挖掘和P...
📅 2023-09-28 阅读全文 →

6个月达不到25.6万年薪AI工程师,进不了大厂全额退款

据新浪科技报道,阿里AI labs年薪百万美元引进两位科学家。除AI顶尖科学家外,华为也是为多位AI应届博士开出了200万的高价年薪。LinkedIn发布的《全球 AI 领域人才报告》显示,中国在人工智能领域人才极其匮乏,AI人才缺口在300万以上。图:AI人才供需情况    数据来源:LinkedIn2016年,百度宣布Pad...
📅 2023-09-28 阅读全文 →

美团社招Java开发一面,二面,三面,四面合并面经

作者:reed,一个热爱技术的斜杠青年,程序员面试联合创始人美团点评社招java一面1、做一下自我介绍吧,简单说一下你的项目?2、有遇到过内存泄漏吗?你们是怎么解决的?这个前阵子确实遇到过一次,还算运气比较好。3、java的基本类型有哪几个?String是不是java的基本类型?String为什么要是final类型的?4、反射机制的底层实现是什么?动态呢?动...
📅 2023-09-28 阅读全文 →

系统重构的道与术

来自:高德技术最近参与了很多重构项目,有以提高服务器资源利用率为目标的Gateway网关、AMAPS等服务的重构,也有以提升架构合理性和研发效率为目标的共享业务服务化拆分,借此机会把相关内容梳理一下,是分享更是自我总结和学习。准备以重构工作中容易产生误区的地方或容易被忽视的重点来聊聊,既不重复网上千篇一律的各种方案资料,也对重构工作有参考价值。什么是“道和术...
📅 2023-09-28 阅读全文 →

为什么用了索引之后,查询就会变快?

来自:会点代码的大叔=致力于用大白话讲解复杂的技术=本期问题QUESTION为什么用了索引之后,查询就会变快?相信很多程序员朋友对数据的索引并不陌生,最常见的索引是 B+ Tree 索引,索引可以加快数据库的检索速度,但是会降低新增、修改、删除操作的速度,一些错误的写法会导致索引失效等等。但是如果被问到,为什么用了索引之后,查询就会变快?B+ Tree 索引...
📅 2023-09-28 阅读全文 →

大型商业银行数据库连接池选型策略

作者介绍张馨鹏,某大型商业银行研发中心中级工程师,主要负责数据库、操作系统等基础组件的测评工作。一、前言应用程序访问与操作数据库,需要与数据库建立一条连接。但建立数据库连接是一个比较消耗时间和资源的过程。尤其在多并发访问时,会造成数据库连接频繁的创建与关闭,导致程序性能急剧下降,严重时可以造成应用程序崩溃。目前最常用的解决方案是使用数据库连接池管理数据库连接...
📅 2023-09-28 阅读全文 →

待遇46K起,这几个公众号在招人!

今年越来越多的技术公众号如雨后春笋般冒出来,质量参差不齐,高质量号哪儿去了?通过我近一个月的观察及统计,发现还是这些长期保持更新的高质量公众号,在我的朋友圈出镜率最高!他们有着高质量的原创文章,整理出来分享给大家!人工智能爱好者社区专注人工智能、机器学习、数据科学等顶尖技术前沿科技成果研究、实战技巧。每周会有书豪采访记系列采访技术大佬文章和原创漫画文章,立即...
📅 2023-09-28 阅读全文 →

三分钟基础:什么是拥塞控制?

来源于公众号:苦逼的码农作者:帅地大家可能都听说过拥塞控制和流量控制,想必也有一些人可能还分不清拥塞控制和流量控制,进而把他们当作一回事。拥塞控制和流量控制虽然采取的动作很相似,但拥塞控制与网络的拥堵情况相关联,而流量控制与接收方的缓存状态相关联。也就是说,拥塞控制和流量控制是针对完全不同的问题而采取的措施。今天这篇文章,我们先来讲讲拥塞控制。一、为何要进行...
📅 2023-09-28 阅读全文 →

深入理解 Java 虚拟机-如何利用 VisualVM 对高并发项目进行性能分析

来自:好好学java前面在学习JVM的知识的时候,一般都需要利用相关参数进行分析,而分析一般都需要用到一些分析的工具,因为一般使用IDEA,而VisualVM对于IDEA也不错,所以就选择VisualVM来分析JVM性能,这篇文章就介绍一下如何利用VisualVM进行性能分析,以及在分析之前需要知道一些GC优化的原则,GC优化的目的,以及遇到问题时怎么去解决...
📅 2023-09-28 阅读全文 →

Java 运行时数据区域,哪些是线程隔离的?哪些又是公有的?

来自:会点代码的大叔JVM 运行时数据区域大致可以分为:程序计数器、虚拟机栈、本地方法栈、堆区、元空间、运行时常量池、直接内存等区域;就是下面这个样子的:其中有些区域,随着 JDK 版本的升级不断调整,例如:JDK 1.6,字符串常量池位于永久代的运行时常量池中;JDK 1.7,字符串常量池从永久代剥离,放入了堆中;JDK 1.8,元空间取代了永久代,并且放...
📅 2023-09-28 阅读全文 →

千亿级数据量的Kafka深度实践

来自:DBAplus社群本文根据严锁鹏老师在〖2019 DAMS中国数据智能管理峰会〗现场演讲内容整理而成。讲师介绍严锁鹏,奇虎360大数据架构运维专家,具有10年基础架构与大数据开发经验。2013年加入360商业化团队,负责消息中间件开发与运维,同时涉及大数据架构、微服务架构、实时计算平台、机器学习平台、监控系统等基础设施建设,致力于为商业化团队提供稳定高...
📅 2023-09-28 阅读全文 →

年终盘点:阿里程序员必备技能,程序员必须收藏

Java 作为编程语言的老大哥,薪资一路上涨。我身边将近 80% 的朋友都是做 Java 的,他们都期望自己可以成为一名优秀的架构师。但从一名普通的程序员成长为架构师,需要付出的辛苦和努力远超过我们的想象。 我从拉勾网的调研结果发现:97% 的 Java 技术人都会面临这些困境(或许也是你的困惑): 缺乏技术广度和深度:如果你长期在小型软...
📅 2023-09-28 阅读全文 →

聊聊程序员高效之道(执行力可度量吗?)

题图:专注高效挖土的鼹鼠,转自:技术琐话导读程序员当属工程师类别,而工程师的核心能力,在我看来有且仅有一个,那就是“解决问题”,即便还没有成功的解决掉问题,那也必然是在解决问题的路上(比如科研类工程师短期内并不一定有成果)。如果问题最终没有被解决,之前的种种努力很容易变得微不足道。另外,不同于科研领域,程序员面对的大部分问题通常是具体、明确和有章可循的,故而...
📅 2023-09-28 阅读全文 →

从Zabbix到Prometheus,同程艺龙数据库监控系统的实践

来自:DBAplus社群作者介绍闫晓宇,同程艺龙数据库技术专家,具有多年互联网行业DB运维经验,在游戏、O2O及电商行业从事过DBA运维工作。2016年加入同程艺龙,目前在团队负责数据库架构设计及优化、运维自动化、MySQL监控体系建设、DB私有云平台设计及开发工作。一、背景2017年以前我们运维体系的监控主要还是以Zabbix作为主流的解决方案(目前已经不...
📅 2023-09-28 阅读全文 →

三分钟基础:什么是流量控制?

来源于公众号:苦逼的码农作者:帅地上篇文章讲了TCP拥塞控制机制的原理,没看过的不妨看下:三分钟基础:什么是拥塞控制?,这篇文章讲讲TCP流量控制机制。一、为什么需要流量控制?双方在通信的时候,发送方的速率与接收方的速率是不一定相等,如果发送方的发送速率太快,会导致接收方处理不过来,这时候接收方只能把处理不过来的数据存在缓存区里(失序的数据包也会被存放在缓存...
📅 2023-09-28 阅读全文 →

机器学习在高德搜索建议中的应用优化实践

来自:高德技术导读:高德的愿景是:连接真实世界,让出行更美好。为了实现愿景,我们要处理好LBS大数据和用户之间的智能链接。信息检索是其中的关键技术,而搜索建议又是检索服务不可或缺的组成部分。本文将主要介绍机器学习在高德搜索建议的具体应用,尤其是在模型优化方面进行的一些尝试,这些探索和实践都已历经验证,取得了不错的效果,并且为后来几年个性化、深度学习、向量索引...
📅 2023-09-28 阅读全文 →

迁移到MySQL的业务架构演进实战

来自:DBAplus社群作者介绍杨建荣,dbaplus社群联合发起人,竞技世界资深DBA,前搜狐畅游数据库专家,Oracle ACE,腾讯云TVP。具有十多年数据库开发和运维经验,目前专注于开源技术、运维自动化和性能调优。《Oracle/MySQL DBA工作笔记》作者,每天通过微信、博客进行技术分享,已连续坚持2100多天。随着业务的快速发展,做到未雨绸缪...
📅 2023-09-27 阅读全文 →

为了给你们讲清楚数据库中间件有哪些,我也是拼了!

来自:会点代码的大叔如果是 IT 老鸟,对于中间件、数据库中间件这些名词一定都不陌生,但是如果是程序员新人,如果你向他解释:“中间件就是和业务无关的技术组件”;有些新人可能依然会比较懵,啥是组件?什么叫和业务无关?那么就让我先举个形象点儿的例子。01中间件是什么干 IT 太累了,我准备辞职开了个烧烤摊,卖羊肉串;卖羊肉串首先就得有羊肉,于是我就联系了很多养殖...
📅 2023-09-27 阅读全文 →

大数据变现实践:微博百亿营收背后的数据挖掘技术

来自:DBAplus社群本文根据彭冬老师在〖2019 DAMS中国数据智能管理峰会〗现场演讲内容整理而成。讲师介绍彭冬,微博广告大数据团队负责人、技术专家。目前负责微博广告智能运维系统、大数据平台、数据挖掘及用户画像等工作,著有《智能运维:从0搭建大规模分布式AIOps系统》。分享概要1、微博及商业化特色2、微博社交化数据3、微博商业化增长一、前言从技术层面...
📅 2023-09-27 阅读全文 →

震惊!线上四台机器同一时间全部 OOM,到底发生了什么?

来自:码海案发现场昨天晚上突然短信收到 APM (即 Application Performance Management 的简称,我们内部自己搭建了这样一套系统来对应用的性能、可靠性进行线上的监控和预警的一种机制)大量告警 画外音: 监控是一种非常重要的发现问题的手段,没有的话一定要及时建立哦紧接着运维打来电话告知线上部署的四台机器全部 OOM (out ...
📅 2023-09-27 阅读全文 →

最近面试一个6年 Java程序员,一个问题都答不上!

最近看了很多简历,很多候选人年限不小,但是做的都是一些非常传统的项目,想着也不能通过简历就直接否定一个人,何况现在大环境越来 越难,大家找工作也不容易,于是就打算见一见。在沟通中发现,由于年限不小,他们的定位基本都是高级及以上,毕竟,年限摆在那里,面个中级也不体面。面试时我打算聊点基础的,先打开一下话题,结果发现对于一些开发中很基本的问题,比如:Git的分支...
📅 2023-09-27 阅读全文 →

从ReentrantLock的实现看AQS的原理及应用

来自:美团技术团队AQS作为JUC中构建锁或者其他同步组件的基础框架,应用范围十分广泛,这篇文章会带着大家从可重入锁一点点揭开AQS的神秘面纱。前言Java中的大部分同步类(Lock、Semaphore、ReentrantLock等)都是基于AbstractQueuedSynchronizer(简称为AQS)实现的。AQS是一种提供了原子式管理同步状态、阻塞...
📅 2023-09-27 阅读全文 →

解码Redis最易被忽视的CPU和内存占用高问题

来自:DBAplus社群作者介绍张鹏义,腾讯云数据库高级工程师,曾参与华为Taurus分布式数据研发及腾讯CynosDB for pg研发工作,现从事腾讯云Redis数据库研发工作。我们在使用Redis时,总会碰到一些redis-server端CPU及内存占用比较高的问题。下面以几个实际案例为例,来讨论一下在使用Redis时容易忽视的几种情形。一、短连接导致...
📅 2023-09-27 阅读全文 →

高并发的场景下,不能不说的限流算法

来自:会点代码的大叔先举个例子,说明为什么要做“限流”。旅游景点通常都会有最大的接待量,不可能无限制的放游客进入,比如故宫每天只卖八万张票,超过八万的游客,无法买票进入,因为如果超过八万人,景点的工作人员可能就忙不过来,过于拥挤的景点也会影响游客的体验和心情,并且还会有安全隐患;只卖 N 张票,这就是一种限流的手段。01软件架构中的限流软件架构中的限流也是类...
📅 2023-09-27 阅读全文 →

创业也好,打工也罢,都需要持之以恒的“笨功夫”

来自:吃草的罗汉登山,是考验自己的体力和耐力的最好方式每次坐在快速行驶的交通工具上,我的内心都会变得非常平静,这种平静,容易激发起我对阅读的兴趣。坐在从成都回上海的航班上,顺手挑一本喜欢的书,带起仿噪耳机,播放一段交响乐,慢慢享受这段旅程。和其他书相比,我更喜欢看历史书,因为在历史的长河中,许多片段可以引发对人生的深入思考,让自己明白很多道理,有助于加强我们...
📅 2023-09-27 阅读全文 →