与ApacheFlink相关精彩内容

  • 时间:
  • 浏览:2

本文根据 Apache Flink 系列直播收集而成,由 Apache Flink Contributor、3300 数据开发高级工程师马庆祥老师分享。文章主要从怎样才能为Flink量身定制的序列化框架、Flink序列化的最佳实践、Flink通信层的序列化以及问答环节四次责分享。

Flink Kafka Connector 是 Flink 内置的 Kafka 连接器,它带有了从 Kafka Topic 读入数据的 Flink Kafka Consumer 以及向 Kafka Topic 写出数据的 Flink Kafka Producer,除此之外 Flink Kafa Connector 基于 Flink Checkpoint 机制提供了完善的容错能力。

作者: 巴蜀真人 3393人浏览

作者: Ververica 1015人浏览

在 2017 年上两天本来,TalkingData 的 App Analytics 和 Game Analytics 八个产品,流式框架使用的是自研的 td-etl-framework。该框架降低了开发流式任务的复杂性度,对于不同的任务只须要实现八个 changer 链即可,怎样才能让支持水平扩展,性能尚可,本来都可不可以 满足业务需求。

文章将从网络流控的概念与背景、TCP的流控机制、Flink TCP-based 反压机制(before V1.5)、Flink Credit-based 反压机制 (since V1.5)、总结与思考等十几条 方面进行分享。

作者: 巴蜀真人 1920人浏览

作者: 巴蜀真人 530007人浏览

作者: 巴蜀真人 1386人浏览

本文主要从Ververica由来开始谈起,着重讲了Ververica Platform的八个核心插件App Manager、Libra Service、Stream Ledger、Gemini,以及阿里巴巴实时计算云原生版本相关行态及典型应用场景。

作者: 巴蜀真人 2399人浏览

角度学习 大数据 Apache 人工智能 开源大数据 培训 流计算 ApacheFlink 实时技术 FlinkForwardAsia

作者: 巴蜀真人 8543人浏览

本文主要介绍 Apache Flink 在同程艺龙的应用实践,从当前同程艺龙实时计算平台现状、建设过程、易用性提升、稳定性优化四方面分享了同城艺龙实时计算平台的建设经验,供大伙儿儿参考。

大数据 性能 Apache 数据流 配置 cluster 集群 network 流计算 Standalone 实时计算 ApacheFlink Exactly-once

作者: 巴蜀真人 7018人浏览

大数据 监控 SQL 日志 守护程序运行运行 Apache 数据处置 配置 集群 Elasticsearch 流计算 实时计算 ApacheFlink

数据处置 Image stream 流计算

大数据 监控 性能 守护程序运行运行 Apache 数据处置 Group Mapreduce 自动化运维 流计算 实时计算 Metrics ApacheFlink

大数据 SQL Apache 流式计算 开源大数据 Hive 培训 流计算 数据管理 实时计算 ClickHouse ApacheFlink

作者: 巴蜀真人 4386人浏览

大数据 监控 微博 日志 配置 数据仓库 stream 存储 数据存储 日志处置 实时计算 ApacheFlink 计算方案

作者: 巴蜀真人 19300人浏览

作者: 巴蜀真人 30047人浏览

300 年前,人工智能的诞生刷新了人类对技术的期待;过去 10 年,大数据、云计算等核心技术的发展,推动了整个社会的重构与革新;5 年时间,移动互联网从诞生到逐步实现万物互联,数据在现实中的边界正在不断被拓展;技术迭变的守护程序运行运行不断加快,新兴技术的涌现昼夜不停。

已有0人关注此标签

作者: 巴蜀真人 6136人浏览

作者: 巴蜀真人 6770人浏览

Flink 的 API 大体上都可不可以 划分为八个层次:居于最底层的 ProcessFunction、里面一层的 DataStream API 和最上层的 SQL/Table API,这三层中的每一层都非常依赖于时间属性。

作者: 巴蜀真人 330002人浏览

本文由趣头条实时平台负责人席建刚分享趣头条实时平台的建设,收集者叶里君。文章将从平台的架构、Flink 现状,Flink 应用以及未来计划四次责分享。

大数据 数据处置 TCP 网络 Consumer netty Socket network 流计算 实时计算 流控 ApacheFlink 反压机制

作者: 巴蜀真人 2676人浏览

大数据 数据处置 Consumer 流计算 实时计算 ApacheFlink

作者: 巴蜀真人 1683人浏览

本文主要介绍 Flink on Yarn/K8s 的原理及应用实践,文章将从 Flink 架构、Flink on Yarn 原理及实践、Flink on Kubernetes 原理剖析三次责内容进行分享并对 Flink on Yarn/Kubernetes 中居于的次责疑问进行了解答。

传统基于 Hadoop 生态的离线数据存储计算方案已在业界形成统一的默契,但受制于离线计算的时效性制约,过多的数据应用场景已从离线转为实时。微博广告实时数据平台以此为背景进行设计与构建,目前该系统已支持日均处置日志数量超过百亿,接入产品线、业务日志类型若干。

业务数据的指数级扩张,数据处置的强度单位可不都可不可以 跟不上业务发展的步伐。基于 Flink 的数据平台构建、运用 Flink 处置业务场景中的具体疑问等随着 Flink 被更广泛的应用于广告、金融风控、实时 BI、实时数仓、实时推荐等多种业务场景,在生产实践中已有富有的案例与优秀的经验。

作者: 巴蜀真人 4875人浏览

Flink 提供的 Metrics 都可不可以 在 Flink 组织组织结构收集有些指标,通过哪些地方地方指标让开发人员更好地理解作业或集群的具体情况。怎样才能让集群运行后如此发现组织组织结构的实际具体情况,跑得慢或快,不是异常等,开发人员无法实时查看所有的 Task 日志,比如作业很大怎样才能让有有些作业的具体情况下,该怎样才能处置?此时 Metrics 都可不可以 很好的帮助开发人员了解作业的当前具体情况。

大数据 架构 Apache 数据处置 高可用 配置 镜像 集群 session 流计算 实时计算 ApacheFlink

大数据 监控 守护程序运行运行 流计算 实时计算 ApacheFlink 网络栈 指标 处置背压

角度学习 大数据 机器学习 SQL Apache 数据处置 培训 流计算 实时计算 金融科技 ApacheFlink CEP

大数据 数据处置 集群 流式计算 插件 存储 流计算 实时计算 云原生 ApacheFlink Ververica

大数据 架构 SQL 数据流 配置 集群 平台架构 Server 流计算 TensorFlow 实时计算 ApacheFlink 实时平台

角度学习 大数据 性能优化 Apache 数据处置 集群 平台架构 Hive demo 流计算 大数据分析 实时计算 ApacheFlink

11 月 28-300 日,Flink Forward Asia 邀请来自阿里巴巴、戴尔科技集团、英特尔、Cloudera、趣头条、百度、Stream Native 等不同方向的技术专家围绕 Apache Flink 核心大数据生态探讨当下大数据的发展趋势与未来动向,并展现相关技术在一线生产场景的优秀实践。

作者: 巴蜀真人 6203人浏览

大数据 Image stream 流计算 实时计算 ApacheFlink FlinkForward

阿里巴巴这次共派出了包括笔者在内的3名讲师,总共参加了4场分享和八个问答环节。在这里,我会根据当事人参与的议题给大伙儿儿做一下这次会议整体的八个介绍和当事人在这次参会过程里面的感受和思考,希望对感兴趣的同学有所帮助。

大数据 java 性能 守护程序运行运行 数据处置 配置 集群 索引 Elasticsearch CPU index 流计算 实时计算 ApacheFlink

线上业务反应使用 Flink 消费上游 kafka topic 里的轨迹数据总出 backpressure,数据积压严重。单次 bulk 的写入量为:30000/3000mb/300s,并行度为 48。针对该疑问,为了处置影响线上业务申请了八个与线上集群配置相同的 ES 集群。

9 月 7 日,Apache Flink Meetup 上海站,上海的同学再次演绎了站无虚席的爆满场面。现场来自阿里巴巴、intel、趣头条的技术专家们分享了 Zeppelin 中玩转 Flink 与 Hive、趣头条的应用实践、Flink 性能优化、TensorFlow 与 Flink 的应用实践等众多干货内容,并有 Demo 演示环节。

作者: 巴蜀真人 1889人浏览

阿里巴巴这次共派出了包括笔者在内的3名讲师,总共参加了4场分享和八个问答环节。在这里,我会根据当事人参与的议题给大伙儿儿做一下这次会议整体的八个介绍和当事人在这次参会过程里面的感受和思考,希望对感兴趣的同学有所帮助。

大数据 java Apache 数据处置 存储 数据类型 流计算 序列化 ApacheFlink

在本来的文章中,大伙儿儿从高级抽象到底层细节各个层面全面介绍了 Flink 网络栈的工作机制。作为有些 系列的第二篇文章,本文将在第一篇的基础上更进一步,主要探讨怎样才能监视与网络相关的指标,从而识别背压等因素带来的影响,或找出吞吐量和延迟的瓶颈所在。

大数据 Apache 数据处置 数据流 Processing API timestamp 流计算 实时计算 ApacheFlink