Logstash过滤插件grok正则解析

Logstash过滤插件grok正则解析 一、grok介绍 grok是Logstash中用来解析非结构化日志数据,将日志转化为可查询的结构化数据的最佳方法,可以用来处理syslog日志、apache等webserver日志、mysql日志以及用户自定义日志。 Logstash自带有120多种预定义好的正则表达式方便用户使用,你可以在这里查看这些正则表达式,你也可以添加自己的匹配规则。 有两个网站可以帮助我们来构建正则表达式去匹配我们的日志: http://grokdebug.herokuapp.com http://grokconstructor.appspot.com (推荐) 二、grok基础 grok匹配模式语法为:%{SYNTAX:SEMANTIC:TYPE} SYNTAX: 正则表达式、预定义的正则表达式名称 SEMANTIC: 标识符,标识匹配后的数据 TYPE: 可选的类型,目前支持int、float 例如:NUMBER可以匹配3.44,IP可以匹配:192.168.21.2 一个复杂的日志格式如下: 192.168.21.2 GET /index.html 15823 0.023 grok匹配模式可以为: ${IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration} 更加实际的,该条日志可能来自一个文件: input { file { path => "/var/log/http.log" } } filter { grok { match => { "message" => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}" } } } 在grok过滤后,可以得到额外一下字段: client: 192.168.21.2 method: GET request: /index.html bytes: 15823 duration: 0.

阅读全文

Ext2设计与实现(译)

Ext2设计与实现 1、介绍 Linux第一版只支持Minix文件系统,Minix文件系统有两大亟待解决的限制:块地址存储在16位整型,最大文件大小为64MB;另外目录和文件名长度最大支持14个字符。 我们设计与实现了两种新的文件系统:EXT 、 EXT2 在这篇论文中,我们将简述Linux文件系统的历史,简单介绍Unix文件系统的基础概念;介绍Linux VFS层的实现并详细介绍EXT2内核代码与用户工具;最后,是Linux、BSD下EXT2性能测试对比。 2、Linux文件系统历史(略) 3、文件系统概念 Linux文件系统的实现基于Unix操作系统通用概念:文件通过inodes来表示,目录是一种简单的文件包含许多列表项,设备是可以发起I/O请求的特殊文件。 3.1 Inode 每个文件都使用inode结构体来表示,每个inode包含了描述文件元数据:文件类型、访问权限、所有者、时间戳、大小、数据块指针。分配给文件的数据块地址存储在文件的inode节点中,当用户对文件发起I/O请求时,内核代码将当前文件偏移量转为块号,使用该数字作为块地址表的索引来读写物理块,如下图所示: 3.2 目录 目录按层次树结构组织,每一个目录可以包含文件和子目录。 目录实现为一种特殊的文件。事实上,目录是一种包含列表项的文件,每一项包含一个inode号和一个文件名,当一个进程使用一个路径名时,内核代码会搜索目录查找对应的inode号,在路径文件名被转换为inode号后,inode结构会被存储到内存中用以后序请求。目录如下图: 3.3 链接 Unix文件系统提出了链接的概念,若干个文件名可以关联到一个inode节点,inode节点包含一个存储链接数的域。增加一个链接会创建一个目录项并增加inode链接计数。当删除链接时,内核会递减链接计数,为0时删除inode。 这种类型的链接称为硬链接,只能在一个文件系统中使用,且不能链接到一个目录,避免引起环路。 另一种链接存在于大多数Unix系操作系统,符号链接:只包含文件名的简单文件,当内核inode转换时遇到符号链接,会将软链接文件内容替换链接名。因为软链接不包含inode,它可以跨文件系统,可以指向任何类型的文件,甚至不存在的文件。但软链接会占用磁盘空间、inode、在路径名到inode转换时引起额外消耗。 3.4 设备文件 在Unix系操作系统,设备被当作特殊文件访问。一个设备文件并不占用文件系统空间,只作为设备驱动访问接口。 有两类特殊文件:字符设备、块设备。主设备号决定类型,次设备号决定哪一个设备。 4 VFS VFS是一个文件系统抽象层,定义了一个文件系统应该实现的操作,对上层屏蔽了底层不同文件系统的实现,一图概之: 5 EXT2 5.1 起因 修复EXT文件系统问题,提供一个强大的文件系统,实现unix文件语义并提供高级特性 5.2 标准 ext2fs特性 支持标准Unix文件类型:普通文件、目录、设备文件、符号链接 支持最大4TB文件系统 长文件名:255字节,可扩展至1012 为root保留空间以便修复 5.3 高级 ext2fs特性 属性继承 软链接:目标名存储在inode中 创建文件系统时可选择逻辑块大小 fsck mount options Append-only files 5.4 物理结构 受BSD文件系统的影响,文件系统由块组构成,但块组并没有与磁盘的物理结构块绑定,因为现代驱动趋势是优化顺序访问和对操作系统隐藏物理结构。 文件系统物理结构: Boot Sector Block Group 1 Block Group 2 …

阅读全文

springmvc实现导出数据excel

springmvc实现导出数据excel 最近在项目中要实现将数据导出为excel的功能,研究了下目前springmvc框架下excel导出的方式,在spring 4.3中使用AbstractXlsView来实现,AbstractExcelView已被弃用;但这里介绍的是直接用apache poi实现的一种方式。 model如下 package red.itech.blog.dao.model; import java.util.Date; /** * Created by you on 16/10/28. */ public class Blog { private String author; private Date createdAt; private String title; private long count; public Blog(){} public Blog(String author, Date createdAt, String title, long count){ this.author = author; this.count = count; this.createdAt = createdAt; this.title =title; } public void setAuthor(String author) { this.author = author; } public void setCreatedAt(Date createdAt) { this.

阅读全文

Spring+Mybatis+Velocity项目搭建

Spring+Mybatis+Velocity项目搭建 一、开发工具 JDK 1.8.0_91 Intellij IDEA 15.0.6 Mysql 5.5.44 Maven 3 二、新建工程 新建Maven工程,不选Create from archtype提供的工程模版,为了学习从头开始配置工程,点击next设置工程坐标,然后一路到finish。 <groupId>red.itech</groupId> <artifactId>blogDemo</artifactId> <version>1.0-SNAPSHOT</version> 如果使用git开发,可以新建.gitignore文件,使git忽略idea自动生成的文件(.ignore插件可以帮助生成.gitignore),项目git初始化 # Created by .ignore support plugin (hsz.mobi) .gitignore ### OSX template *.DS_Store # IntelliJ project files .idea *.iml out target gen### Java template *.class # Package Files # *.jar *.war *.ear 三、Spring MVC 编辑pom.xml添加Spring MVC、servlet依赖如下: <dependencies> <!-- spring --> <dependency> <groupId>org.springframework</groupId> <artifactId>spring-core</artifactId> <version>4.3.3.RELEASE</version> </dependency> <dependency> <groupId>org.

阅读全文

理解UML类图关系

理解UML类图关系 1、依赖(Dependency) 关系:uses temporarily,使用关系,作为局部变量、方法参数或者对静态方法的调用 代码示例: import B; public class A{ public void method1(B b) { // ... } public void method2() { B tempB = new B(); // ... } } 图示(一套带箭头的虚线表示): 2、聚合(Aggregation) 关系:is part of,整体与部分的关系,作为成员变量 代码: import Engine; public class Car{ private Engine engine; publilc Engine getEngine(){ return engine; } } 图示(一条带空心菱形箭头的直线表示): 3、组合(Composition) 关系:is entirely made of,更强的整体与部分关系,作为成员变量 代码: import Page; public class Book{ private List<Page> pages; publilc List<Page> getPages(){ return pages; } } 图示(一条带实心菱形箭头直线表示):

阅读全文

作者的图片

沉下心,多坚持

SRE

杭州