2019年8月

2019
08-29

logstash实现reindex NEW

概念Elasticsearch 本身不提供对索引的 rename，mapping 的 alter 等操作。所以，如果有需要对全索引数据进行导出，或者修改某个已有字段的 mapping 设置等情况下，我们只能通过 scroll API 导出全部数据，然后重新做一次索引写入。这个过程，叫做 reindex。logstash实现reindex在最新版的 Logstash 中，对 logstash-input-elasticsearch 插件做了一定的修改，使得通过 logstash... Read More >
2019
08-28

elasticsearch中设置查询的请求超时时间 NEW

背景因为我们的项目是用的php，为了防止调用搜索时，请求处理时间太长，导致php-fpm占满，所以需要对外部接口设置请求的超时时间，避免过多的超时请求，我们可以用过对es的参数限制，设置超时时间search 请求参数from从索引的第几条数据开始返回，默认是 0；size返回多少条数据，默认是 10。注意：Elasticsearch 集群实际是需要给 coordinate node 返回 shards number * (from + size) 条数据，... Read More >
2019
08-27

elasticsearch中搜索数量不能超过10000的解决方案

问题描述开发环境: JDK1.8、Elasticsearch7.5.1最近在操作ES进行分页查询(from+size)时，需要返回满足条件的数据总数。我发现满足条件的数据总数一旦超过10000条，返回的结果永远是10000。为什么会被限制只能搜索10000条数据呢？如何查询精确的数据总数呢？问题分析查看官方文档: Elasticsearch 7.5Elasicsearch通过index.max_result_window参数控制了能够获取的数据总数from+size的最大值，... Read More >
2019
08-26

logstash-keystore保存Elasticsearch或其他密码

背景在配置Logstash时，你可能需要指定敏感设置或配置，比如密码，与依赖文件系统权限来保护这些值不同，你可以使用Logstash keystore来安全地存储用于配置设置的secret值。在向keystore中添加key及其secret值之后，你可以在配置敏感设置时使用key代替secret值。引用key的语法与环境变量的语法相同：${KEY}，KEY是key的名称。例如：jdbc_password => "${MYSQL_PWD}&q... Read More >
2019
08-25

elasticsearch中基于slop参数实现近似匹配

slop的含义query string，搜索文本，中的几个term，要经过几次移动才能与一个document匹配，这个移动的次数，就是slop词条位置当一个字符串被分析时，分析器不仅只返回一个词条列表，它同时也返回原始字符串的每个词条的位置、或者顺序信息：例如：POST /_analyze {   "analyzer": "standard",   "text&... Read More >
2019
08-24

logstash多配置文件的使用和常见问题

logstash多配置文件的使用和常见问题背景假设现在给Logstash的pipeline配置了2个conf，也就是2个输入源。如果不做任何处理，那么所有的Filter和Output都会同时触发，如下图：这显然跟我们期望的不同，我们希望Logstash按以下的方式来处理，也就是各自区分，独立处理：解决方案官方提供有 type 和tags 配置项进行区分，type 和 tags 是 logstash 事件中两个特殊的字段。通常来说我们会在输入区段中通过 type 来标记事件类型 —— 我们肯定是提前能知道这个事件属于什... Read More >
2019
08-23

elasticsearch中自定义分析器

自定义分析器虽然Elasticsearch带有一些现成的分析器，然而在分析器上Elasticsearch真正的强大之处在于，你可以通过在一个适合你的特定数据的设置之中组合字符过滤器、分词器、词汇单元过滤器来创建自定义的分析器。一个 分析器 就是在一个包里面组合了三种函数的一个包装器， 三种函数按照顺序被执行:字符过滤器字符过滤器 用来 整理 一个尚未被分词的字符串。例如，如果我们的文本是HTML格式的，它会包含像 <p&... Read More >
2019
08-22

elasticsearch中分片(Shards)的理解

分片重要性ES中所有数据均衡的存储在集群中各个节点的分片中，会影响ES的性能、安全和稳定性， 所以很有必要了解一下它。分片是什么？简单来讲就是咱们在ES中所有数据的文件块，也是数据的最小单元块，整个ES集群的核心就是对所有分片的分布、索引、负载、路由等达到惊人的速度实列场景：假设 IndexA 有2个分片，我们向 IndexA 中插入10条数据 (10个文档)，那么这10条数据会尽可能平均的分为5条存储在第一个分片，剩下的5条会存储在另一个分片中。和主流关系型数据库的表分区的... Read More >
2019
08-21

elasticsearch中forcemerge清除文件占用的磁盘空间

elasticsearch中forcemerge清除文件占用的磁盘空间背景最近发现es占用的磁盘存储大小一直在增加，本来1mb的东西，隔了1-2天达到100mb多，如下分析    elasticsearch是建立在Apache Lucene 基础上的实时分布式搜索引擎，Lucene为了提高搜索的实时性，采用不可再修改（immutable）方式将文档存储在一个个segment中。也就是说，一个segment在写入到存储系统之后，将不可以再修改。那么Lucene是如何从一个segment中删除一个被索引的文档... Read More >
2019
08-20

ELK7.5.1实战-自建logstash同步数据到腾讯云ES集群

背景本来自建的单机ES提供搜索服务，随着数据的变多，性能已经成为严重的问题，现在准备迁移到腾讯云ES集群实战示例1. 购买腾讯云白金版ES集群7.5.1集群自带 es+kibana 但是不带logstash，所以还要自己安装一个2. 下载logstash7.5.1+JDKwget https://artifacts.elastic.co/downloads/logstash/logstash-7.5.1.tar.gzwget https://mirrors... Read More >
2019
08-19

elasticsearch中store设置true和false的区别

概念设置索引的时候，我们给某些字段的store属性设置为true，在查询时，请求中可以携带stored_fields参数，指定某些字段，最后，这些字段会被包含在返回的结果中。如果请求中携带的字段没有被储存，将会被忽略。示例默认的场景我们先观察没有设置store属性的字段情况。我们新增一个document，并利用自动生成索引功能创建索引：PUT my_index/_doc/1{  "content":"这是一个内容&q... Read More >
2019
08-17

golang面试题：json包变量不加tag会怎么样？

问题json包里使用的时候，结构体里的变量不加tag能不能正常转成json里的字段？解答如果变量首字母小写，则为private。无论如何不能转，因为取不到反射信息。如果变量首字母大写，则为public。不加tag，可以正常转为json里的字段，json内字段名跟结构体内字段原名一致。加了tag，从struct转json的时候，json的字段名就是tag里的字段名，原字段名已经没用。实战package main import (   ... Read More >
2019
08-17

Go bufio.Reader 结构源码详解 I

你必须非常努力，才能看起来毫不费力！ 微信搜索公众号[ 漫漫Coding路 ]，一起From Zero To Hero ! 前言 前面的两篇文章 Go 语言 bytes.Buffer 源码详解之1，Go 语言 bytes.Buffer 源码详解 2，我们介绍了 bytes.buffer，它是一个字节缓冲区，我们可以将数据先写到到缓冲区再进行处理。但是 bytes.buffer 并没有提供对底层文件操作的相关接口（ReadFrom 会将整个文件内容写入缓冲区，不适用于大文件... Read More >
2019
08-17

#yyds干货盘点# 如何生成手机可识别的电话簿文件

支付宝查询号码1.支付宝好友电话号只能显示前三位跟最后两位怎么查到中间的六位数字是什么呢？ 10的六次方是百万级别，这么大的值枚举是不是太大了2.借助工具生成电话号然后生成通讯录导入到手机。 如果你的通讯录有这个好友那么，支付宝会自动的显示全所有的电话号3.电话号的组成前三位代表运营商，移动，联调，电信 中间四位代表区域，北京，南京，天津(百度查号吧可查)4.java生成电话号代码public class test { public static St... Read More >
2019
08-17

带你十天轻松搞定 Go 微服务系列（一）

本文开始，我们会出一个系列文章跟大家详细展示一个 go-zero 微服务示例，整个系列分十篇文章，目录结构如下： 环境搭建（本文） 服务拆分 用户服务 产品服务 订单服务 支付服务 RPC 服务 Auth 验证 服务监控 链路追踪 分布式事务 期望通过本系列带你在本机利用 Docker 环境利用 go-zero 快速开发一个商城系统，让你快速上手微服务。 完整示例代码：https://github.com/nivin-studio/go-zero-mall 1 环境要求 Go... Read More >
2019
08-17

Go语言区块链从入门到深度实战

Go语言区块链从入门到深度实战网盘地址：https://pan.baidu.com/s/1kvFouq9nUFtDlFMCAx3NyA 提取码：34je  备用地址（腾讯微云）：https://share.weiyun.com/6333OHV0 提取码：fcgukt分享课程——Go语言区块链从入门到深度实战，2021新课，提供配套的源码+课件资料。体系的Go+区块链课程，内容从最基本的加密算法讲起，到区块链的原理，挖矿等，再到以太坊和farbic两个大型项目实战。带你真正弄懂... Read More >
2019
08-17

k8s源码学习-codec编码器

codec编码器是什么？ codec编码器包含编码器和解码器，表示将数据转换为特定格式的过程，在k8s系统中主要负责将etcd中数据进行编码和解码操作 Serializer是什么？ Serializer是序列化器，包含序列化和反序列化操作，序列化操作是将数据（数组，结构体，对象）转为字符串的操作，反序列化是将字符串转为数据过程 codec编码器和Serializer是什么关系？ Serializer算是codec编码器的一种，代码：vendor/k8s.io/apimachi... Read More >
首页 1 2 3 下一页 最后