第六十五天

ES如何使用的? 倒排索引的原理是什么?

Elasticsearch的倒排索引原理主要基于文档的分词和索引构建，以及查询时高效的检索机制。

倒排索引是Elasticsearch实现文本检索的核心数据结构，它允许快速、准确地从大量数据中找到与查询相关的信息。以下是倒排索引的关键组成部分：

1. 文档（Document）：在Elasticsearch中，每一条数据被称为一个文档，这些文档是索引和搜索的基本单位。
2. 词条（Term）：文档通过分词（Tokenization）过程被分解成多个词条，每个词条都是索引的一个元素。
3. 索引构建：为每个词条创建一个索引，这个索引会记录包含该词条的所有文档的列表。这个过程是倒排索引构建的核心，因为它将词条映射到文档，而不是传统的正向索引，即从文档到词条的映射。
4. 查询过程：当用户进行搜索时，搜索内容首先被分词，然后系统会在倒排索引中查找这些词条，并快速定位到包含这些词条的文档列表。
5. 打分机制：为了提高搜索的准确性，Elasticsearch采用了打分机制来评估搜索结果的相关度。旧版本中默认使用TF/IDF算法，而从7.x版本开始，默认使用BM25评分算法来计算相关性。
6. 性能优化：为了支持大数据量的近实时搜索，Elasticsearch对倒排索引进行了优化，包括使用高效的数据结构和算法来加速索引构建和查询处理。

kafka事务消息?

Kafka通过事务性消息提供了更强的一致性保证。

Kafka的事务性消息是一种高级功能，它允许生产者在发送消息时进行更多的控制，以确保消息的一致性和可靠性。这些特性对于需要高数据完整性的应用程序至关重要。以下是Kafka事务性消息的关键特点和机制：

• 原子性：事务性消息保证了一组消息要么全部成功，要么在出现故障时全部失败。这意味着消息处理不会部分完成，从而避免了数据不一致的问题。
• 可靠性：一旦事务被提交，即使发生系统故障，Kafka也会确保这些消息被处理。这通过特殊的日志文件格式实现，其中包括了标志事务结束的控制消息（controlBatch），如commit或abort类型的消息。
• 端到端的一次语义：Kafka的事务机制旨在提供端到端的一次语义，确保消息在传输过程中不会被重复、丢失或出现不一致的情况。这对于维护数据的完整性和准确性非常重要。
• 事务性生产者：Kafka提供了事务性生产者，它允许将一组消息作为一个事务进行发送。生产者可以将消息事务性地写入多个主题（topic）和分区（partition），这增加了发送过程的灵活性。