Kafka学习资料

 

http://blog.csdn.net/bluetom520/article/details/54892959

https://www.infoworld.com/article/3215165/application-development/how-to-use-apache-kafka-messaging-in-net.html

https://github.com/Microsoft/CSharpClient-for-Kafka

https://github.com/Jroland/kafka-net

https://github.com/confluentinc/confluent-kafka-dotnet/issues/50

 

--kafka.net

http://blog.csdn.net/wulex/article/details/51786328

 

http://bbs.csdn.net/topics/392068221?page=1

 

--confluent.kafka

官网： https://www.confluent.io/product/compare/

https://github.com/confluentinc/confluent-kafka-dotnet

Kafka生产者Producer配置 

http://blog.51cto.com/favccxx/1767882

 

注意：

一、

使用Kafka，需要配置hosts文件，hosts地址：C:\Windows\System32\drivers\etc 。配置方式如下：

1.  在搜索程序和文件中，输入cmd，点击cmd.exe,右键以管理员身份打开。

2、在控制台中输入notepad，打开文本文档

3、在文本文档中选择“打开”，找到hosts文件打开

4、在host文件中配置kafka ip及域名对应关系。保存。

（

 

# localhost name resolution is handled within DNS itself.

# 127.0.0.1       localhost

# ::1             localhost

 

ip地址  along （域名）

 

 

）

 

二、Kafka中key的作用

key是用于hash分区的。一般我们建立kafka topic的时候，可以预分区。比如分了8个区。

这样你在往kafka写入的时候，如果key是a开头，就存到了分区1，b开头就存到了分区2，以此类推。当然内部肯定是挺复杂的，

分区多了，可以多线程并发读取数据，否则1个分区，读取速度和写入速度都很慢。

 不传key就随机放一个地方了。但是不建议这样做。这样做就消息就没有顺序了。

 当然，存入分区之前，最好使用md5一次。避免设备都跑到一个分区了。

String did = "homer xxxxx";

send( md5(did) , value );

 

分区是一个区域，没有数量之说。

你这样想，如果所有消息，全都放在一个盒子里面，当你消费的时候，也只能一个线程消费。这样速度慢。

如果topic有8个分区，就是有8个盒子，这样可以开8个线程消费。

至于一个盒子，能存多少数据，这个是无限的，取决于服务器配置

 key只是用作，kafka用来判断，这个消息放到哪个盒子中。

相同的key肯定是会放到一个分区中