Alan | 深蓝的blog

SSH连接服务器经常被断开解决方法

Alan 十一月 26th, 2019 2.运维相关

Leave a comment

SSH连接服务器经常被断开解决方法

vim /etc/ssh/sshd_config

UseDNS no

修改成功之后，重启SSH服务：service sshd restart

连接服务器超时掉线解决办法

vim /etc/ssh/sshd_config

找到

ClientAliveInterval 0
ClientAliveCountMax 3

并将注释符号（”#”）去掉, 将ClientAliveInterval的值改成3600，保存。

ClientAliveInterval 指定服务器端向客户端请求消息的时间间隔，默认是0，不发送。

ClientAliveInterval 3600表示每1个小时发送一次，然后客户端响应，这样就保持长连接了。

ClientAliveCountMax，使用默认值3即可。

ClientAliveCountMax表示服务器发出请求后客户端没有响应的次数达到一定值，就自动断开。

Like:

TCPKeepAlive yes
ClientAliveInterval 60
ClientAliveCountMax 3

kafka常见问题

Alan 十一月 26th, 2019 1.服务端语言

Leave a comment

1 启动advertised.listeners配置异常:

java.lang.IllegalArgumentException: requirement failed: advertised.listeners cannot use the nonroutable meta-address 0.0.0.0. Use a routable IP address.
    at scala.Predef$.require(Predef.scala:277)
    at kafka.server.KafkaConfig.validateValues(KafkaConfig.scala:1203)
    at kafka.server.KafkaConfig.<init>(KafkaConfig.scala:1170)
    at kafka.server.KafkaConfig$.fromProps(KafkaConfig.scala:881)
    at kafka.server.KafkaConfig$.fromProps(KafkaConfig.scala:878)
    at kafka.server.KafkaServerStartable$.fromProps(KafkaServerStartable.scala:28)
    at kafka.Kafka$.main(Kafka.scala:82)
    at kafka.Kafka.main(Kafka.scala)

1.1 解决方法：修改server.properties

advertised.listeners=PLAINTEXT://{ip}:9092  # ip可以内网、外网ip、127.0.0.1 或域名

1.2 解析：

server.properties中有两个listeners。 listeners：启动kafka服务监听的ip和端口，可以监听内网ip和0.0.0.0(不能为外网ip)，默认为java.net.InetAddress.getCanonicalHostName()获取的ip。advertised.listeners：生产者和消费者连接的地址，kafka会把该地址注册到zookeeper中，所以只能为除0.0.0.0之外的合法ip或域名，默认和listeners的配置一致。

2 启动PrintGCDateStamps异常

[0.004s][warning][gc] -Xloggc is deprecated. Will use -Xlog:gc:/data/service/kafka_2.11-0.11.0.2/bin/../logs/kafkaServer-gc.log instead.
Unrecognized VM option 'PrintGCDateStamps'
Error: Could not create the Java Virtual Machine.
Error: A fatal exception has occurred. Program will exit.

2.1 解决方法: 更换jdk1.8.x版本或者使用>=kafka1.0.x的版本。

2.2 解析：

只有在jdk1.9并且kafka版本在1.0.x之前的版本才会出现。

3 生成者发送message失败或消费者不能消费(kafka1.0.1)

#(java)org.apache.kafka警告
Connection to node 0 could not be established. Broker may not be available.


# (nodejs) kafka-node异常 (执行producer.send后的异常)
{ TimeoutError: Request timed out after 30000ms
    at new TimeoutError (D:\project\node\kafka-test\src\node_modules\kafka-node\lib\errors\TimeoutError.js:6:9)
    at Timeout.setTimeout [as _onTimeout] (D:\project\node\kafka-test\src\node_modules\kafka-node\lib\kafkaClient.js:737:14)
    at ontimeout (timers.js:466:11)
    at tryOnTimeout (timers.js:304:5)
    at Timer.listOnTimeout (timers.js:264:5) message: 'Request timed out after 30000ms' }

3.1 解决方法: 检查advertised.listeners的配置（如果有多个Broker可根据java版本的对应的node号检查配置），判断当前的网络是否可以连接到地址(telnet等)

4 partitions配置的值过小造成错误(kafka1.0.1)

#(java)org.apache.kafka(执行producer.send)
Exception in thread "main" org.apache.kafka.common.KafkaException: Invalid partition given with record: 1 is not in the range [0...1).
    at org.apache.kafka.clients.producer.KafkaProducer.waitOnMetadata(KafkaProducer.java:908)
    at org.apache.kafka.clients.producer.KafkaProducer.doSend(KafkaProducer.java:778)
    at org.apache.kafka.clients.producer.KafkaProducer.send(KafkaProducer.java:768)
    at com.wenshao.dal.TestProducer.main(TestProducer.java:36)


# (nodejs) kafka-node异常 (执行producer.send后的异常)
{ BrokerNotAvailableError: Could not find the leader
    at new BrokerNotAvailableError (D:\project\node\kafka-test\src\node_modules\kafka-node\lib\errors\BrokerNotAvailableError.js:11:9)
    at refreshMetadata.error (D:\project\node\kafka-test\src\node_modules\kafka-node\lib\kafkaClient.js:831:16)
    at D:\project\node\kafka-test\src\node_modules\kafka-node\lib\client.js:514:9
    at KafkaClient.wrappedFn (D:\project\node\kafka-test\src\node_modules\kafka-node\lib\kafkaClient.js:379:14)
    at KafkaClient.Client.handleReceivedData (D:\project\node\kafka-test\src\node_modules\kafka-node\lib\client.js:770:60)
    at Socket.<anonymous> (D:\project\node\kafka-test\src\node_modules\kafka-node\lib\kafkaClient.js:618:10)
    at Socket.emit (events.js:159:13)
    at addChunk (_stream_readable.js:265:12)
    at readableAddChunk (_stream_readable.js:252:11)
    at Socket.Readable.push (_stream_readable.js:209:10) message: 'Could not find the leader' }

4.1 解决方法: 修改num.partitions的值，partitions在是在创建topic的时候默认创建的partitions节点的个数，只对新创建的topic生效，所有尽量在项目规划时候定一个合理的值。也可以通过命令行动态扩容()

./bin/kafka-topics.sh --zookeeper  localhost:2181 --alter --partitions 2 --topic  foo

mysqldump备份数据库命令

Alan 十一月 21st, 2019 3.数据库相关

Leave a comment

1、备份命令

格式：mysqldump -h主机名 -P端口 -u用户名 -p密码 –database 数据库名 > 文件名.sql

例如： mysqldump -h 192.168.1.100 -p 3306 -uroot -ppassword –database cmdb > /data/backup/cmdb.sql

2、备份压缩

导出的数据有可能比较大，不好备份到远程，这时候就需要进行压缩

格式：mysqldump -h主机名 -P端口 -u用户名 -p密码 –database 数据库名 | gzip > 文件名.sql.gz

例如： mysqldump -h192.168.1.100 -p 3306 -uroot -ppassword –database cmdb | gzip > /data/backup/cmdb.sql.gz

3、备份同个库多个表

格式：mysqldump -h主机名 -P端口 -u用户名 -p密码 –database 数据库名表1 表2 …. > 文件名.sql

例如 mysqldump -h192.168.1.100 -p3306 -uroot -ppassword cmdb t1 t2 > /data/backup/cmdb_t1_t2.sql

4、同时备份多个库

格式：mysqldump -h主机名 -P端口 -u用户名 -p密码 –databases 数据库名1 数据库名2 数据库名3 > 文件名.sql

例如：mysqldump -h192.168.1.100 -uroot -ppassword –databases cmdb bbs blog > /data/backup/mutil_db.sql

5、备份实例上所有的数据库

格式：mysqldump -h主机名 -P端口 -u用户名 -p密码 –all-databases > 文件名.sql

例如：mysqldump -h192.168.1.100 -p3306 -uroot -ppassword –all-databases > /data/backup/all_db.sql

6、备份数据出带删除数据库或者表的sql备份

格式：mysqldump -h主机名 -P端口 -u用户名 -p密码 –add-drop-table –add-drop-database 数据库名 > 文件名.sql

例如：mysqldump -uroot -ppassword –add-drop-table –add-drop-database cmdb > /data/backup/all_db.sql

7、备份数据库结构，不备份数据

格式：mysqldump -h主机名 -P端口 -u用户名 -p密码 –no-data 数据库名1 数据库名2 数据库名3 > 文件名.sql

例如：mysqldump –no-data –databases db1 db2 cmdb > /data/backup/structure.sql

8、例子

备份:

mysqldump -uroot -p -hhost db > back.sql
mysqldump -uroot -p -hhost –databases db –tables t1 t2 > back_0.sql
mysqldump -uroot -p -hhost –databases db –tables t3 t4 t5 t6 > back_1.sql
mysqldump -uroot -p -hhost –databases db –tables t7 t8 t9 t10 > back_2.sql

恢复：
mysql -uroot -p dbname < back.sql
mysql -uroot -p dbname < back_0.sql
mysql -uroot -p dbname < back_1.sql
mysql -uroot -p dbname < back_2.sql

mysql执行delete大数据时建议的方法

Alan 十一月 21st, 2019 3.数据库相关

Leave a comment

一张表可以存10几亿条的数据，特别是硬件上报的日志，特别多，而且还很多没有什么用的，某些数据库（本人试验mysql5.1）在批量删除数据时会拖慢数据库，本来跟删除的表无关，但还是拖慢了，也许是服务器的问题。

建议的方式：

创建一张备份表
如果删除的数据大于存留的数据，那么将存留的数据拷贝到备份表去
使用TRUNCATE TABLE命令，直接清空原表的数据
将备份表的数据拷贝到原表中
使用TRUNCATE TABLE命令清空备份表的数据

CREATE TABLE tb_device_report_log_bak SELECT * FROM tb_device_report_log_2 WHERE 1;
INSERT INTO tb_device_report_log_bak SELECT * FROM tb_device_report_log_2 a WHERE a.msgId!=10009;
TRUNCATE tb_device_report_log_2;
SELECT count(1) as zs ,msgId FROM `tb_device_report_log_2` WHERE 1 group by msgId order by zs desc;
INSERT INTO tb_device_report_log_2 SELECT * FROM tb_device_report_log_bak a WHERE 1;
TRUNCATE tb_device_report_log_bak;

SELECT count(1) as zs ,msgId FROM `tb_device_report_log_2` WHERE 1 group by msgId order by zs desc;

这行命令我是用来对比数据的，ok了再TRUNCATE表。

Spring boot模块化项目Mybatis无法找到Mapper解决办法

Alan 十一月 19th, 2019 1.服务端语言

Leave a comment

最近设计系统架构，需要把项目功能子模块化，框架使用Spring Cloud、Spring Boot，在子模块化的时候遇到DAO层分离的问题，比较复杂难解，另外一个就是maven打包的问题，但是相对好解决一点。

首先创建一个子模块（DAO），配置好并且可以启动，然后再创建一个子模块（API），API再maven中继承了DAO模块，配置application.yml文件之后会出现错误：

Invalid bound statement not found xxxx.xxMapper.selectByxxx()

原因有两个：配置的问题、xml放置位置的问题。

配置

* POM文件加入：
    <dependency>
        <groupId>com.test</groupId>
        <artifactId>dao</artifactId>
        <version>1.0</version>
        <scope>compile</scope>
    </dependency>

* build栏目加入：
    <resource>
        <directory>src/main/resources</directory>
        <includes>
            <include>**/*.*</include>
        </includes>
        <filtering>false</filtering>
    </resource>
    
* 使用注解扫描mapper包
@MapperScan(value = "com.test.mapper.repository.mapper")

* 配置项（application.yml）：
    spring:
      application:
        name: api-server
      profiles:
        active: test
      thymeleaf:
        cache: false
        prefix:
          classpath: /templates
      datasource:
        driver-class-name: com.mysql.cj.jdbc.Driver
        type: org.apache.commons.dbcp2.BasicDataSource
        url: jdbc:mysql://127.0.0.1:3306/test?serverTimezone=UTC&characterEncoding=utf-8
        username: root
        password: root
        dbcp2:
          initial-size: 5
          max-idle: 100
          min-idle: 5
          max-wait-millis: 3000
          test-on-borrow: true
          test-on-return: false
          test-while-idle: true
          validation-query: SELECT 1
          time-between-eviction-runs-millis: 30000
          soft-min-evictable-idle-time-millis: 1800000
          num-tests-per-eviction-run: 3
          remove-abandoned-timeout: 180
          pool-prepared-statements: true
          max-open-prepared-statements: 15
          
    mybatis:
      type-aliases-package: com.test.mapper.repository
      type-handlers-package: com.test.mapper.repository.mapper
      configuration:
        map-underscore-to-camel-case: true
        default-fetch-size: 100
        default-statement-timeout: 30
      mapper-locations: classpath*:mapper/*.xml

* 最后测试

xml位置

位置的问题就是xml需要放置在src/main/resources目录下，我之前是一直放在src/main/java/com/test/repository/src/main/resources目录下，所以一直都是失败的。

配置还需要注意的是：

mapper-locations: classpath*:mapper/*.xml

1•15 161718 19•114

Page 17 of 114

Articles posted by: Alan

SSH连接服务器经常被断开解决方法

kafka常见问题

1 启动advertised.listeners配置异常:

1.1 解决方法：修改server.properties

1.2 解析：

2 启动PrintGCDateStamps异常

2.1 解决方法: 更换jdk1.8.x版本或者使用>=kafka1.0.x的版本。

2.2 解析：

3 生成者发送message失败或消费者不能消费(kafka1.0.1)

3.1 解决方法: 检查advertised.listeners的配置（如果有多个Broker可根据java版本的对应的node号检查配置），判断当前的网络是否可以连接到地址(telnet等)

4 partitions配置的值过小造成错误(kafka1.0.1)

4.1 解决方法: 修改num.partitions的值，partitions在是在创建topic的时候默认创建的partitions节点的个数，只对新创建的topic生效，所有尽量在项目规划时候定一个合理的值。也可以通过命令行动态扩容()

mysqldump备份数据库命令

8、例子

mysql执行delete大数据时建议的方法

Spring boot模块化项目Mybatis无法找到Mapper解决办法

近期文章

近期评论

文章归档

分类目录

Latest Posts

功能

友情链接

SSH连接服务器经常被断开解决方法

kafka常见问题

1 启动advertised.listeners配置异常:

1.1 解决方法：修改server.properties

1.2 解析：

2 启动PrintGCDateStamps异常

2.1 解决方法: 更换jdk1.8.x版本或者使用>=kafka1.0.x的版本。

2.2 解析：

3 生成者发送message失败或消费者不能消费(kafka1.0.1)

3.1 解决方法: 检查advertised.listeners的配置（如果有多个Broker可根据java版本的对应的node号检查配置），判断当前的网络是否可以连接到地址(telnet等)

4 partitions配置的值过小造成错误(kafka1.0.1)

4.1 解决方法: 修改num.partitions的值，partitions在是在创建topic的时候默认创建的partitions节点的个数，只对新创建的topic生效，所有尽量在项目规划时候定一个合理的值。也可以通过命令行动态扩容()

mysqldump备份数据库命令

8、例子

mysql执行delete大数据时建议的方法

Spring boot模块化项目Mybatis无法找到Mapper解决办法

标签

近期文章

近期评论

文章归档

分类目录

Latest Posts

功能

友情链接