有时候本地的仓库出问题,需要强制pull远程仓库的代码,命令如下:

• 清除本地修改

  1	git reset --hard

• pull仓库代码

  1

  git pull

新公司的爬虫后续处理脚本都是用ruby写的,没办法又开始学习ruby,今天碰到一个gsub和gsub!的问题.如下解释:

• ruby中带“!”和不带”!”的方法的最大的区别就是带”!”的会改变调用对象本身了。比方说str.gsub(/a/, ‘b’)，不会改变str本身，只会返回一个新的str。而str.gsub!(/a/, ‘b’)就会把str本身给改了。
• 但是gsub和gsub!还有另外一个不同点就是，gsub不管怎么样都会返回一个新的字符串，而gsub!只有在有字符被替换的情况下才会返回一个新的字符串，假如说没有任何字符被替换，gsub!只会返回nil.

在某台DB上准备运行一个SQL语句，就是用SELECT INTO OUTFILE把查询结果写入到文件的时候提示以下信息：

bash The MySQL server is running with the --secure-file-priv option so it cannot execute this statement

爬虫scrapy报错400 Bad Request,个人解决方法

刚入职新公司开始写爬虫项目,刚好一个爬虫代码出问题,一直报错400,解决如下:

• 400的报错含义就是服务的不接受客户端的请求,可能是客户端的请求格式有问题,或者请求的header有问题.
• 如果是第一种有问题,请检查请求的url格式是否有问题.
• 如果是第二种问题,可重新测试当前网站的header,加入爬虫代码.特别要注意header里面的host与content-lengh的字段,还有user-agent.

参考:http://stackoverflow.com/questions/42248903/scrapy-post-request-not-working-400-bad-request

参考:https://segmentfault.com/q/1010000008902485

ubuntu运行sh脚本sudo自动输入密码

以前写的一个自动清理指定磁盘文件的脚本忽然挂了,查看log发现如下报错

1

sudo: no tty present and no askpass program specified

根据报错,大概推断是shell交互出现问题,google之,找到问题所在:sudo 版本升级,需要增加-S参数.

• 使用Man查询sudo -S参数

今天自己尝试写Flask代码,使用Mysql数据库,初始化时候报错ImportError: No module named MySQLdb.google之,解决方法如下:

• 如果没有安装python-mysql支持库,请安装

  1 2	python2: pip install python-mysqldb python3: pip install pymysql

python web 部署

1. web开发中，各种语言争奇斗艳，web的部署方面，却没有太多的方式。简单而已，大概都是 nginx 做前端代理，中间 webservice 调用程序脚本。大概方式：nginx + webservice + script。

2. nginx 不用多说，一个高性能的web服务器。通常用来在前端做反向代理服务器。所谓正向与反向（reverse），只是英文说法翻译。代理服务，简而言之，一个请求经过代理服务器从局域网发出，然后到达互联网上服务器，这个过程的代理为正向代理。如果一个请求，从互联网过来，先进入代理服务器，再由代理服务器转发给局域网的目标服务器，这个时候，代理服务器为反向代理（相对正向而言）。

   正向代理：{ 客户端 —》 代理服务器 } —》 服务器
   反向代理：客户端 —》 { 代理服务器 —》 服务器 }
   {} 表示局域网

3. nginx既可以做正向，也可以做反向。
   webservice 的方式同样也有很多方式。常见的有FastCGI，WSGI等。我们采用gunicorn为 wsgi容器。python为服务器script，采用flask框架。同时采用supervisor管理服务器进程。也就是最终的部署方式为：
   nginx + gunicorn + flask ++ supervisor

MarkDown进行图片缩放

使用markdown编写说明文档,无奈图片有点大,google之,找到图片处理方法

1. 直接设置图片大小,简单粗暴

   1 2 3

     

Mysql批量删除相同前缀的表

每日需要Cron跑一下爬虫脚本,生成当日数据.今天发现累计了非常多的相同前缀的历史表数据,故删除之!

• 命令非常简单

  1 2 3

  Select CONCAT( 'drop table ', table_name, ';' ) FROM information_schema.tables Where table_name LIKE 'sound_201701_%';

• 执行上述命令后,就显示匹配的Drop命令,如下图.直接复制执行就ok了.

python paramiko

• 主要介绍了python paramiko简介和使用方法，让你全面了解python的远程服务器连接和文件上传，ssh远程执行命令等
• paramiko 遵循SSH2协议，支持以加密和认证的方式，进行远程服务器的连接，可以实现远程文件的上传，下载或通过ssh远程执行命令。
• 项目地址：https://github.com/paramiko/paramiko
• 官方文档：http://docs.paramiko.org/
• 文档转载：http://www.codexiu.cn/python/blog/127/ (根据自己需要有删改)