登录
  • 人们都希望被别人需要 却往往事与愿违
  • 好的程序员是那种过单行道马路都要往两边看的人@Doug Linder

Unconventional programmer.

列表与字典的查找、Cython在Windows下的使用

列表与字典的查找、Cython在Windows下的使用
昨天在工作时遇到一个小问题,同事的某API返回太慢了,我帮他优化下。简单的探究了下需求,发现了一点得优化的地方。 需求 需求很简单,就是对数据结构进行初步的整理。a.json内容大致如下: b.json内容大致如下(大概16M的一个大文件): 想要的结果如下: 就是把sent_id和received_id的值去b.json里查找对应的itemid,然后……继续阅读 »

Benny小土豆 3个月前 (04-13 14:42) 507浏览 6评论 0个赞

假如给我一百万(的数据)

假如给我一百万(的数据)
这篇文章在 2019年03月01日16:39:35 更新了哦~很长时间之前我写过一篇《使用 Python 将海量 MySQL 数据导入 Elastic Search/MongoDB》,主要就说了如何把大量MySQL数据写入键值对数据库。 现在回过头看来这篇文章还是很有参考价值的。 有的时候我们会遇到相反的需求,比如说把对应的键值对数据库(或者说是json文件……继续阅读 »

Benny小土豆 8个月前 (11-28 10:59) 1439浏览 7评论 2个赞

一个简单强大的Python天气预报库pyweathercn

一个简单强大的Python天气预报库pyweathercn
这篇文章在 2019年01月23日17:04:22 更新了哦~今天向大家介绍一款可以用来查询国内绝大部分城市天气预报的Python库pyweathercn,网上搜到的基本都不能用啦…… pyweathercn的作者正是大名鼎鼎的本人。 好吧,其实这个库我早在5月份的时候就写好了,但是由于太忙一直忘了这回事…… demo: https://weather.be……继续阅读 »

Benny小土豆 11个月前 (08-18 16:35) 2812浏览 6评论 5个赞

一次找不到错误的巨坑的http header的url编码的Python 3迁移问题

一次找不到错误的巨坑的http header的url编码的Python 3迁移问题
这篇文章在 2018年04月22日10:21:56 更新了哦~起源 近期,我把一个Python 2 的项目迁移到了Python 3,今早在进行最后一次测试时,发现下载的一个按钮是失效的。当时立刻就想,完蛋了,难道是遇到了跨平台的问题?那就糟糕了啊,跨平台问题都不太好处理的。 试了下原来的Python 2版本的还正常,那么就是这次迁移有点小问题了。 确定复现……继续阅读 »

Benny小土豆 1年前 (2018-04-17 16:35) 2812浏览 4评论 3个赞

Python长期连接数据库的最不佳实践:Lost connection to MySQL server during query

Python长期连接数据库的最不佳实践:Lost connection to MySQL server during query
这篇文章在 2019年05月16日09:47:15 更新了哦~问题来源 前几天用Tornado做Web服务器起了一个简单的以表格显示数据库中内容的网页,然后把它放到lab服务器上做demo。卧病几天之后打开邮箱,发现mentor邮件说表格中不显示数据。赶紧登上服务器screen回去看下,发现抛了个这么异常:Lost connection to MySQL s……继续阅读 »

Benny小土豆 1年前 (2018-04-13 23:16) 3637浏览 4评论 5个赞

解密人人影视客户端加密的视频文件:从C++ Port到Python的经过

解密人人影视客户端加密的视频文件:从C++ Port到Python的经过
我可能走上了移植的不归路 在几个月开始给ExpressBot加入人人影视的API的时候,发现有一个很神奇的API,对某个URL进行curl url -C - -Lv -o xxx.mp4,会下载回来一个和原始视频文件一样大小、内容却经过某种加密处理的文件。 前几天经过JasonKhew96的分析,发现是人人影视对视频文件进行了加密。 加密原理 一句话简单概括……继续阅读 »

Benny小土豆 1年前 (2018-02-10 21:55) 3909浏览 13评论 4个赞

[Telegram bot 系列]1:requests库、Inline Keyboard、Reply Keyboard与其他细节

[Telegram bot 系列]1:requests库、Inline Keyboard、Reply Keyboard与其他细节
又到了一年一度写“新年首博”的时候!很高兴,本博客依然坚挺,正努力向着【三周年】庆典一天天地迈进。 关于俺近期的静默 最近一个多月,俺确实比较忙(在前几篇博文中也多次提及这点),导致博客更新频率下降。在此,先向各位读者表示抱歉 为了避免大伙儿无谓的担心,俺尽量把静默的时间跨度控制在【14天】之内,以表明俺自己是安全的(这是前几年在博客中做的约定)。 上一篇……继续阅读 »

Benny小土豆 1年前 (2018-02-01 14:07) 3918浏览 6评论 9个赞

使用Python将海量MySQL数据导入Elastic Search/MongoDB

使用Python将海量MySQL数据导入Elastic Search/MongoDB
这篇文章在 2018年07月12日13:39:17 更新了哦~话说啊,几天之前,我接到了这么一个任务,就是把大量MySQL的数据导入到Elastic Search中,再久之前我还有个把数据导入到MongoDB中。MongoDB和ES本身还是比较接近的,只不过这次导入到ES的数据量非常大,最大的表大概有4GiB左右,咱得必须想点方法优化一下这个导入过程。 当然……继续阅读 »

Benny小土豆 2年前 (2017-11-03 23:38) 3600浏览 17评论 13个赞