heqingpan 最近的时间轴更新
heqingpan

heqingpan

V2EX 第 88883 号会员,加入于 2014-12-28 22:40:32 +08:00
今日活跃度排名 13171
基于七牛 Python SDK 写的一个同步脚本(支持批量下载)
  •  1   
    Python  •  heqingpan  •  2015-08-28 11:40:22 AM  •  最后回复来自 Ouyangan
    1
    heqingpan 最近回复了
    2 天前
    回复了 woduzibue 创建的主题 MySQL mysql 亿级数据,数据筛选和导入导出
    按 id>上次已处理的 id order by id limit 1000 ,从前到后批次查询、处理、批次写入(批次大小可以设置 1000 左右)。

    如果有必要,单个批次可以加事务。
    每个批次间可以加点 sleep 控制处理的 tps 。
    每处理 10 万条记录写个日志,以便确认运行状态,成功、失败、异常都加上对应日志。

    数据库性能够的话,一天处理个两三亿数据没什么问题。

    如果可能分多次跑,记得把已处理的 id 记在某人地方,让下次运行时可以指定对应的值。
    14 天前
    回复了 iamtuzi3333 创建的主题 Vue.js 哭了,前端真的太难受了。
    如果想掌握,个人建议静下心来,单独练习 html+css 。
    万变不离其宗,练习时只用写 html 和 css 文件,不需要用现代工程避免被其干扰精力。

    找个 css 系列教程或一本书,基本只要练习几个常见的布局(用 flex ),最后模仿一两个网站的页面(尽量 1 比 1 复刻)就差不多可以掌握。后面写页面时,就算有遗漏你也知道该用什么方式,搜索一下就能解决。

    我基本都写后端,很多前集中学一小段时间,配合熟悉 js ,之后用什么前端框架基本都很好上手(写功能没问题,就是规范化可能不太好)。
    @EliStone
    我目前也有 99 元的服务跑 r-nacos ,没有压力。

    它虽然在 java 用的比较多,不过也支持多语言,有用到配置中心的话也可以试试。
    @fzdwx
    @Cloud9527

    感谢反馈😁

    目前的用户中较多是用于开发、测试环境,用于生产环境相对少一些。

    这个情况也可以理解

    1. 刚开始,使用肯定是在测试环境使用
    2. 使用一段时间后,就算觉得应该比较可靠,不过线上跑的好好的也不太敢轻易动,或者自己开发环境可以自主决定,线上环境不归自己管,所以线上照旧。
    3. 剩下的是使用一段时间确认其稳定可靠,然后可以决定或影响线上版本,才能进行切换。

    第 3 种线上使用的数量会少一些,正因为如此,更希望有在线上使用的反馈(也相信它会越来越多)。


    当然开发、测试环境使用也是非常欢迎的,毕竟它是用户可能会使用的第一步,同时它一样能发现产品的问题,推进产品的发展。
    @cksspk
    @visper

    感谢来自第一批用户的反馈😁
    @putyy 感谢
    @longzhx 好建议,我后面抽空补一份对比表。
    @southsala 感谢支持😃
    star+1
    @gitxuzan 感谢支持,过程有什么问题或建议可以找我或者到 github 提 issue 。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2690 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 12:46 · PVG 20:46 · LAX 04:46 · JFK 07:46
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.