V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  morefreeze  ›  全部回复第 6 页 / 共 16 页
回复总数  313
1 ... 2  3  4  5  6  7  8  9  10  11 ... 16  
2017-11-03 14:26:20 +08:00
回复了 testVmap 创建的主题 Python Python 如何在循环内调用随机函数使结果随机
那是因为 api_102 在 import interface_data_random 已经被确定了,你的 data_module 也就确定了,总之,data_module 就是**一个**确定的值,和你循环几次没有关系
可以把 api_102 包到一个函数里,并且每次循环调用这个函数
联通还有个能查你浏览了哪些网站,但没法和这个流量对应起来,只能从时间大概推算一下,我之前被莫名下了几个 G 的东西去查这个,毛都没查出来,只知道几秒一个 10M (最大显示 10M )的包,但不知道从哪里来的😂
tl;dr
投简历到 [email protected]
2017-10-19 19:11:06 +08:00
回复了 KillThunder 创建的主题 问与答 Linux 怎么安装 yum 命令?
@upczww 你俩到底是没写对啊 sudo apt-get install yum
2017-10-13 10:41:29 +08:00
回复了 panyanyany 创建的主题 问与答 写了技术文章,发给哪些平台比较好?
我是在 github page 弄的,用 jekyll 搭的
https://morefreeze.github.io/
2017-10-12 10:31:17 +08:00
回复了 crazycen 创建的主题 互联网 resilio sync 突然好用了?大家的怎么样了?
屌大的麻烦说下
前端都切到 1.4 了,不想折腾了
2017-09-22 16:05:31 +08:00
回复了 herozem 创建的主题 站长 如何增加博客的日常浏览量?
顺路丢一波 嘿嘿
https://morefreeze.github.io/
2017-09-22 15:59:39 +08:00
回复了 morefreeze 创建的主题 程序员 北京交警 app 可有定期办理进京证的脚本么
@elsove812 你说的难申请应该是人满不能申请吧,一般凌晨 12 点就能,现在每次都得重新传图,比以前麻烦了
不提到基类不让继承那就用组合?写个类,然后用到的类直接把这个当成员
2017-07-19 19:15:58 +08:00
回复了 vazo 创建的主题 问与答 拜托帮忙看下,这个正则表达写的对么?
我很好奇楼主正则里的点号是啥意思
2017-05-26 18:39:57 +08:00
回复了 zhangneww 创建的主题 生活 圈子账本-让我白记了一年的账本
用 beancount 复式记账法快一年了,有点怀念随手记,但不需要依赖别人的服务感觉也不错,而且能更多地定制自己要看的统计
2017-03-14 16:22:07 +08:00
回复了 JoanVon 创建的主题 MacBook Pro MacBook Pro 频繁断网困扰已久,求救!
我最近刚遇到一个特别蠢的问题是 我家新买个路由, ssid 设置和老路由一样,老路由忘记断电了,于是 wifi 就会在两个路由之间切换,当实际连到老路由时就会上不了网。
所以尝试改下 ssid
2017-03-02 12:04:37 +08:00
回复了 morefreeze 创建的主题 程序员 遇到一个工人分工干活的问题
@snnn 对对对,是这么想的,但其实我是要知道 worker 执行的 task ID ,这个问题我自己能解决
@exch4nge 感谢热心帮助,其实没必要去了解这些
放在一个 DAG 肯定是可以的,但这就像一个项目也可以把代码放在一个文件里一样
airflow 是可以分布式执行,但比如任务信息这些都存在数据库里,由一个 scheduler 来统一管理
XComs 也是种解决办法,我觉得可行。
我在 sto 上提问也得到了比较好的解决办法, http://stackoverflow.com/questions/42504185/airflow-celery-worker-will-be-blocked-if-sensor-number-large-than-concurrency/42510574#42510574
利用 Pool 来限制 ExternalTaskSensor 最大执行数量,这样相当于把监工和工人隔离开了,我之前也不知道有这个技巧。

总结下这个问题思路:
划分监工和工人的执行,比如 Pool 的概念,或者启两个 scheduler 分别管理监工和工人(从根本解决问题)
进程间通信(解决问题,增加复杂度)
配置一个较好的重试策略,调低监工优先级,监工较快返回结果,较多的重试(理论上点背的话还是会死锁,但降低概率)
2017-03-01 16:02:43 +08:00
回复了 morefreeze 创建的主题 程序员 遇到一个工人分工干活的问题
@exch4nge (你们说的)靠点谱,你咋就理解成贬义呢,我的意思就是你们说的有些道理,给了我启发
至于我最后说的[1,2,3,4,5]还是无视掉吧,我确实没在题目中说明,我只是自言自语提醒自己注意这个情况。
另外回下你在 3 楼的方法,你说的其实就是“我”的工作,我就是一个调度器,我在指挥工人做事(包括干活和监视别人),你说检查任务 B 前置条件是否满足实际就是派工人去监工,但因为用的框架所限,他是同步阻塞的,我让一个工人去监工了,那这个工人只能等着,啥都干不了。

多说点,我说监工的是 airflow 中的 ExternalTaskSensor ,干活指可以执行功能的 Operator (比如 BashOperator ),避免过多背景介绍,抽象成了这个问题
https://airflow.incubator.apache.org/code.html?highlight=response#airflow.operators.ExternalTaskSensor
2017-03-01 12:07:16 +08:00
回复了 morefreeze 创建的主题 程序员 遇到一个工人分工干活的问题
@casparchen 老哥你这话说的就像问:我的程序慢咋办啊?加内存加机器就好了啊。在目前的框架下无法做到异步的
@snnn @exch4nge 靠点谱,我也许可以找些别的方法把监控 m 个任务改成监控一个变量 m ,当然也要保证 m 会被正确地减去,比如我原先要求[1,2,3,4,5]完成,而[1,2,2,4,5]虽然也是 5 个,但完成的人不对也不行。
2017-02-28 17:07:30 +08:00
回复了 a1310747 创建的主题 问与答 百度的一个面试题:从 1 亿个无序数据里找第 5000W 个
就是快排分组那个算法改一下,每次只用去其中一半找就行了,记得复杂度平均下来是 N
2017-01-18 19:07:27 +08:00
回复了 oddcc 创建的主题 Python 关于找到所有约数的算法
@billgreen1 那上界还是 sqrt(n),没毛病啊
觉得大数情况下最快的办法还是找到所有质因子,然后组合出所有的约数吧,如 2L @luban 所说
2017-01-07 16:56:55 +08:00
回复了 aijam 创建的主题 分享创造 造了一个自动获得 gitignore 的轮子
每次都是在 github 手动添加,然后在界面上选上用哪个 gitignore 加 readme,加 license
1 ... 2  3  4  5  6  7  8  9  10  11 ... 16  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2650 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 31ms · UTC 05:41 · PVG 13:41 · LAX 21:41 · JFK 00:41
Developed with CodeLauncher
♥ Do have faith in what you're doing.